Avaliação de Monitoramento de Projetos Sociais

Avaliação e Monitoramento
de Projetos Sociais
de Projetos Sociais
Rosana de Freitas Boullosa
Edgilson Tavares de Araújo
Avaliação e Monitoramento de Projetos Sociais

Código Logístico
41643
de Projetos Sociais
2009
© 2009 – IESDE Brasil S.A. É proibida a reprodução, mesmo parcial, por qualquer processo, sem autorização por escrito
dos autores e do detentor dos direitos autorais.
B764 Boullosa, Rosana ; Tavares, Edgilson / Avaliação e monitoramento de projetos

sociais. / Rosana Boullosa ; Edgilson Tavares — Curitiba : IESDE
Brasil S.A., 2009.
264 p.
ISBN: 978-85-387-0385-3
1.Pesquisa de avaliação (Programas de Ação social). 2.Programas sociais

– Desenvolvimento. 3.Política social. I.Título. II.Tavares, Edgilson.
CDD 361
Capa: IESDE Brasil S.A.

Imagem da capa: Jupiter Images/DPI Images
Todos os direitos reservados.
IESDE Brasil S.A.

Al. Dr. Carlos de Carvalho, 1.482. CEP: 80730-200
Batel – Curitiba – PR
0800 708 88 88 – www.iesde.com.br
Doutora em Políticas Públicas pela Università IUAV
di Venezia, em Veneza (Itália) – venceu o prêmio Giovanni
Ferraro, edição 2007, de melhor tese italiana em sua área
de pesquisa. Mestre em Planejamento pela mesma Univer-
sidade e graduada em Arquitetura e Urbanismo pela Uni-
versidade Federal da Bahia. Atualmente é professora ad-
junta da Escola de Administração da Universidade Federal
da Bahia (UFBA), coordena um grupo de estudo e pesquisa
sobre avaliação de políticas públicas, além de coordenar o
Programa de Residência Social do Centro Interdisciplinar
de Desenvolvimento e Gestão Social (CIAGS/UFBA).

Doutorando e Mestre em Serviço Social pela Ponti-
fícia Universidade Católica de São Paulo, Especialista em
Estratégias de Mobilização e Marketing Social pela Univer-
sidade de Brasília-Unicef. Bacharel em Administração pela
Universidade Federal da Paraíba. Atualmente é Coordena-
dor dos Cursos de Administração do Centro Universitário
Jorge Amado (UNIJORGE); Professor da Escola de Adminis-
tração da Universidade Federal da Bahia (EA-UFBA); Pes-
quisador e professor colaborador do Centro Interdiscipli-
nar de Desenvolvimento e Gestão Social da Universidade
Federal da Bahia (CIAGS/UFBA).
Sumário
Introdução à avaliação e monitoramento de projetos sociais..............11
Introdução à avaliação e monitoramento........................................................................................11
Avaliação como campo de práticas e de conhecimento............................................................12
Encontrando uma definição-guia para avaliação..........................................................................16
Especificidades das avaliações de intervenções sociais..............................................................20
Alguns limites entre avaliação e monitoramento.........................................................................22
Conclusão.....................................................................................................................................................25
Avaliação de políticas e programas sociais no Brasil................................29

Introdução...................................................................................................................................................29
Avaliação e reforma do Estado.............................................................................................................29
Evolução das experiências de avaliação no setor público do país..........................................33
Conclusão.....................................................................................................................................................35
Avaliação, pesquisa avaliativa e valores.........................................................41

Introdução...................................................................................................................................................41
Pesquisa avaliativa X avaliação.............................................................................................................41
Valores e avaliação....................................................................................................................................43
Avaliação como uma atividade política............................................................................................46
Avaliação formativa X avaliação somativa.......................................................................................46
Avaliação interna X avaliação externa...............................................................................................48
Conclusão.....................................................................................................................................................49
Avaliação, ciclo do projeto e usos....................................................................57

Introdução...................................................................................................................................................57
Timing da avaliação..................................................................................................................................57
Usos da avaliação......................................................................................................................................61
Conclusão.....................................................................................................................................................64
O desenho da pesquisa avaliatória..................................................................69
Introdução...................................................................................................................................................69
Níveis de desenho.....................................................................................................................................70
A lógica avaliatória....................................................................................................................................71
A construção do desenho de avaliação (conjunto orgânico)....................................................73
Conclusão.....................................................................................................................................................82
Abordagens e metodologias de avaliação

de programas e projetos sociais.......................................................................91
Introdução...................................................................................................................................................91
Compreendendo as diferenças de abordagens em avaliação..................................................92
Metodologias-chave para a avaliação de programas e projetos sociais...............................95
Conclusão...................................................................................................................................................102
Critérios de avaliação para projetos sociais............................................... 111

Introdução.................................................................................................................................................111
Abrangência e componentes da avaliação no nível de projetos...........................................112
Abordagens de análise e definição de critérios na avaliação dos projetos sociais.........115
Dilemas e desafios na definição de critérios para a avaliação de projetos sociais..........123
Indicadores sociais............................................................................................. 133

Introdução.................................................................................................................................................133
Definições sobre indicadores sociais...............................................................................................134
Classificação e tipologia de indicadores de projetos sociais...................................................136
Caracterização e utilização de indicadores....................................................................................138
Formulação de indicadores.................................................................................................................141
Principais fontes de informação e indicadores no Brasil...........................................................143
Agregação de indicadores e índices de desenvolvimento.................. 157

Introdução.................................................................................................................................................157
Índices de desenvolvimento econômico........................................................................................158
Conclusão...................................................................................................................................................168
Monitoramento de projetos sociais............................................................. 179
Introdução.................................................................................................................................................179
Monitoramento e acompanhamento: conceitos e distinções................................................180
Monitoramento como processo de gestão de projetos sociais.............................................183
Tipos ou modelos de monitoramento.............................................................................................185
Sistemas de informação e sistemas de monitoramento...........................................................187
Instrumentos de gestão e monitoramento...................................................................................192
Desafios para implantação de sistemas de monitoramento...................................................193
Técnicas e instrumentos de avaliação de programas

e projetos sociais................................................................................................. 205
Introdução.................................................................................................................................................205
Análise da literatura ou análise bibliográfica................................................................................206
Pesquisa de arquivo...............................................................................................................................207
Observação in loco..................................................................................................................................207
Pesquisa de survey..................................................................................................................................208
Entrevistas..................................................................................................................................................210
Opinião de especialistas.......................................................................................................................215
Técnica delphi............................................................................................................................................216
Análise de conteúdo..............................................................................................................................217
Testes...........................................................................................................................................................218
Conclusão...................................................................................................................................................218
Avaliação e aprendizagem.............................................................................. 225

Introdução.................................................................................................................................................225
As principais dificuldades de retroalimentação...........................................................................226
Aprendendo com a avaliação.............................................................................................................227
Limitações da avaliação........................................................................................................................233
Conclusão...................................................................................................................................................235
Gabarito.................................................................................................................. 241
Referências............................................................................................................ 255
Apresentação
Avaliar é uma atividade intrínseca ao ser humano,
carregada de subjetividade e relacionada tanto ao campo
da decisão, quanto ao campo da aprendizagem individual
e social. Avaliamos continuamente informações, situações,
alternativas, decisões, posicionamentos, organizações,
tudo aquilo que nos chama atenção ou pode trazer im-
plicações para as nossas vidas. Assim, emitimos juízos de
valor, acumulando experiência e construindo uma certa
cultura de avaliação, mesmo que informal e intuitiva. Em
outras palavras, podemos afirmar, sem muito exagero, que
somos todos experientes avaliadores informais. Mas qual
a fronteira entre estas avaliações informais e intuitivas e
as avaliações consideradas formais? Como utilizar a nossa
experiência em processos formais de avaliação? Ainda,
como ultrapassar a barreira da informalidade, de um certo
“achismo”, e construir processos de avaliação que sejam
efetivamente úteis para os “objetos” avaliados? Essas são
algumas das perguntas que este livro procura responder
ao apresentar e explorar o campo do conhecimento de
avaliação e monitoramento de uma classe especial de ob-
jetos de avaliação: as políticas sociais e os seus instrumen-
tos (sobretudo programas e projetos), compreendidos
como “estratégias de ação” (públicas e/ou privadas) que
buscam mudar ou transformar realidades consideradas
socialmente problemáticas.
Avaliações formais não são simples juízos de valor

emitidos por atores que se consideram avaliadores ou que
são legitimados como tal. Pelo contrário, tratam-se de um
processo complexo, multiatorial, cujo juízo de valor resul-
tante deve ser argumentado e fundamentado em procedi-
mentos de pesquisa avaliatória. Este livro procura apresen-
tar ao leitor o complexo universo das avaliações formais de
políticas sociais e dos seus instrumentos. Para isso, propõe
uma releitura da (não tão recente) história da avaliação no
país, observando os seus desafios e potencialidades, que
nos leva a compreendê-la como parte integrante do ciclo
de vida dos próprios objetos de estudo. Essa interpretação
explora a dimensão cívico-dialógica da avaliação, compre-
endendo-a como um processo de aprendizagem que pro-
cura explorar as dimensões prático-organizacional e cívica.
Os 12 capítulos do livro procuram, assim, apresentar

ao aluno como a avaliação implica sempre um procedi-
mento reflexivo, baseado na exposição de determinados
juízos, construídos preferencialmente de forma coletiva
por todos os interessados, e orientados para os fins espe-
cíficos das diversas ações, projetos ou programas sociais.
Os conteúdos tratados buscam fornecer ao aluno as fer-
ramentas elementares não apenas para implementar os
processos avaliativos adequados às variadas necessidades
sociais, mas também e principalmente permitir e estimu-
lar a reflexão sobre as implicações sociais e políticas da
avaliação, que vem se tornando cada vez mais necessária
e utilizada em empresas, políticas públicas e ações do Ter-
ceiro Setor.
Introdução à avaliação e
monitoramento de projetos sociais
Introdução à avaliação e monitoramento

Vídeo Avaliamos e monitoramos continuamente, mesmo sem nos
darmos conta. Essas atividades complementares nos ajudam a construir
a realidade em que vivemos. A realidade, como nos lembram Berger
e Luckmann (1980), é um construto social e, portanto, possui uma boa
dose de subjetividade1. Parte de tal subjetividade se revela nas entre-
linhas das avaliações e observações que fazemos, pois modelam deci-
sões, traçam diretrizes e juízos, abrem e constroem diferentes caminhos para a nossa
existência. Avaliação e monitoramento são, assim, atividades intrinsecamente relacio-
nadas ao campo da decisão, mas também da aprendizagem social e individual, que se
utiliza de um ferramental também desenvolvido e amadurecido, validado no tempo,
de acordo com a variedade das experiências que vivemos. Esse ferramental avaliatório,
mesmo contendo fortes traços culturais, é próprio de cada ser humano, pois também
se relaciona dialeticamente com sua própria experiência. Em outras palavras, quase
nunca validamos coletivamente ou socialmente as verdades que balizam ou modelam
as nossas avaliações; tampouco refletimos ou explicitamos nossas verdades ou nossos
construtos avaliatórios. No entanto, continuamos a avaliar e a monitorar as ações que
nos envolvem de modo direto ou indireto. De alguma forma, portanto, podemos afir-
mar que somos todos, uns mais outros menos, avaliadores experientes.
Grande parte de tal experiência, todavia, foi desenvolvida de modo intuitivo e in-
formal, com pouca ou nenhuma sistemática de avaliação. Em outras palavras, emitimos
juízos de valor sem nos preocuparmos em explicar a sua lógica, impossibilitando outras
pessoas de reconstruírem e/ou compartilharem o percurso que nos levou a emitir tais
juízos de valor. Por juízo de valor entendemos a instituição de relações significativas
1
Peter L. Berger, sociólogo estadunidense, e Thomas Luckmann, sociólogo alemão, publicaram em 1966 o livro A construção Social da Realidade, introduzindo
a expressão construção social nas ciências sociais. Para esses autores, a realidade não é um dado objetivo, mas sim algo construído socialmente, a partir de
relações sociais que estabelecem significados. Esses significados são compartilhados e validados continuamente pela própria sociedade que o construiu.
11
afirmativas entre o sujeito do juízo e o atributo ou predicado do juízo. O juízo de valor
ao qual nos referimos se refere quase sempre à qualidade ou ao mérito do sujeito do
juízo (no nosso caso, uma política, plano, programa, projeto ou ação social). E mesmo
tratando-se de avaliações informais, essas são extremamente importantes na constru-
ção do nosso comportamento, interesses e preferências no nosso agir social. Em outras
palavras, os juízos de valor que fazemos sobre tudo o que nos está entorno influenciam
as nossas ações.
A compreensão das dimensões subjetiva, intuitiva e informal da avaliação é, por-

tanto, extremamente importante para quem deseja estudar formalmente o campo
do conhecimento de avaliação e monitoramento de uma classe especial de objetos de
avaliação que são os programas sociais, compreendidos como programas que buscam
mudar ou transformar uma dada realidade considerada socialmente problemática. Tais
dimensões nos auxiliam ainda a perceber que estamos nos aproximando de um campo
estruturado de conhecimento com o qual já temos uma certa familiaridade. E essa fami-
liaridade se dá justamente pela nossa experiência em emitir juízos de valor, mesmo que
frequentemente não argumentados, beirando o que na linguagem popular se traduz
no neologismo “achismo” (quando achamos algo de alguma coisa, mas não consegui-
mos elencar argumentos capazes de justificar perante os outros o nosso juízo).
Avaliações formais não são simples juízos emitidos. Pelo contrário, trata-se de
juízos argumentados emitidos após procedimentos de pesquisa que possam ser com-
partilhados por diferentes pessoas e não restritos a quem emitiu o tal juízo. Como
discutiremos mais adiante, avaliações formais de programas sociais “são processos de
pesquisa aplicada que objetivam a determinação de juízos argumentados, cuja lógica
avaliatória pode ser reconstruída e discutida pelas coletividades interessadas em seus
resultados ou impactos, incluindo eventuais padrões ou modelos de comparação”
(BOULLOSA, 2006, p. 89).
Avaliação como campo

de práticas e de conhecimento
Avaliar é atribuir valor. Essa é a clássica definição de avaliação, endossada por um
dos seus maiores teóricos, o britânico Michael Scriven2, que conceitua avaliação como
uma atividade formal de atribuição de valor material (worth), valor simbólico (value) e
mérito (merit) a uma entidade – podendo essa entidade assumir diferentes complexi-
dades, tais como planos, programas, projetos e/ou ações. Quando Scriven propôs tal
2
Michael Scriven é um acadêmico estadunidense, nascido na Grã-Betanha em 1928, cofundador e editor do Journal of Multidisciplinary Evaluation, considerado
um dos maiores teóricos de avaliação de programas (sobretudo educacionais). Apesar da idade avançada, Scriven ainda escreve para importantes jornais sobre
o tema e é diretor associado do The Evaluation Center na Western Michigan University, além de titular do Departamento de Filosofia.
12
definição, em 1967, a avaliação de programas já se apresentava como um campo de
práticas e conhecimentos relativamente estruturado, assim como já esboçava os seus
contornos como área de atuação profissional, sobretudo nos países de língua anglo-
-saxônica. Afinal, quase seis décadas haviam sido transcorridas desde as primeiras ex-
periências registradas de avaliação de intervenções governamentais no campo social.
Rossi e Freeman (1993) identificaram e estudaram alguns esforços sistemáticos de ava-
liação de programas de alfabetização e de programas de redução da mortalidade e
morbidade causadas por doenças infecciosas, nos Estados Unidos, que aconteceram
antes da Primeira Guerra Mundial (1914-1918). Esses esforços de avaliação buscavam
conhecer a efetividade dos programas em estudo em vista do seu aperfeiçoamento.
Nessa mesma perspectiva, seguiram-se novos estudos de abordagem quantita-

tiva3 que resultaram no desenvolvimento de novas técnicas para a avaliação de pro-
gramas sociais, construindo, já nos anos 1930, um primeiro arcabouço de saberes re-
lacionados ao tema, ainda que restritos aos países mais ricos, sobretudo àqueles de
língua anglo-saxônica. Nos EUA, o programa New Deal, implantado entre 1933 e 1936,
pelo então presidente Franklin Roosevelt (1882-1945), para enfrentar a Grande Depres-
são4 exigiu grandes esforços de avaliação, sobretudo na fase de implementação e no
juízo dos resultados. O conservadorismo fiscal e a escassez de recursos deram ainda
um novo impulso à avaliação imputando-lhe papel decisório na alocação de recursos
públicos. Assim, durante os anos 1930 e 1940, a avaliação de programas assumiu um
viés mais técnico, ou tecnicista, orientado quase que exclusivamente às exigências de
informação por parte dos agentes decisores, sobretudo dos agentes governamentais.
A propagação da cultura de avaliação aos chamados países periféricos ainda

tardou um pouco, pois se deu somente com os programas de cooperação internacio-
nal empreendidos após a Segunda Guerra Mundial (1939-1945). Alguns desses pro-
Introdução à avaliação e monitoramento de projetos sociais

gramas, como o Plano Marshall e o Programa Aliança para o Progresso5, passaram a
exigir a prática da avaliação como condição indispensável para a efetivação das ajudas
econômicas prometidas. A crença de que melhores e maiores informações determi-
nariam a qualidade das decisões somada à demanda de controle externo das ações
e dos investimentos em andamento impulsionaram o desenvolvimento de métodos
estatísticos e de pesquisas aplicáveis ao estudo e tratamento dos problemas sociais
3
A abordagem quantitativa busca descrever atributos e significados considerados inerentes ao objeto de avaliação e, por isso, também é chamada de abor-
dagem objetiva. Além disso, esse tipo de abordagem se caracteriza pelo uso de quantitativos (que podem ser quantificados e facilmente comparados) e por
técnicas de análise predominantemente dedutivas, orientada aos resultados. Diversamente, a abordagem qualitativa busca descrever significados socialmente
atribuídos ao objeto de avaliação e, por isso, também é chamada de abordagem subjetiva, pois é orientada ao processo, com técnicas de análise predominan-
temente indutiva e uso de dados qualitativos.
4
Também chamada de Crise de 29, um dos mais problemáticos períodos de recessão econômica da história mundial, que durou toda a década de 1930. Nos
Estados Unidos, onde a crise tomou proporções mundiais com a quebra da bolsa de Nova York, em 24 de outubro de 1929, o presidente Roosevelt apresentou
um exitoso plano para combater os avanços da crise, chamado New Deal. A partir das ideias do New Deal, três anos mais tarde, o economista inglês John M.
Keynes publicou o célebre livro The General Theory of Employment, Interest, and Money, lançando as bases do keynesianismo, que defende o papel do Estado
como agente controlador da economia.
5
O Plano Marshall foi como ficou conhecido o Plano para a Recuperação da Europa, formulado, em homenagem ao Secretário de Estado dos EUA, George Mar-
shall, financiado e implementado pelo Governo dos Estado Unidos para a reconstrução dos Países Aliados da Europa após o final da Segunda Guerra Mundial.
Já o Programa Aliança para o Progresso (1961-1970) foi uma versão do Plano Marshall para a América Latina, também formulado, financiado e implementado
pelo Governo dos Estados Unidos a fim de contrastar a influência de Cuba e do socialismo.
13
considerados relevantes (sobretudo para os financiadores). A esse ponto, a cultura
da avaliação já havia conquistado o mercado, não somente a esfera governamental.
Nesta última, buscava-se compreender realidades sociais problemáticas e complexas,
mas buscavam-se também bases científicas para a averiguação e o juízo do desenvol-
vimento dos esforços empreendidos para transformar positivamente tais realidades
problemáticas e complexas.
Tudo isso gerou uma miríade de metodologias, modelos, matrizes e propostas

conceituais, resultando ainda, como lembram Rossi e Freeman (1993), na sofisticação
das técnicas de pesquisa e no desenvolvimento de computadores capazes de exami-
nar analiticamente grande número de variáveis estatísticas. No início dos anos 1960,
os avaliadores já não acreditavam mais nas teorias que preconizavam que o homem
seria dotado de uma racionalidade ilimitada, capaz de prever e fazer cálculos perfeitos;
também já começavam a duvidar da concepção gerencialista que dominava o campo
da avaliação e do monitoramento. Pelo contrário, começavam a perceber o quanto uma
visão gerencialista da avaliação estava relacionada com uma abordagem top-down6
que imperava nos processos decisórios das intervenções sociais daquele período. De
fato, acreditava-se que a sequência de uma (correta) tomada de decisão era linear ou
sequencial: começava com a problematização, seguida da correta e compreensiva vi-
sualização de todas as alternativas possíveis, da avaliação de tais alternativas, concluin-
do-se com a decisão pela melhor alternativa, em um hipotético contexto de simetria
informacional. Assim, o avaliador passa a ser visto como agente de decisão ou analista
de decisão, ou seja, aquele agente que realiza cálculos, juízos de valor, ordena as pre-
ferências etc. ou até mesmo administra a estruturação do problema, analisando-o e
produzindo recomendações ao tomador de decisões (também chamado de agente
tomador de decisão). Em ambos os casos, os agentes de decisão informam o agente
tomador de decisão.
Nos anos 1960 acontece o que muitos autores definem como o boom da ava-
liação nos Estados Unidos (GUBA; LINCON, 1989; ALBAEK, 1998), como as polêmicas
avaliações dos programas Great Society (Grande Sociedade, voltado à eliminação da

pobreza e justiça racial) e War on Poverty (Guerra à Pobreza, parte do Great Society),
ambos partem da reforma social promovida pelo então presidente Johnson (1908-
1973) em um contexto histórico de grande prosperidade econômica. A avaliação
passa a ser usada predominantemente como ferramenta de planejamento gover-
namental, particularmente dos agentes com maior poder de decisão. Faria (2005)
recorda que o aumento recorde do gasto público, somado ao desconhecimento dos
impactos das ações de governo e da necessidade crescente de controle da burocra-
cia (e dos seus burocratas)7 acabaram por institucionalizar aquela visão top-down
6
Uma abordagem decisional de tipo top-down pressupõe que as decisões devem acontecer de cima para baixo, respeitando a hierarquia do sistema orga-
nizacional que implementa qualquer decisão. Do lado oposto, encontra-se a abordagem decisional de tipo bottom-up, que defende que as decisões devem
acontecer no sentido oposto da pirâmide hierárquica, ou seja, de baixo para cima.
7
Em sociologia, a burocracia é uma estrutura organizacional caracterizada por procedimentos e rotinas regulares e por um sistema hierárquico, com alta
14
que já se entrevia um ou dois séculos antes, consolidando também a ideia de que a
avaliação aumentaria ou garantiria a racionalidade dos processos decisórios, além de
legitimar a intervenção pública.
Não por acaso, Rossi e Wright (1984) consideram tal período como a era de ouro
da avaliação de programas (golden age of evaluation), caracterizado, segundo Oakley
(1998, p. 95), pelo “randomised, controlled experimental paradigm”, ou paradigma ex-
perimental controlado aleatório, apoiado sobremaneira no trabalho que Campbell e
Stanley publicam em 1966, intitulado Experimental and Quasi-Experimental Designs for
Research (Desenhos Experimentais e Quase-Experimentais de Pesquisa). Em poucas
palavras, segundo tal paradigma originário do campo da Biologia, é possível avaliar
políticas e programas sociais através de estudos comparativos entre grupos que foram
submetidos a tais políticas ou programas e grupos que não foram submetidos a tais es-
forços (chamados de grupos de controle). Também contribui para o sucesso da idade
de ouro da avaliação nos EUA, a obrigatoriedade da destinação de pelo menos 1% do
gasto com programas sociais ao quesito avaliação.
A idade de ouro da avaliação começa a apresentar os primeiros sinais de satura-

ção no começo dos anos 1980, em particular em relação aos chamados programas ex-
perimentais. A literatura especializada em avaliação elencou muitos motivos para que
tal saturação ocorresse, dando origem a buscas por novas alternativas de avaliação.
Entre os motivos, destacamos alguns:
perplexidade e desencanto com a ineficácia das próprias intervenções

avaliadas;
excesso de otimismo em acreditar que as avaliações poderiam gerar decisões

perfeitas;

impaciência dos gestores com os tempos exigidos por esse tipo de avaliação,
pois cada processo de avaliação deveria acompanhar os resultados e efeitos
de cada projeto sobre um grupo de beneficiários e um grupo de não benefici-
ários (grupo de controle);
dificuldade em descobrir se os efeitos eram realmente causados pelo projeto

avaliado ou não, diante da impossibilidade de se construir grupos de controle
idênticos aos grupos de beneficiários.
Em contraposição a esse tipo de abordagem, durante o Governo de Reagan

(1981-1989) na presidência dos EUA, emergem novas abordagens de avaliação que
privilegiam uma visão mais bottom-up dos processos de avaliação de políticas e pro-
gramas sociais. Dessas novas abordagens surgem diferentes e múltiplas metodologias
divisão de responsabilidade, onde seus membros executam invariavelmente regras e procedimentos padrões, como engrenagens de uma máquina. Max
Weber (1864-1920) foi um dos precursores da Teoria da Burocracia, para quem os seus principais atributos eram a impessoalidade, a concentração dos meios da
administração, um efeito de nivelamento entre as diferenças sociais e econômicas e a execução de um sistema da autoridade que é praticamente indestrutível.
15
de avaliação voltadas à avaliação e monitoramento de programas, projetos e ações
de transformação social, tanto públicos, quanto privados e mistos. Os autores Guba
e Lincon (1998) chamam esse período de Reativo, por considerá-lo como uma certa
reação às abordagens top-down que predominavam no período anterior (o período
da “era de ouro”). Outro autor, Derlien (2001), que também se dedica a compreender
a evolução e estruturação da avaliação como campo de práticas e de conhecimentos,
associa essa última fase da avaliação (a partir dos anos 1990) à função de realocação do
gasto público. De fato, com a crise fiscal difundiu-se também a ideia de que boas ava-
liações poderiam indicar objetivamente quais as melhores respostas para os problemas
sociais, maximizando o escasso investimento público. Essa ideia ganhou força no con-
texto do paradigma do Estado mínimo, quando a avaliação passou a ser instrumento
específico de gestão voltado para a Reforma do Estado, implementada pelo Governo
Brasileiro que buscava, entre outras coisas, responsabilização (ou accountability) dos
políticos, burocratas e gestores públicos em geral e privatização de alguns bens e ser-
viços sociais que antes eram providos pelo Estado.
Encontrando uma definição-guia para avaliação

Essa breve revisão da evolução da avaliação como um campo de práticas e de
conhecimento nos permite vislumbrar a grande variedade de definições acerca dos
significados, usos e limites da avaliação de programas e projetos sociais. Neste livro,
buscaremos adotar uma definição que chamaremos de definição-guia para a avaliação
(BOULLOSA, 2006), que nos ajudará a enfrentar com coerência os conteúdos que per-
passam e estruturam o campo da avaliação.
Vamos começar retomando o conceito clássico de avaliação de Scriven (1967),

para quem avaliar é julgar o valor ou o mérito de uma entidade, sendo essa entida-
de portadora de diferentes graus de complexidade (planos, programas, projetos etc.).
Scriven deposita todo o peso da sua conceituação sobre o objetivo intrínseco da ava-
liação que está, para o autor, em julgar algo de alguma coisa. Scriven dá voz, assim,
aos chamados modelos com atribuição de valor, ou seja, modelos de avaliação que
emitem um juízo de valor. O juízo de valor se constitui como uma sorte de recomen-
dação ao tomador de decisão. Em contracorrente, outra grande linha reúne modelos
sem atribuição de valor, ou seja, modelos que não emitem um juízo de valor e que
se restringem a apresentar informações parciais ao tomador de decisão, deixando ao
mesmo a tarefa de conectar informações e extrair ou construir juízos de valor, como as
avaliações de modelo mínimo.
O quadro a seguir reúne algumas das mais importantes definições de avaliação.

Observe como alguns autores preferem acreditar que a avaliação é uma atividade que
deve mostrar a realidade sem emitir um juízo de valor. Para esses autores, quem deve
16
emitir o juízo de valor não é o avaliador, mas, sim, quem solicitou a avaliação. A maioria
dos autores, entretanto, é enfática em afirmar que não há avaliações sem juízo de valor
e que até mesmo as que não o fazem de modo direto, acabam emitindo juízos quando,
por exemplo, selecionam os critérios de avaliação. Cada uma delas carrega consigo
aspectos metodológicos e epistemológicos importantes, além de indicar qual o papel
do profissional em avaliação.
Quadro 1 – Algumas definições sobre avaliação
Autor(es) /
O autor.
Definição de avaliação Observação
(obra)
Scriven “Julgamento do valor ou o mérito de uma ‘entidade’.” Com juízo de valor,
(1967) sobretudo.
Rossi, Freeman e “Essencialmente um esforço de colheita e interpretação de Sem juízo de valor.
Lipsey informações que procura responder a uma determinada sé-
(1999, p. 62 e 80) rie de perguntas sobre o comportamento e sobre a eficácia
de um programa.”
“Fundamentalmente um esforço para colher e interpretar
informações sobre o andamento de programas, para respon-
der a perguntas relevantes do tomador de decisão ou, pelo
menos, de qualquer interesse para um ou mais atores sociais
envolvidos.”
Patton “A avaliação é a coleta sistemática de informações sobre ati- Com juízo de valor,
(1998, p. 23) vidades, características e resultados para a formulação de ju- mas não deixa claro
ízos sobre programas, de modo a melhorar a sua eficácia ou quem emite tal juízo.
direcionar decisões sobre a sua programação futura.”
Carol Weiss “Análise sistemática do processo e ou do resultado de um Com juízo de valor,
(1998, p. 4) programa ou de uma política, comparado a um conjunto de mas com maior peso
valores (standard) implícito ou explícito, a fim de contribuir à dimensão proces-
para o melhoramento do programa ou da política”. sual da avaliação e
a sua contribuição

ao próprio ciclo do
objeto avaliado.
Means Collection “Consiste no juízo do seu valor em relação a critérios explíci- Com juízo de valor,
(União Europeia) tos, e sobre bases de informação especificadamente coleta- mas com ênfase na
(1999, v. 1, p. 17) das e analisadas.” cientificidade de tal
juízo.
Worthen, Sanders “Avaliação é a identificação, esclarecimento e aplicação de Com juízo de valor,
e Fitzpatrick critérios defensáveis para determinar o valor (ou mérito), a releitura de Scriven.
(2004) qualidade, a utilidade, a eficácia ou a importância do objeto
avaliado em relação a estes critérios.”
Bezzi “Conjunto de atividades úteis para exprimir um juízo direcio- Com juízo de valor,
(2007) nado a um fim – juízo argumentado através de procedimen- mas ressaltando os
tos de pesquisa avaliativa. Tal pesquisa constitui-se como o aspectos de pesqui-
elemento essencial e imprescindível para dar confiança aos sa que propiciariam
procedimentos e para garantir a fidelidade das informações o que o autor bem
utilizadas para exprimir aquele juízo”. define como argu-
mentação do juízo.
A última das definições presente no quadro 1, proposta por Bezzi (2007), ree-
xamina a aproximação entre avaliação e pesquisa avaliatória, já discutida por Rossi e
17
Wright no trabalho intitulado Evaluation Reseach (Pesquisa avaliativa), publicado em
1984, no qual propõe que a avaliação deve empregar uma rigorosa metodologia das
ciências sociais. Nessa mesma perspectiva, outros autores buscaram resgatar a relação
entre avaliação e pesquisa, ressaltando a dimensão processual e coletiva das avalia-
ções. Neste texto, adotaremos uma definição-guia de avaliação que também explora
a dimensão investigativa e processual da avaliação de políticas e programas sociais,
proposta por Boullosa, em 2006 (p. 112):
Avaliação é o conjunto de atividades, nem sempre solidamente correlacionadas, voltado para a
expressão de um juízo ou síntese avaliatória, direcionado a um fim, nem sempre claro e/ou explícito,
empreendido por um conjunto de agentes, nem sempre definidos ou etiquetados como avaliadores.
Este juízo deve ser o máximo possível argumentado através de instrumentos e procedimentos de
pesquisa avaliatória (não somente pesquisa social aplicada), de modo a possibilitar a sua reconstrução
analítica e discussão dos resultados, juízo ou síntese avaliatória, pelas coletividades interessadas em tal
avaliação, desencadeando um processo de aprendizagem prático-institucional (relativo ao objeto de
avaliação) e social (relativo à dimensão dialógico-cívica da sociedade em geral).
A definição proposta por Boullosa (2006) interpreta claramente a avaliação como

um juízo explicitado em uma síntese avaliatória. Esse juízo é, ao mesmo tempo, um juízo
direcionado a um fim, admitindo diferentes usos da avaliação, inclusive o seu caráter de
subjetividade, e um juízo argumentado, admitindo a dimensão dialógica e novamente
subjetiva da avaliação. A avaliação é um processo que envolve diferentes atores, direta
e/ou indiretamente, através de entrevistas, opiniões, leituras, reuniões e outros tipos de
troca. Além disso, os atores envolvidos na atividade da avaliação, sobretudo o ator que
assume a coordenação do processo de avaliação, possuem as suas crenças, valores, pre-
conceitos e outras subjetividades que influenciam no processo. A figura abaixo procura
aprofundar o conteúdo da definição adotada como definição-guia para esta disciplina.
(BOULLOSA, 2007)
Problematiza os objetivos
deste juízo
A pesquisa
avaliativa é o núcleo
Admite a subjetividade do mais importante
objetivo deste juízo da avaliação,

Juízo ou síntese dando solidez à
argumentação do
PESQUISA AVALIADA
avaliatória
Admite um senso científico, juízo ou da síntese
direcionado(a) a um fim
mas sobretudo profissional avaliatória. Através
dela é possível
Explicita os elementos reconstruir o juízo,
de avaliação e promove compartilhar
Juízo ou síntese simetria informacional os resultados
avaliatória e desencadear
argumentado(a) Admite a incerteza, pois o processo de
reconhece a dimensão aprendizagem
dialógica da avaliação prático-institucional
e sociocívicos
Assume-se como parte de um
processo de aprendizagem
prático-institucional e
sociocívico
Figura 1 – Esquema conceitual proposto pela definição de avaliação de Boullosa (2007).
18
Considerar a avaliação como uma atividade próxima à pesquisa social aplicada
significa assumir que, além de uma dimensão metodológica, a avaliação exige refle-
xões teóricas, epistemológicas e deontológicas (relacionada aos deveres profissionais
da categoria do avaliador, mesmo que ainda não contemplada por um código espe-
cífico aqui no Brasil). Além disso, a avaliação nunca é uma atividade isolada, realizada
por um único avaliador. Pelo contrário, uma avaliação é um processo complexo, na
qual se relacionam diferentes atores que se expressam implícita ou explicitamente por
diferentes fontes de informação, além de ser voltada para um público que em última
instância é a própria sociedade.
A avaliação pressupõe ainda um exercício de reconstrução, pois não avaliamos

algo objetivo e natural, mas, sim, um conjunto complexo e incerto de ações voltadas à
transformação social. Por isso, uma das primeiras atividades da avaliação é justamen-
te a reconstrução do objeto a ser avaliado, compreendendo a sua natureza e limites.
Essa reconstrução é incessante, pois a própria avaliação altera progressivamente a
compreensão do seu objeto, assim como do seu próprio fim ou objetivo da avaliação.
Nessa perspectiva, o processo de avaliação também pode ser visto como um processo
de construção de significados ou de significâncias, onde cada sujeito avaliador ou avalia-
do (diferentes atores com múltiplas realidades) deve enfrentar um problema semân-
tico relacionado à compreensão do significado da avaliação e dos seus processos. O
processo de avaliação pode, portanto, ser também compreendido como processo de
construção de uma lógica compartilhada de avaliação que compreenda as múltiplas
tramas de significado formadas pela sobreposição nem sempre pacífica de diferentes
realidades, construídas por diferentes atores (BOULLOSA, 2007).
“A realidade é uma construção social”
(BOULLOSA, 2007)
(BERGER; LUCKMAN, 1966)

Quem observa, portanto, faz parte dela.
Realidade avaliada
Diferentes atores
=
A natureza da realidade é múltiplas realidades
significativa (SCHUTZ, 1962) =
múltiplas tramas de significados
Problema semântico
Processo de construção de uma

O significado é uma categoria lógica de avaliação é um processo
do sujeito (portanto, é intrínse- compartilhado de significação
co a quem o problematiza)
Figura 2 – Avaliação como processo de construção de significados e significâncias.
19
A construção de uma lógica compartilhada de avaliação colabora para a redução
da complexidade decisional que envolve a avaliação e os seus objetos, sejam eles polí-
ticas, planos, programas, projetos e/ou ações. Por isso, a avaliação não pode deixar de
enfrentar o desafio da promoção do diálogo entre os diferentes planos conceituais e
metodológicos dos atores envolvidos direta ou indiretamente na avaliação, de modo a
construir uma lógica avaliatória compreensível a todos, bem como uma síntese avalia-
tória útil ao objeto avaliado. Nesse sentido, é possível afirmar que a avaliação carrega
consigo o papel de instrumento coletivo de juízo de ações socialmente relevantes, so-
bretudo quando relacionadas às intervenções de transformação social.
Especificidades das avaliações

de intervenções sociais
As intervenções voltadas à transformação ou maximização do bem-estar social
estão quase sempre protegidas sob a alcunha das chamadas políticas sociais, que têm
se revelado como um “invólucro” suficientemente elástico para acolher desde progra-
mas de redistribuição de renda a programas de promoção da segurança urbana, entre
tantos outros. Dada a complexidade dos grandes “invólucros” das ações sociais organi-
zadas, sobretudo aquelas de governo, tais como políticas econômicas, sociais, culturais
etc., vamos tentar compreender quais os conteúdos possíveis do que chamamos de
avaliação de políticas e programas sociais através da compreensão da natureza dos
bens e serviços promovidos ou preservados pelas intervenções sociais.
Para os nossos objetivos, os bens e serviços podem ser divididos em quatro gran-
des categorias: bens privados, bens públicos, bens semipúblicos e bens coletivos; todos
eles podem ser produzidos e ofertados pelo mercado, Estado e/ou Terceiro Setor8.
Todavia, nas economias modernas observa-se uma clara especialização na produção e
preservação das diferentes classes de bens. Os bens privados, por exemplo, são produ-
zidos sobretudo pelo mercado, enquanto que os demais, sobretudo os bens públicos,
são em grande parte produzidos e preservados pelo Estado. Além dessa diferença, os
bens públicos se caracterizam por serem indivisíveis (os de mercado são divisíveis e
autoexcludentes) e pela baixa ou inexistente reciprocidade de exclusão do consumo,
assim como pelo princípio da não exclusão. Em outras palavras, os bens públicos não
se deterioram pelo uso, o seu consumo por um indivíduo não prejudica as possibilida-
des de consumo dos demais indivíduos (SAMUELSON, 1966).
Já os bens semipúblicos ou meritórios são frequentemente explicados como bens que
8
Terceiro Setor (Third Sector) é uma terminologia sociológica que abriga todas as iniciativas privadas de utilidade pública, desde que com origem na sociedade
civil, sem vínculos diretos com o Primeiro Setor (Público, o Estado), nem com o Segundo Setor (Privado, o Mercado).
20
possuem características de mercado e de público, vistos, portanto, como intermediários.
Eles são perfeitamente divisíveis, mas os benefícios da sua produção e consumo recaem
sobre toda a sociedade. É o caso, por exemplo, da educação, que pode ser produzida tanto
pelo mercado quanto pelo Estado, total ou parcialmente, mas que, dado os benefícios so-
ciais dispersos que produz (externalidades positivas), não pode ser considerada exclusiva-
mente como bem de mercado. O mesmo acontece com os bens e serviços de saúde, que
contribuem para o bem-estar geral da sociedade. Em outra categoria se encontram os bens
chamados de coletivos, os quais, segundo uma pequena parte da literatura especializada,
são bens que pertencem à sociedade, mas que são cedidos pelo Estado a terceiros (priva-
dos). Tal cessão gera entradas para o Estado que deveriam, a princípio, ser aplicadas na pre-
servação de bens públicos ou outros semipúblicos.
Quadro 2 – Tipologia de bens
O autor.
Rivalidade na fruição
ALTA BAIXA
Bens semipúblicos
Bens privados (toll good)
Recíproca exclusão do consumo
ALTA
MERCADO Mercado / Estado / Terceiro

Setor

Bens coletivos Bens públicos
BAIXA
ESTADO através ESTADO

de concessões (Terceiro Setor)
As intervenções compreendidas no contexto do que chamamos de políticas so-

ciais tratam da promoção ou preservação de bens públicos ou semipúblicos, produzi-
dos pelo Estado, pelo mercado ou mesmo pelo chamado Terceiro Setor. Como recorda
Contador (2000), o fato de não ser destruído no ato do consumo traz algumas difi-
culdades para a mensuração dos benefícios do consumo desses bens. Além disso, é
bastante complicado, quando não impossível, mensurar o quanto esse bem foi ou não
consumido pelos seus potenciais beneficiários e o quanto ele foi realmente útil à trans-
21
formação da sua realidade social. A avaliação se complica ainda quando pensamos que
alguns desses bens não são usados de forma voluntária ou pontual (como a segurança
nacional) e que os seus fruidores tendem a subestimar os seus benefícios, atribuindo-
-lhes pouco ou nenhum valor. E para complicar mais ainda, o uso privatizado de um
bem público pode provocar, paradoxalmente, a degradação do próprio bem.
Assim, a avaliação de programas sociais tem se deparado desde o princípio com

os problemas relativos às especificidades das classes de bens que busca fomentar ou
preservar. Avaliar programas sociais é de certa forma avaliar estratégias de investimen-
tos voltados à produção de bens públicos e semipúblicos, seja pelo Estado, mercado
ou Terceiro Setor, em separado ou em parcerias. Ao longo da disciplina, nós vamos
tentar compreender as complexidades e incertezas que estruturam os principais desa-
fios da avaliação de programas sociais como campo de práticas e de conhecimento.
Alguns limites entre avaliação e monitoramento

Para concluir este capítulo, é necessário ainda compreendermos alguns limites
entre avaliação e monitoramento. Segundo a literatura especializada, há duas grandes
linhas para se compreender a relação entre avaliação e monitoramento: para a primei-
ra, monitoramento e a avaliação são atividades coincidentes e ambas formulam juízo
de valor sobre o objeto avaliado; para a segunda, o monitoramento é uma das ativida-
des da avaliação e limita-se ao processo de coleta de informações. Neste livro, abraça-
mos a primeira das grandes linhas, assumindo, porém, que avaliação e monitoramento
são duas atividades complementares.
Nessa perspectiva, compreende-se por monitoramento o conjunto de atividades

de acompanhamento sistemático do desenvolvimento e/ou desempenho do progra-
ma, com fins quase sempre de aperfeiçoamento do mesmo. É importante compreender
que trata-se de um processo rotineiro de acúmulo de observação e análise. Em outras
palavras, trata-se de uma atividade de registro regular de um programa, projeto ou

ação. É preciso ainda considerar que o monitoramento também pode ser voltado para a
verificação da continuidade da validade da hipótese sobre a qual o programa foi cons-
truído. Além desse objetivo de monitoramento, podemos também direcionar a nossa
observação continuada e sistemática para outros aspectos do programa, tais como:
22
acompanhar o desempenho de um programa;
acompanhar se os investimentos feitos em um programa/projeto estão sendo

bem utilizados;
verificar se o programa se mantém na rota dos seus objetivos;
identificar os pontos críticos na implementação do programa/projeto/ação a

fim de sugerir mudanças;
verificar a validade da hipótese sobre a qual se baseia o programa ao longo da

sua implementação;
garantir que todas as atividades sejam executadas corretamente pelas pesso-

as certas no tempo certo;
acompanhar o alcance parcial dos objetivos levando ou não em consideração

parâmetros e valores de projetos/programas semelhantes.
Além disso, é importante distinguir avaliação e monitoramento de outras ativida-

des de análise de dados, tais como benchmarking, pesquisa de base, social audit e certi-
ficação. Benchmarking é o processo de confronto do próprio desempenho e resultados
com outros desempenhos e resultados possivelmente similares, podendo ser interno
(entre unidades de uma mesma organização ou programa), competitiva (em relação
a organizações ou programas considerados excelentes), funcional (em relação às best
practicies, mesmo que em outros setores de intervenção) ou genérica (em relação ao
inteiro processo organizacional); já o social audit busca identificar as diferenças entre as
metas propostas e aquelas alcançadas, eventualmente propondo reparações pontuais,
sem problematizar a validade das hipóteses ou dos objetivos propostos pelo programa

em questão. A pesquisa de base busca construir teorias gerais, independentemente da
utilidade direta e imediata para a produção de transformação social. A certificação,
por sua vez, admite procedimentos de avaliação, mas é voltada ao completo preenchi-
mento dos padrões mínimos (standard) para que uma determinada experiência possa
receber uma garantia externa de qualidade. Cada uma dessas atividades possui um
equilíbrio próprio entre propensão à reflexão e à crítica e propensão à intervenção,
como mostra o gráfico 1.
23
Gráfico 1 – Relação entre avaliação e outras atividades
MAIOR propensão à reflexão, à crítica
(BEZZI, 2007. Adaptado.)

Avaliação
Pesquisa de base
Benchmarking
MENOR propensão
MAIOR propensão
à intervenção
à intervenção
Monitoramento?
Social Audit
Certificação
Menor propensão à análise,

MAIOR propensão ao registro, à informação
Como você pode notar, avaliação e monitoramento estão presentes no gráfico

em posições separadas. Entretanto, são atividades complementares, que estão pro-
fundamente relacionadas. Essa divisão é somente analítica, pois refere-se aos eixos
propostos para a compreensão dos equilíbrios que cada uma das atividades descritas.
Nessa perspectiva de análise, a avaliação aparece como uma atividade muito propen-
sa à reflexão e à análise, pois não são atividades automatizadas, que se restringem ao
simples registro de informações. A avaliação, ainda, está localizada quase que comple-
tamente no quadrante relativo à maior propensão à intervenção. De fato, a avaliação

tem sido cada vez mais solicitada como instrumento de gestão, relacionado ao desejo
de intervenção no objeto de avaliação.
No que diz respeito ao monitoramento, o mesmo é apresentado com uma forma

irregular, evidenciando as diferentes interpretações que podemos ter do mesmo. No
gráfico, ele encontra-se dentro dos dois quadrantes inferiores, ou seja, naqueles rela-
tivos à menor propensão à análise e maior propensão ao registro de informação, des-
tituído de desejo analítico. Infelizmente, ainda temos muitos processos de monitora-
mento que se recusam a “pensar”, ou seja, que se limitam a registrar dados e evidenciar
possíveis distorções na curva de parâmetros considerados normais. Quanto ao eixo
de maior ou menor propensão à intervenção (eixo horizontal), note que a avaliação
encontra-se bastante equilibrada pois depende do seu propósito. Alguns processos de
24
monitoramento estão relacionados com um pequeno sistema de correções de eixo do
projeto, outros não.
Conclusão
Como você pôde perceber, nesta disciplina nós vamos aprender um pouco mais
sobre atividades que não nos são estranhas: avaliação e monitoramento. Vimos que
ambas as atividades estão relacionadas ao campo da decisão, bem como aos campos
da aprendizagem social e individual. Dessa vez, porém, vamos passar do âmbito das
avaliações informais para aquele das avaliações formais. Além disso, das avaliações for-
mais de um tipo muito particular de objeto de avaliação que são as intervenções de
cunho social, agrupadas em conjuntos aos quais damos os nomes de políticas, planos,
programas, projeto ou ações.
Com esse panorama geral sobre avaliação e monitoramento de projetos sociais

concluímos a nossa primeira aula. Mas sugiro que você não fique por aqui. Pelo con-
trário, que vá adiante e pesquise sobre o tema. Mesmo ainda não tendo uma grande
tradição em avaliação, cada vez são produzidos no país estudos relativos a esse campo
de práticas e conhecimentos. Sobretudo na internet/web, você encontrará uma abun-
dância de informações, teses, estudos de caso e, sobretudo, relatórios de avaliação.
Leia-os e comece a se ambientar com o linguajar específico do mundo da avaliação.
Você perceberá também que cada vez mais a figura profissional do avaliador de proje-
tos sociais se faz presente dentro das diferentes esferas de governo, em decorrência de
um mercado profissional em ascensão.

Texto complementar
Limitações potenciais da avaliação

(WORTHEN; SANDRS; FITZPATRICK, 2004)
A utilidade da avaliação levou algumas pessoas a considerá-la uma panaceia

para todos os males de nossa sociedade. Mas, sozinha, a avaliação não tem condi-
ções de resolver todos os problemas da sociedade. Um dos maiores erros dos avalia-
dores é prometer resultados que não podem ser alcançados. Até mesmo fervorosos
defensores da avaliação são obrigados a admitir que muitos estudos de avaliação
25
não conseguem levar a melhorias significativas dos programas que julgam. Por quê?
Em parte é uma questão de compreender mal outros fatores que afetam o uso das
informações da avaliação, mesmo em estudos que têm boas definições conceituais
e são bem conduzidos. Além disso, tanto avaliadores quanto seus clientes podem ter
sido limitados pela tendência infeliz de ver a avaliação como uma série de estudos
separados entre si em vez de considerá-la um sistema contínuo de autorrenovação.
A existência de avaliações mal planejadas, mal executadas ou impropriamente

ignoradas não deve nos surpreender: esses fracassos ocorrem em todos os campos
da atividade humana. O verdadeiro problema é a sua frequência e magnitude.
Muitas avaliações-chave foram tão decepcionantes ou tiveram tão pouco impacto
que até alguns defensores da avaliação mostraram reserva quanto à possibilidade
de a avaliação estar à altura de seu elevado potencial. Na verdade, a menos que as
práticas de avaliação melhorem significativamente nos próximos anos1, seu poten-
cial pode nunca se realizar. Isso não precisa acontecer. [...]
Há um problema paralelo quando aqueles que precisam da avaliação supõem

ingenuamente que basta tocar um empreendimento com sua varinha de condão
para corrigir todas as disfunções e inadequações. Embora a avaliação possa ser
imensamente útil, é em geral contraproducente que os avaliadores ou aqueles que
dependem do seu trabalho proponham a avaliação como o último recurso de todo
problema ou, na verdade, de qualquer tipo de solução porque a avaliação em si não
cria uma solução – embora possa sugeri-la. A avaliação serve para identificar pontos
fortes ou fracos, destacar o que é bom e expor defeitos, mas não pode, sozinha, cor-
rigir problemas, pois este é o papel da administração e de outros responsáveis, que
podem usar as conclusões da avaliação como instrumento de ajuda nesse processo.
A avaliação tem um papel a cumprir no sentido de esclarecer seus consumido-

res e pode ser usada para muitas outras coisas. Mas é somente uma entre muitas in-
fluências voltadas para a melhoria das políticas, práticas e decisões das instituições
importantes para nós.
1
É importante lembrar que o texto foi publicado em 2004.
Atividades
1. Você já participou de algum estudo de avaliação ou conhece alguma experi-

ência desse tipo? Procure um estudo de avaliação e identifique cinco aspectos
que o diferenciam de uma avaliação informal.
26
2. Faça uma lista com dez avaliações informais que você efetuou nas últimas 24
horas. Dessas dez, selecione as duas mais complexas e procure desvendar qual
o percurso de avaliação que você percorreu para chegar a tais juízos. Escreva
ambos os percursos e identifique quais os aspectos subjetivos (crenças, valores,
simpatias, preconceitos, relações causais pessoais) neles presentes.
3. Você concorda que toda avaliação emite sempre um juízo de valor? Justifique.
4. Explique por que o juízo da avaliação deve ser argumentado e quais as prerro- Introdução à avaliação e monitoramento de projetos sociais
gativas desse juízo.
27
Avaliação de políticas e
programas sociais no Brasil
Introdução
A avaliação está hoje consolidada na agenda governamental do
Vídeo
país, embora os seus usos ainda sejam extremamente limitados. A con-
cepção gerencialista que vem marcando a cultura de avaliação no país
ainda não conseguiu superar o estigma da avaliação como última etapa
de processos de intervenção social. Avalia-se porque se deve, mas não
se sabe bem o porquê, separando-a dos sistemas de aprendizagem que
envolvem qualquer processo de intervenção social, sobretudo quando promovidos pelo
Estado.
Assistimos, assim, a uma certa “automatização da avaliação” que se perde no vazio

da falta de uso prático para os próprios objetos avaliados, sejam eles políticas, planos
programas, projetos ou ações. Essa automatização da avaliação esvaziada de significa-
do é em parte decorrente do modo como a cultura da avaliação vem se consolidando
no país. Neste capítulo vamos tentar compreender como a “função avaliação” foi sendo
incorporada nas agendas de governo do país, modelando comportamentos institu-
cionais, e reforçando essa lacuna entre o consenso sobre a necessidade de se avaliar e
dificuldade em compreender ou inserir esse processo de avaliação dentro de um ciclo
de aprendizagem social dos objetos avaliados.
Avaliação e reforma do Estado

Também no que diz respeito à avaliação, o Brasil apresenta traços comuns com a
América Latina, pois toda ela vivenciou um grande esforço de inclusão da avaliação nas
agendas nacionais de governo, durante as décadas de 1980 e 1990, marcado pelo in-
tenso debate sobre a crise de governabilidade e credibilidade dos Estados Nacionais. A
29
concepção gerencialista da administração pública brasileira encontra suas raízes em tais
debates, influenciados pelo movimento estadunidense e europeu de reforma dos apare-
lhos de Estado, sob a batuta dos governos de Ronald Reagan (presidente dos EUA entre
1981 e 1989) e Margaret Thatcher (primeira-ministra da Inglaterra entre 1979 e 1990).
Malgrado as diferenças, ambos os governos apregoam a cultura do empreende-

dorismo como complementar à flexibilização do trabalho, motivado sobretudo pelas
reformas pouco pacíficas na legislação trabalhista, que alterava significativamente a
relação Estado e sociedade. No célebre livro A Condição Pós-Moderna, David Harvey
(1992) identifica a emergência de novo código de valores e condutas que orientariam
as preferências dos atores socais a buscar controle, eficiência e competitividade máxi-
mas em suas atividades prático-organizacionais. E em tais buscas, a função avaliação
aparece como um dos seus principais instrumentos.
De fato, na Inglaterra, Thatcher se esforçava para reverter o quadro de perdas

locais crescentes em um mercado internacional cada vez mais aberto e competitivo,
através de esforços de maximização da produção, de redução dos gastos públicos e da
introdução de princípios de flexibilidade no mercado de trabalho. O sucesso da flexi-
bilidade é atribuído por alguns autores, como Morris, como decorrente de um resgate
de alguns ideais vitorianos como o “esforço e o trabalho duro, cultivando-se também a
motivação, a ambição criativa, a inovação, a excelência, a independência, a flexibilida-
de e a responsabilidade pessoal” (MORRIS, 2001 apud PAES, 2005, p. 37).
Nos Estados Unidos, a lógica da flexibilização e gerencialismo também não é

muito diferente, ainda que um pouco mais tardia. O gerencialismo defende que a
utilização racional dos recursos garante a otimização dos resultados, a administra-
ção se resume a um problema de eficiência alocativa. Além disso, o gerencialismo
reforça a ideia de que progresso individual é para todos, pois o sucesso dependeria
exclusivamente da capacidade empreendedora do indivíduo. Autores como Du Gay
(1991), quando estudam o culto à excelência da era Reagan, demonstram como o
ideal sonho americano (American Dream), que apresentava o país como a terra da
oportunidade de progresso e crescimento, precedeu e impulsionou o gerencialismo

da administração pública estadunidense.
Em 1992, Osborne e Gaebler publicam um livro intitulado Reinventando o Governo,

com um subtítulo bastante alinhado ao espírito da época: como o espírito empreende-
dor está transformando o setor público. Os autores defendem que governo empreen-
dedor ou governo inovador é aquele que emprega “os recursos de novas formas, para
maximizar a produtividade e a eficiência” (OSBORNE; GAEBLER, 1994, p. 16). Para isso,
utilizam-se de adjetivos que buscam ressaltar o caráter modernizador da nova gestão
pública: governo que busca e incentiva a competitividade, que assume um papel de
catalisador das relações econômicas, pertencente à comunidade, orientado por mis-
sões, de resultados, orientado ao cliente, empreendedor, preventivo, descentralizado,
orientado ao mercado e reinventado. Tais adjetivos revelam ainda que a reinvenção do
30
governo pressupunha a utilização de práticas gerencias oriundas da gestão empresa-
rial e do mercado na gestão dos bens públicos.
Os esforços reformistas se justificaram em grande parte pela busca da “moderni-

zação” da gestão pública, pela adoção de princípios da gestão empreendedora e por
transformações da relação entre Estado e sociedade. Todas essas mudanças aconte-
ceram em um contexto de dinamização e legitimação da reforma do Estado (FARIA,
2005), impulsionada por uma visão limitante da avaliação como etapa final do chama-
do “ciclo de projetos” ou de “ciclo de políticas”. Essa visão alinhava-se sobretudo àquilo
que Scriven (1967) chamou de avaliação somativa, que é voltada aos atores tomadores
de decisão, seja para decidir sobre a continuidade dos programas e/ou projetos avalia-
dos, seja para aquilatar resultados, seja como ação de responsabilização dos gestores
(accountability).
As principais características pós-reforma da administração pública gerencial bra-

sileira são a orientação para o cidadão e para a obtenção de resultados, em contrapon-
to à administração burocrática, que se concentra nos processos, sem considerar a ine-
ficiência envolvida. São esses os princípios propostos por Bresser-Pereira e Peter Spink,
que organizam o livro Reforma do Estado e Administração Pública Gerencial (1998), com
o objetivo de apresentar “um novo marco teórico e uma nova prática para a admi-
nistração pública – a abordagem gerencial” (BRESSER-PEREIRA; SPINK, 1999, p. 7). É o
próprio Bresser-Pereira a explicar pouco depois que:
No lugar da velha administração pública burocrática, emergiu uma nova forma de administração –
a administração pública gerencial –, que tomou emprestado do setor privado os imensos avanços
práticos e teóricos ocorridos no século XX na administração de empresas, sem contudo perder sua
característica específica: a de ser uma administração que não está orientada para o lucro, mas para
o atendimento do interesse público (BRESSER-PEREIRA, 2001, p. 9).
Todas essas ideias deram o tom do debate da reforma do Estado brasileiro, que
abraça a vertente gerencialista, que defende a racionalização top-down (de cima para
Avaliação de políticas e programas sociais no Brasil

baixo) dos processos decisionais, e colocaram as bases para uma cultura também ge-
rencialista de avaliação no país. Por isso, muitos autores defendem que a difusão das
práticas de avaliação estão profundamente relacionadas às questões de efetividade,
eficiência, responsabilização e desempenho da gestão pública, que, por sua vez, fazem
parte da cultura gerencialista da reforma do Estado. Pode-se, inclusive, atribuir a tal
correlação à utilização limitada que muitas das avaliações acabam sofrendo no âmbito
da administração pública, mesmo quando foram solicitadas para embasar decisões de
gestores, formuladores e implementadores de programas e políticas públicas. Na pers-
pectiva da reforma do Estado, as avaliações de políticas e programas deveriam contri-
buir (ou mesmo garantir) que formuladores e implementadores tomassem decisões
“mais corretas”, com mais informação e conhecimento sobre o tema tratado, de modo
a otimizar o gasto público, maximizar os seus resultados, identificar êxitos e enfrentar
as dificuldades com maior margem de acerto.
31
Desse modo, no bojo da reforma do Estado, emerge com muita força no país a
figura profissional do avaliador de políticas, programas e projetos sociais. Assumindo
um certo tom de ironia, Vieira (1993, p. 70) resume tal processo com as seguintes pa-
lavras: “[...] [no] Brasil, desde o tempo da elaboração da Constituição de 1988, a febre
avaliatória ganha dimensão de epidemia e os avaliadores metamorfoseiam-se em fes-
tejados demiurgos [...]”.
Além disso, Vieira relaciona os preceitos da Administração Pública Gerencial (APG)

com a perda de direitos sociais (sobretudo trabalhistas) ocorrida nos anos 1990. Para
ele, a consolidação da figura profissional do avaliador acontece justamente no contex-
to da supressão de tais direitos, que acabam funcionando como legitimadores de tais
processos, ao sugerir, por exemplo, cortes de pessoal, embasado por “argumentações
científicas”.
Essa compreensão dos avaliadores como medidores ou auditores de resultados

sociais também é notada por outros autores, como Derlien (2001), para quem a APG
acabou sendo a maior incentivadora da função de realocação de recursos que a avalia-
ção assumiu nos anos 1990, sobretudo na América Latina. Para esse autor, os grandes
protagonistas da realocação não são mais os administradores, mas, sim, os escritórios
de avaliação e auditoria, assim como os ministérios da fazenda e as unidades de gover-
no envolvidas com o orçamento público. Ele lembra que as perguntas avaliatórias mais
frequentes colocavam ênfase nos aspectos quantitativos em detrimento dos qualitati-
vos (DERLIEN, 2001, p. 106), tais como:
Quais programas podem ser suprimidos ou reduzidos a partir dos resultados

negativos da avaliação?
Quais são as consequências do retrocesso das fronteiras do Estado, ou seja, da

privatização de determinadas atividades públicas?
Como se pode obter ‘mais rendimento pelo dinheiro’ a partir da reorganização

dos programas individuais e das atividades públicas em seu conjunto?
Para Pimenta de Faria (2005), o desenho das reformas de Estado na América latina
privilegiaram dois propósitos básicos: de um lado, o trinômio: contenção de gastos;
maximização da eficiência e da capacidade de resposta dos governos; maximização da
responsabilização dos gestores e da transparência dos processos públicos. Do outro,
reavaliação do leque tradicional de atribuições do Estado na promoção e preservação
de bens públicos. Talvez por isso, Caiden e Caiden afirmam que “a medição de desem-
penho, o monitoramento e a avaliação não foram apenas ornamentais nem tiveram
uma significação incidental nas reformas. Foram (ou deveriam ter sido) as alavancas
essenciais da mudança” (CAIDEN e CAIDEN, 2001 apud FARIA, 2005).
A grande importância que a avaliação assume na reforma do Estado está, por-

tanto, relacionada à credibilidade ou cientificidade que a mesma parece imputar aos
32
processos de “desregulamentação” e “devolução”. Por desregulamentação (deregu-
lation) compreende-se o conjunto de mudanças promovidas para a eliminação de
restrições dos negócios a fim de encorajar a eficiência nas operações do mercado.
Por devolução (devolution) compreende-se o conjunto de mudanças promovidas
para diminuir o tamanho do Estado, por acreditar que através da transferência ou
deslocamento de funções e serviços públicos para as instâncias subnacionais (des-
centralização) ou para o mercado (privatização). Além disso, a avaliação funcionou
ainda como instrumento de transparência da gestão pública e, muitas vezes, como
expressão de gestão participativa.
Evolução das experiências de

avaliação no setor público do país
Em 1991, o Governo Collor de Mello cria o Programa da Qualidade do Serviço
Público (PQSP), ainda como um Comitê Setorial da Administração Pública, vinculado
ao Programa Brasileiro de Qualidade e Produtividade (PBQP), iniciado um ano antes,
com o objetivo de apoiar a modernização das empresas brasileiras que precisavam se
ajustar à abertura econômica e à forte concorrência estrangeira. O foco principal do
PBSP era mobilizar e incluir as organizações públicas do executivo federal para a im-
plantação do PBQP. De 1991 a 1995, os esforços de mobilização restringiram-se a pales-
tras, seminários e cursos voltados aos gestores de tais organizações. Em 1995, o então
Ministério da Administração Federal e Reforma do Estado do Governo Fernando Hen-
rique Cardoso, liderado pelo então ministro Bresser-Pereira, implanta o Plano Diretor
de Reforma do Aparelho do Estado, que propõe mudanças nos âmbitos institucional-
-legal, cultural e de gestão da administração pública. O Plano Diretor tece fortes crí-
ticas à incapacidade do Estado contemporâneo de responder eficientemente à crise

dos anos 1980, ao seu tamanho desmesurado que causa incapacidade de resposta,
e propõe uma ampla reforma. Em tal reforma, o Estado deveria restringir a sua ação
direta, sem perda de governabilidade, concentrando os seus esforços e recursos escas-
sos às funções de regulação e controle, além de continuar exercendo as funções que o
mercado não conseguiria executar:
O objetivo [do plano] é construir um Estado que responda às necessidades de seus cidadãos, um
estado democrático, no qual seja possível aos políticos fiscalizar o desempenho dos burocratas
e estes sejam obrigados por lei a lhes prestar contas, e onde os eleitores possam fiscalizar o
desempenho dos políticos e estes também sejam obrigados por leis a lhes prestar contas. (BRESSER-
PEREIRA; SPINK, 1998, p. 36).
O Plano Diretor de Reforma do Aparelho do Estado enfatiza, assim, a importân-

cia dos processos de avaliação da administração pública como última etapa do ciclo
de vida das ações do setor público, sobretudo pela sua capacidade de responsabilizar
33
os agentes públicos, assim como de aquilatar resultados dos investimentos públicos.
Desse modo, no Plano Diretor, a avaliação é reafirmada como a última etapa de uma
leitura tradicional do ciclo das políticas e dos seus instrumentos (que compreende as
três etapas de “formulação/definição”, “implementação” e “avaliação”), como aparece
no trecho em que propõe a criação de “mecanismos que viabilizem a integração dos
cidadãos ao processo de definição, implementação e avaliação da ação do setor públi-
co” (BRASIL, 1995, p. 37).
A compreensão do conceito de avaliação do Plano Diretor se concretiza no Pro-

grama Qualidade e Participação na Administração Pública (1997)1. Para esse programa,
os princípios da Gestão pela Qualidade são apresentados como os instrumentos que
trariam transformações legais (obrigatoriedade da prestação de contas e responsabi-
lização dos agentes) e culturais (de burocrática à gerencial) pretendidas pela adminis-
tração pública gerencial. Entre os seus objetivos específicos estão:
instrumentalizar, acompanhar e avaliar as ações que visem o aprimoramento

e a melhoria da qualidade na prestação de serviços pelo setor público;
conceber mecanismos que viabilizem a integração dos cidadãos no processo

de definição, implementação e avaliação da ação pública;
definir indicadores de desempenho para avaliação de resultados e de níveis

de satisfação dos clientes (internos e externos) e estimular a sua utilização.
Tal desdobramento acaba por consolidar o viés gerencialista que a avaliação

assume na agenda institucional do governo. Não por acaso, o gerencialismo incentiva
o uso de critérios de excelência, construídos a partir de avaliações de programas ou
projetos considerados como boas práticas de gestão por premiações nacionais ou in-
ternacionais, acreditando que é possível universalizar boas práticas de gestão (e obter
resultados semelhantes).
A partir de 2001, o Programa de Qualidade no Serviço Público instituiu o Sistema

de Avaliação e Melhoria da Gestão Pública, ainda sob o governo de Fernando Henrique

Cardoso, voltado para Empresas Públicas e Administração Direta. A adesão ao progra-
ma era voluntária, o que significava submeter-se a um conjunto integrado de ações
de melhoria, durante ciclos contínuos de autoavaliação da gestão, validação externa,
planejamento para a melhoria da gestão, implementação das melhorias, acompanha-
mento e controle em tempo de execução, ações corretivas em tempo de execução.
Em 2005, surge o Programa Nacional de Gestão Pública e Desburocratização –

Gespública – que objetiva contribuir para a melhoria da qualidade dos serviços públi-
cos prestados aos cidadãos e para o aumento da competitividade do país. Aos poucos,
a avaliação foi perdendo seu caráter de instrumento privilegiado e, sobretudo, garan-
tidor da eficiência da gestão pública. Muitos autores começaram a questionar os im-
1
Em 1999, o programa foi reestruturado e passou a chamar-se Programa da Qualidade no Serviço Público.
34
pactos de anos e anos de investimento, em avaliação sobre a qualidade das políticas e
dos seus instrumentos em responder adequadamente os problemas sociais. Frequen-
temente, era o viés gerencialista que defendia a dimensão exclusivamente técnica da
avaliação a ser duramente questionada.
O fato é que a avaliação foi perdendo credibilidade, não obstante os contínuos es-
forços empreendidos por alguns (poucos) setores do governo. Diversos autores come-
çaram a recordar uma outra dimensão da avaliação, mais importante do que a técnica:
a dimensão política. Entre tais autores, podemos destacar Pimenta de Faria,
Reconhecida, portanto, a hegemonia quase inconteste da perspectiva gerencialista [...], parece-nos
oportuno inventariarmos as distintas formas de uso esperado e potencial da avaliação de políticas
públicas, para que possamos ampliar a nossa percepção do viés político da pesquisa avaliativa.
Antes, contudo, cabe alertarmos para o fato de que, evidentemente, não se espera aqui que a ciência
política seja capaz, por si só, de “(re)politizar” a avaliação de políticas públicas. Cabe a ela, isto sim, a
análise do impacto e das implicações de tal hegemonia. (FARIA, 2005, p. 101)
Conclusão
Como vimos, a avaliação de políticas sociais e de seus instrumentos (planos, pro-
gramas, projetos, ações) atravessa no país um novo período em que tenta reconstruir a
sua identidade. A atividade de avaliação se difundiu, chegou até mesmo a banalizar-se,
mas ainda não apresenta um conjunto de práticas que possa definir uma cultura de
avaliação no país. A institucionalização das diretrizes que a avaliação recebeu durante
o período da reforma do Estado acabou por revelar-se precoce, contribuindo para a
perda de credibilidade. Muito se avalia, mas grande parte das avaliações ainda não é
incorporada nos processos de formulação e implementação das políticas, muito menos
é vista como parte de tais processos.
Apesar da presença constante da avaliação nas diretrizes de governo, ainda não

podemos falar em uma política de avaliação que seja transversal à maioria das iniciati-
vas do setor público. Como recorda Vaitsman (2006), a implementação de uma políti-
ca de avaliação e monitoramento no país “depende de um conjunto de elementos de
natureza institucional, política e cultural, similares aos da implementação de qualquer
política ou programa” (VAITSMAN, 2006, p. 1).
Na área da proteção social, o caso do Ministério de Desenvolvimento Social e

Combate à Fome apresenta-se como uma experiência que tem investido recursos cog-
nitivos e econômicos para enfrentar o grande desafio da incorporação dos resultados
das avaliações aos objetos avaliados, seja em relação aos processos de formulação
quanto aos de implementação. Tal aproximação é fundamental para que a avaliação
e monitoramento possa realmente funcionar como um canal de retroalimentação do
objeto avaliado. Não obstante a complexidade do desafio, essa busca por enfrentá-lo
encontra suas raízes na própria estruturação político-administrativa do Ministério.
35
Além da experiência no MDS, o Governo Federal vem, desde 2003, incentivando a
adoção da avaliação como uma prática de gestão, que assume sua dimensão política,
ainda que timidamente, introduzindo-a, por exemplo, nos planos plurianuais. Todavia,
poucos estados, como é o caso do Rio Grande do Sul, têm conseguido incorporar tal
diretriz em seus planos. A incorporação de práticas de avaliação e monitoramento por
diferentes setores e níveis de governo ainda necessitam de um sistema de incentivos e
sanções para que seja efetivado. Se tais sistemas por um lado podem ajudar, por outro
podem impedir o amadurecimento de uma cultura de avaliação no país como parte in-
tegrante do próprio conceito de políticas públicas, sobretudo daquelas de cunho social.
Para acompanhamento das ações do Governo Federal, sugerimos:
- Governo Eletrônico (www.governoeletronico.gov.br ): disponibilizado uma
série de dados, ações, consultas populares e padronizações para tecnologia de
dados que permitem acompanhamento das ações públicas.
- Ministério do Desenvolvimento Social e Combate à Fome (www.mds.gov.br ):
informações sobe os programas sociais federais, dados estatísticos, orientações
de acesso.
- IPEA (Instituto de Pesquisa Econômica Aplicada - www.ipea.gov.br ): dados
estatísticos sobre os programas sociais, dados econômicos, perspectivas de cres-
cimento, etc.
Texto complementar
O sistema de avaliação e monitoramento das políticas

e programas sociais: a experiência do Ministério
do Desenvolvimento Social e Combate à Fome do Brasil
(VAITSMAN; RODRIGUES; PAES-SOUSA, 2006)
No Brasil, a criação de uma unidade horizontal dentro de uma estrutura minis-

terial para avaliação e monitoramento das políticas e programas de proteção e assis-
tência social apresenta um caráter inovador, em vários sentidos. A incorporação da
avaliação e monitoramento à gestão e à tomada de decisões, além de agregar qua-
lidade à gerência e ao desempenho dos programas com base em informação e aná-
lise de dados, fortalece a expansão de uma cultura de transparência e accountability
na administração pública. Como uma iniciativa do Ministério do Desenvolvimento
Social e Combate à Fome (MDS) para a modernização da gestão de suas políticas,
também é parte de um processo voltado para a melhoria da eficiência, eficácia e
36
efetividade de um conjunto de ações do Estado.
A Secretaria de Avaliação e Gestão da Informação (SAGI/MDS) assumiu um

lugar definido na divisão social do trabalho no campo da avaliação: contratante de
serviços. Ainda que frequentemente membros da equipe realizem estudos, levanta-
mentos e análises de problemas específicos1, a função de executar pesquisas jamais
foi assumida, o que seria inteiramente inexequível dentro de uma estrutura minis-
terial e diante dos objetivos de avaliar o conjunto de programas e políticas do MDS.
Como contratante de estudos, obteve-se pelo menos três tipos de ganho: de

escala, tendo sido possível contratar um grande número de pesquisas em tempo
relativamente curto; de diversidade, pois se definiu como estratégia de avaliação a
contratação de estudos de diferentes tipos, desenhos, abordagens e métodos; de
qualidade, uma vez que foi possível selecionar as instituições mais adequadas para
a realização de cada tipo de estudo. Foram feitas desde grandes pesquisas nacionais
em conjunto com o IBGE até avaliações de impacto com desenho longitudinal e
quase-experimental, passando por estudos de caso, com abordagem antropológica.
Essa estratégia, no entanto, só foi bem-sucedida devido à decisão de formar uma

equipe enxuta e qualificada, multidisciplinar e com suficiente experiência em pesqui-
sa não apenas para saber o que se queria contratar, mas também com conhecimento
teórico e metodológico para avaliar os produtos entregues. Uma gestão não burocrá-
tica, flexível e centrada no reconhecimento das capacidades individuais, autonomia
e responsabilidade da equipe foi decisiva para a produção de um conjunto signifi-
cativo de pesquisas, ferramentas, publicações, cursos, em um período de tempo tão
curto. Mesmo quando se considera as demais áreas da política social, consolidadas há
mais tempo, unidades equivalentes à SAGI, quando integradas às estruturas ministe-
riais, além de menores, não dispõem de tanta capacidade de execução e capacidade

técnica agregada. A SAGI desenvolveu um modelo institucional de avaliação próprio,
incluindo uma rotina de procedimentos para o ciclo de avaliação, que vai desde a de-
finição do problema à elaboração dos termos de referência de pesquisas, contratação,
acompanhamento, divulgação e publicação regular dos resultados.
Do ponto de vista do monitoramento, a construção da Matriz de Informações

Sociais teve duas principais consequências: a primeira, tornando-se poderoso ins-
trumento de gestão com informação agregada em nível municipal pela primeira
vez na área de proteção social; a segunda, o fato de a entrada em funcionamento
da Matriz de Informações Sociais ter induzido a resolução de pelo menos três tipos
de problemas de informação do MDS: a produção, a padronização e a atualização
dos dados.
1
Essas análises geralmente são feitas sob a forma de Notas Técnicas, para subsidiar, no MDS, o debate sobre determinados temas.
37
Os sistemas e programas herdados das três estruturas governamentais que
deram origem ao ministério atual não configuravam um sistema e tampouco a
função monitoramento e avaliação estava presente. Ao se estabelecer a função e
as diretrizes de uma política de avaliação e monitoramento, garantindo-se recursos
físicos, humanos e financeiros para suas atividades, criaram-se as condições organi-
zacionais e institucionais para construção e implementação do sistema.
Um dos grandes desafios da área de desenvolvimento social no Brasil hoje é a

construção de seu sistema de proteção social. O enfrentamento desse desafio passa
pela integração das ações e programas do MDS a partir da família e do território, en-
volvendo a articulação complexa entre diferentes atores, agências e organizações.
A institucionalização de um sistema de avaliação e monitoramento sensível a essa
complexidade é um pressuposto para a integração efetiva das várias áreas e progra-
mas que hoje convergem para as políticas de desenvolvimento social e o MDS vem,
ao lado da implementação da política, criando as condições técnicas e operacionais
para a efetividade de sua gestão. Para que a avaliação e monitoramento deixe de
constituir inovação e efetivamente se incorpore à cultura – às crenças e práticas – do
campo das políticas, é preciso garantir sua continuidade.
Por outro lado, a institucionalização da avaliação e monitoramento na área

social, onde há grande demanda por contratação de servidores públicos de carreira
e capacitação de seu quadro de pessoal, também induz a formação de recursos hu-
manos mais qualificados. O pleno funcionamento do sistema, orientado por indica-
dores e conceitos compartilhados sobre dimensões comuns a todos os programas –
tais como população-alvo, cobertura, benefícios etc. –, promove a formação de uma
identidade comum na área, especialmente em um momento em que se pretende im-
plementar uma mudança de paradigma, com a substantiva expansão da cobertura e
melhoria da qualidade dos serviços oferecidos. Após pouco mais de dois anos de atu-
ação, a experiência e o modelo de avaliação e monitoramento desenvolvidos no MDS
estão sendo objeto de estudo do Banco Mundial e FAO. O diálogo internacional vem
se fortalecendo não apenas com as agências multilaterais de fomento, mas também
com instituições de pesquisa, públicas e privadas, pesquisadores independentes,
gestores e técnicos; um tipo de parceria entre governo e instituições internacionais
praticamente inexistente anteriormente na área de avaliação e monitoramento.
A institucionalização da avaliação e monitoramento como parte das organizações

do Estado aproximou a dimensão técnica da gestão das políticas. Certamente, são inú-
meros os desafios para essa aproximação, com seus distintos tempos, necessidades, prá-
ticas, formas de discursos e critérios de julgamento. Um gestor necessita dar respostas
rápidas para resolver problemas, dispondo, por isso mesmo, de tempo bem menor do
que aquele necessário para se produzir conhecimento sobre determinado problema.
38
Contudo, são os resultados de estudos validados pela comunidade científica
que conseguem criar algum tipo de acordo entre distintos atores, com interesses
e concepções muitas vezes divergentes – implementadores, formuladores de po-
líticas, tomadores de decisões, formadores de opinião, sociedade civil, legisladores
– sobre os resultados de programas e políticas. Nesse sentido, a grande inovação do
MDS na área de avaliação e monitoramento foi a criação de mecanismos institucio-
nais que vêm viabilizando não apenas a interação entre o conhecimento técnico e
científico e as políticas, mas sua efetiva utilização na retroalimentação das políticas.
Atividades
1. É comum encontrarmos na literatura a afirmação de que a avaliação no Brasil

esteve (ou ainda está) a serviço da reforma do Estado. Qual a sua opinião sobre
essa possível relação de subordinação?
2. Explore o conteúdo do site da Secretaria de Avaliação e Gestão da Informação

do Ministério do Desenvolvimento e Combate à fome <www.mds.gov.br/sagi/>.
Durante tal exploração, observe atentamente quais são as competências dessa
Secretaria e registre aqui suas impressões quanto a uma eventual mudança ou
manutenção do paradigma da avaliação gerencialista.
3. Você acha que é possível transcender a essa herança tão fortemente gerencia-
lista da avaliação no país e buscar novos caminhos ou culturas de avaliação?
Argumente e justifique o seu ponto de vista.
39
Avaliação, pesquisa avaliativa e valores
Introdução
Vídeo O mundo da avaliação é permeado por grandes desafios, como
qualquer outro campo das ciências sociais aplicadas. Dentre principais
desafios, podemos encontrar a relação entre avaliação e pesquisa e a di-
mensão ética na avaliação de políticas socais e seus instrumentos (planos,
programas, projetos, ações). Seus graus de complexidade são vistos como
tão altos que não raro os avaliadores e suas equipes preferem contorná-
-los, acreditando que serão resolvidos por si mesmos ao longo do trabalho de avalia-
ção ou mesmo que não possuem tempo ou recursos suficientes para se problematizá-
-los. Como resultado, estamos consolidando uma cultura de avaliação no país que nem
mesmo nós, avaliadores, conhecemos muito bem. A falta de reflexão vai levando para
assumir um caráter cada vez mais instrumental da avaliação, com todos os riscos que
implicam considerá-la como uma atividade neutra, destituída de dimensão humana e
política.
Pesquisa avaliativa X avaliação

Para começarmos a tecer uma possível e plausível relação entre avaliação e pes-
quisa, é preciso tomarmos uma definição de trabalho1 sobre avaliação:
Avaliação é o conjunto de atividades, nem sempre solidamente correlacionadas, voltado para a
Este juízo deve ser o máximo possível argumentado através de instrumentos e procedimentos
de pesquisa avaliatória (não somente pesquisa social aplicada), de modo a possibilitar a sua
reconstrução analítica e discussão dos resultados, juízo ou síntese avaliatória, pelas coletividades
interessadas em tal avaliação, desencadeando um processo de aprendizagem prático-institucional
(relativo ao objeto de avaliação) e social (relativo à dimensão dialógico-cívica da sociedade em geral
(BOULLOSA, 2006, p. 116).
1
Uma definição de trabalho é aquela que nos permite avançar sobre o campo estudado, mesmo que ela seja provisória.
41
Boullosa reafirma a interpretação da avaliação como juízo argumentado dire-
cionado a fim. A argumentação desse juízo ou síntese avaliatória acontece dentro de
um limite relativamente estreito de cientificidade e profissionalismo, pautado pela
explicitação dos elementos a partir dos quais o juízo foi formulado, assim como dos
instrumentos utilizados para tal construção. Somente assim, é possível reconstruir,
comparar e avaliar o tal juízo. A possibilidade de reconstrução é fundamental para o
juízo, seja compartilhado por outros atores interessados nas discussões e resultados
apresentados pela avaliação. Bezzi (2007) recorda que são a natureza, a profundidade
e a qualidade da própria argumentação a tornar a argumentação mais ou menos sólida
e crível. Nessa perspectiva, argumentações puramente retóricas e/ou estritamente
autorreferenciadas, ainda que possam apresentar juízos de valor interessantes, care-
cem da dimensão dialógico-relacional típica das avaliações. Essa dimensão se expressa
nas ponderações e considerações apresentadas, que relaciona diferentes pontos de
vista para um mesmo problema, mas que com destreza consegue hierarquizar tais
pontos em favor do juízo emitido.
A argumentação baseia-se profundamente na informação qualificada, desde a sua

coleta à sua análise. A qualidade da informação também é um fator que merece atenção,
pois é a própria avaliação que define tal qualidade, pois esta está carregada de subjetivi-
dade, dada a sua natureza de construto social. Por isso, as informações que alimentam a
avaliação carecem de validade e coerência na elaboração, interpretação e análise. Como
recorda Marradi (1987), nenhuma informação é neutra e por isso todo dado é um cons-
truto analítico: a sua elaboração, o modo como é colhido, a estrutura cognitiva que lhe
dá significado etc. Somente assumindo toda essa carga de construto analítico é que a
avaliação pode permitir ser controlada, reconstruída, replicada (ainda que parcialmente)
e contra-argumentada. Em outras palavras, avaliações fechadas em si mesmo pouco en-
riquecem processos de aprendizagem nos próprios objetos de avaliação.
A argumentação, portanto, pode ser compreendida como um processo comple-

xo que engloba um outro processo: o de pesquisa aplicada. Claro que uma pesquisa
aplicada para fins de avaliação, que deveria revelar-se como o seu centro nevrálgico.
Nessa perspectiva, podemos afirmar que a pesquisa avaliatória é a estrutura central
da avaliação, assim como o canal dialógico entre o avaliador ou a equipe de avaliação,
a comunidade interessada e a comunidade profissional do campo da avaliação e mo-
nitoramento. Por isso mesmo, é a argumentação a dar confiança e credibilidade às in-
formações utilizadas para a expressão do juízo avaliatório. Não por acaso, Bezzi (2007)
defende que a pesquisa avaliatória é o motor da avaliação, o seu instrumento do seu
agir organizacional, a ração da sua eficácia.
A avaliação, todavia, extrapola os limites da pesquisa avaliatória porque compre-

ende outras dimensões, assumindo um amplo espectro de operações, quais: gestão
organizacional (incluindo dos atores envolvidos, direta ou indiretamente), processo
decisional, consultoria estratégica etc., pela própria natureza pragmática da avaliação.
42
Valores e avaliação
A avaliação é uma atividade carregada de subjetividade, não obstante suas di-
mensões metodológicas e técnicas. Parte dessa subjetividade está contida nos valo-
res dos atores envolvidos em um processo de avaliação, com influências interpessoais,
éticas e políticas. De fato, os avaliadores estão cada vez mais preocupados nos usos
possíveis do produto apresentado, cônscios de que o juízo expresso na avaliação in-
fluenciará a sua aceitação e difusão. Em efeito, os relatórios de avaliação podem sofrer
alterações quando transmitidos de um departamento a outro ou a departamentos
e/ou instâncias de poder superiores àqueles que receberam em primeira mão tais re-
latórios. Acreditamos que esses problemas podem e devem ser enfrentados pela ava-
liação, ainda na sua fase de planejamento. Alguns autores como Worthen, Sanders e
Fitzpatrick (2004) alertam para a que a “ansiedade da avaliação” não acabe influencian-
do os seus resultados.
A psicologia organizacional já demonstrou que todos nós somos atores porta-

dores de interesses e preferências em toda e qualquer situação organizacional. Esse
axioma também é válido em avaliações e monitoramento de programas sociais. Cada
um dos atores envolvidos possui seus próprios esquemas mentais e suas relações cau-
sais que se apresentam como verdades imperativas. O avaliador também padece do
mesmo problema e é ingênuo imaginá-lo como um sujeito imparcial e destituído de
verdades preconcebidas. Dada tal impossibilidade, resta ao avaliador se precaver no
processo de pesquisa avaliatória, criando algumas amarrações que lhe permitam reve-
lar suas próprias crenças e minimizá-las, controlando aspectos tendenciosos e parciais
evidentes na avaliação.
A avaliação não é uma atividade objetiva, mas, sim, carregada de subjetividade.

O melhor a fazer, portanto, é encarar tal subjetividade e explicitar a trama de valores
do avaliador ou da equipe de avaliação. Autores como Perloff, Padgett e Brock (1980)
estudaram como preferências sociais e cognitivas podem influenciar avaliações, ressal-
tando que nenhuma abordagem de avaliação consegue controlar completamente as
preferências, valores e crenças do avaliador. Mesmo assim, avaliadores com muita ex- Avaliação, pesquisa avaliativa e valores
periência enfrentam esse problema e conseguem reduzir a influência dos seus valores
em suas avaliações, ainda que não eliminem completamente todo e qualquer vestígio
de tendenciosidade. Na contramão desses avaliadores, estão os avaliadores conside-
rados etnocêntricos, que acreditam que a sua visão de mundo deve imperar sobre as
outras, recusando-se a compreender os valores diferentes dos interessados ou envol-
vidos direta ou indiretamente pela avaliação. Esses casos, infelizmente, não são raros e
as avaliações resultantes pouco ou nada contribuem para com o objeto avaliado, pois
apresentam argumentações distorcidas e autorreferenciadas sobre os juízos emitidos.
43
Os teóricos estadunidenses Yvonna Lincoln e Egon Guba foram buscar na antro-
pologia as bases para a discussão da relação do Avaliador com os seus próprios valores
e crenças e com os valores e crenças das pessoas envolvidas no objeto de avaliação.
Para começar, na língua inglesa há um termo próprio para o objeto da avaliação, que
é evaluand, e um outro para o sujeito envolvido com o objeto de avaliação, que é eva-
luee. Lincoln e Guba estudaram, portanto, as relações entre os valores de avaliador
e dos evaluees e chegaram à conclusão, apresentada no artigo “Do Evaluators Wear
Grass Skirts? ‘Going Native’ and Ethnocentrism as Problems in Utilization” (1981), que
o principal dilema ético do avaliador é não sucumbir nem aos seus próprios valores e
crenças, nem aos valores e crenças dos evaluees. Ambos os casos distorcem os resul-
tados da avaliação. Sugerem ainda uma complexa estratégia para o avaliador a fim
de diminuir os riscos de incidência em tal dilema: (a) cultivar um diário reflexivo para
observar as suas próprias decisões e a sua posição como avaliador; (b) buscar sempre
o confronto externo através de interrogações; (c) “auditoriar” o desenvolvimento da
pesquisa avaliatória e dos seus instrumentos.
Um outro autor que se deteve nos estudos sobre ética e avaliação, Ernest House,
defende que a justiça social deveria ser um dos principais valores dos processo de ava-
liação. Para ele, a prática avaliação faz parte da estrutura social e, portanto, deveria ser
vista como um auxílio público para a tomada de decisões socialmente justas e demo-
cráticas. Avaliações deveriam funcionar como uma instituição pública para democra-
tizar a tomada de decisões em intervenções sociais. Tal prática, se institucionalizada,
poderia encarnar os valores de uma sociedade democrática, tais como justiça, impar-
cialidade e igualdade (HOUSE, 1993). Nessa perspectiva, o autor afirma ainda que:
As avaliações devem servir os interesses não só do patrocinador, mas também da sociedade como
um todo, bem como de vários grupos dentro da sociedade, especialmente os mais afetados pelo
programa em análise. Assim, como uma prática social, a avaliação implica uma inevitável ética da
responsabilidade pública, e esta responsabilidade abarca muito mais do que um cliente imediato.
A justiça social em avaliação diz respeito ao modo em que diferentes interesses são atendidos, e,
por interesses, entendo tudo aquilo que conduz à satisfação dos desejos, necessidades e propósitos
dos indivíduos, sendo os desejos tudo aquilo necessário para a sobrevivência ou bem-estar dos
indivíduos. Para ser livre é necessário conhecer os seus interesses; possuir as habilidades e os
recursos, ou o poder e a oportunidade, para agir de acordo com estes interesses, e estar disposto a
fazê-lo. (HOUSE, 1993, p. 128)
No mesmo estudo que contém a citação acima, House alerta para seis falácias
éticas da avaliação. São elas:
Clientelismo (Clientism) – a falácia de que satisfazer aos desejos do cliente ou

fazer tudo para beneficiá-lo é eticamente correto.
Contratualismo (Contratualism) – a falácia de que se o avaliador segue fiel-

mente o conteúdo apregoado no contrato ele está sendo profissionalmente
ético, mesmo que contrarie o bem comum.
44
Gerencialismo (Managerialism) – a falácia de que os interesses dos gestores
dos objetos avaliados devem prevalecer sobre todas as coisas.
Metodologismo (Methodologicalism) – a falácia de que ao adotar uma me-

todologia de avaliação reconhecida pela comunidade de avaliadores todos os
problemas éticos estarão resolvidos.
Relativismo (Relativism) – a falácia de que todas as informações têm a mesma

importância de modo a garantir a postura ética do avaliador.
Pluralismo / Elitismo (Pluralism / Elitism) – a falácia de que as opiniões e

valores dos atores envolvidos no objeto de avaliação (ou seja, os evaluees) que
estão nas posições mais altas são mais importantes do que dos que estão em
posições hierarquicamente inferiores.
As questões éticas em avaliação foram sempre motivos de grandes debates, desde

os anos 1970. Mas foi nos anos 1980 que algumas associações começaram a propor di-
retrizes éticas para os seus avaliadores associados, como foi o caso do influente Evalua-
tion Research Society Standards Commmittee (ANDERSON et al., 1982). Provavelmente
em decorrência de todo esse esforço de construção de uma agenda pública sobre ética
em avaliação, os governos dos EUA e Canadá revisam as suas diretrizes sobre avaliação
de programas, incluindo algumas preocupações éticas2.
Muitos autores defendem que as avaliações mais úteis são aquelas cujos pro-
cessos e práticas envolvem os atores dos próprios objetos de avaliação, sejam eles os
beneficiários ou os implementadores do programa, projeto etc. Nessa perspectiva, a
avaliação deveria reconhecê-los como parte do seu processo. Brandon, Lindberg e
Wang (1993) demonstraram, através de pesquisa, que envolver os beneficiários de um
programa em uma avaliação aumenta a validade das descobertas da própria avalia-
ção. O mínimo que se pode fazer, portanto, é respeitar os limites e valores dos atores
envolvidos direta ou indiretamente no processo de avaliação e pesquisa avaliatória.
O Joint Commmittee on Standards for Educational Evaluation propôs uma diretriz para
reger as relações humanas: “Os avaliadores devem respeitar a dignidade e o valor do
ser humano em suas interações com outras pessoas relacionadas a uma avaliação para Avaliação, pesquisa avaliativa e valores
que os participantes não sejam ameaçados nem prejudicados” (1994, p. 99).
A dimensão ética da avaliação também se revela no acesso aos dados e nos seus
usos. Muitos autores ressaltam a importância de acordos de permissão de uso e salva-
guarda de informações junto às fontes. Tais acordos podem ainda incluir pontos relativos
à liberdade do avaliador e/ou da equipe de avaliação de usar parcialmente as informa-
ções obtidas, assim como de desmembrá-las ou mesmo corrigi-las em caso de eventuais
2
Vale a pena conhecer os princípios propostos pelo American Evaluation Association disponíveis em: <http://www.eval.org/>, chamados de Guiding Principles
For Evaluators, também disponíveis em: <http://www.eval.org/Publications/GuidingPrinciples.asp>. São estes: a pesquisa sistemática; competênia; integridade
e honestidade; respeito pelas pessoas e responsabilidade pelo bem-estar geral e social.
45
erros. Os autores Worthen, Sanders e Fitzpatrick (2004) alertam sobre a necessidade de
explicitar tais acordos a fim de não comprometer o resultado final das avaliações.
Avaliação como uma atividade política

Uma das maiores controvérsias presentes no campo de práticas e conhecimento
da avaliação paira sobre a interpretação da avaliação como uma atividade política ou,
pelo menos, dotada de uma considerável dimensão política. Muitas vezes os objetos de
avaliação são desenvolvidos, operados ou financiados por órgãos governamentais, sujei-
tos a fortes relações de poder. Nesses casos, nem mesmo os avaliadores mais ingênuos
podem acreditar que estão avaliando objetos destituídos de uma dimensão política.
Um dos primeiros teóricos da avaliação a defender a dimensão política da avalia-

ção foi Carol Weiss, para quem a avaliação é uma atividade racional que acontece em
um contexto político, o que por si só já pressupõe a sua dimensão relacional e dialógica
com o poder. Em 1973, Weiss argumenta que as avaliações estão sujeitas a três diferen-
tes formas de influência política: (a) os objetos de avaliação são frutos de decisões polí-
ticas; (b) seus resultados são frequentemente usados para tomadas de decisões políti-
cas; (c) a avaliação também possui suas posições políticas. Esses argumentos suscitaram
intenso debate e o próprio Weiss reafirmou seguidas vezes a sua posição, ao ponto de
quase duas décadas depois acrescentar que tais influências passaram a definir o que na
década de 1990 convencionou-se chamar de “política da avaliação” (WEISS, 1993).
Na contramão, alguns práticos de avaliação de programas relutaram em admitir

qualquer dimensão política dos seus trabalhos, sobretudo até meados dos anos 1970.
Autores como Sechrest e Figueiredo (1993) estudaram tal oposição e chegaram à con-
clusão de que mesmo aqueles que defendiam radicalmente a exclusividade da dimen-
são tecnicista da avaliação, acabaram sendo vencidos pela nova complexidade social,
resultante da descentralização de muitos processos político-administrativos, que afe-
taram os programas sociais objetos de avaliação e, consequentemente, seus efeitos.

Até mesmo Patton (1988), avaliador estadunidense que desenvolveu a conhecida me-
todologia bastante objetiva chamada Utilization Focused Evaluation, acabou admitin-
do que a política desempenha um papel importante em todas as fases da avaliação,
incluído o uso dos seus resultados e a própria escolha metodológica.
Avaliação formativa X avaliação somativa

Um dos autores mais importantes da teoria da avaliação de programas, Michael
Scriven (1967), estudando os diferentes papéis das avaliações de currículos escolares,
46
acabou propondo a clássica distinção entre os papéis formativo e somativo. Muito
embora os limites entre esses dois papéis não sejam rígidos, essa classificação pode
nos ajudar a compreender os usos da avaliação. A principal diferença entre avaliação
somativa e avaliação formativa está justamente no fim da avaliação: para Scriven, a
avaliação é somativa quando é construída para ajudar os responsáveis pelas tomadas
de decisão dos programas avaliados, ou os seus potenciais consumidores. Já uma ava-
liação pode ser considerada formativa quando ela é construída para dar informações
úteis à equipe do programa, sendo útil, por exemplo, para uma correção de rumo ou
aperfeiçoamento do programa.
Para Scriven, a avaliação formativa, portanto, é aquela conduzida durante o dese-

nho e implementação de um projeto com a finalidade de ajudar e melhorar o progra-
ma, compreendido como uma estratégia para a resolução de um problema complexo
– o seu público, portanto, é formado pelos implementadores do programa, ou seja,
pelos responsáveis pelo seu desenvolvimento. Já a avaliação somativa, ou sumativa,
é aquela que busca determinar em que medida os objetivos da formação foram de
fato alcançados ou cumpridos, determinando um juízo de valor sobre os resultados
alcançados, que elevaram as decisões sobre a continuidade, expansão, eliminação ou
retração do programa – seu público, portanto, é formado pelos decisores do programa,
pelos atores que têm o poder de decidir sobre a continuidade do programa.
Essa diferença também se revela na finalidade da avaliação: enquanto a formativa

é voltada para a formação do programa, no sentido de implementação, a somativa é
voltada para uma decisão geralmente binária, apresentando respostas afirmativas ou
negativas para o prosseguimento ou ampliação de um programa. Para sua adequada
compreensão, todavia, devemos ter o cuidado de pensar que uma avaliação somativa
não está somente vinculada às fases finais dos programas e as formativas às fases ini-
ciais dos programas. Essa é uma visão restritiva da compreensão das avaliações. As ava-
liações voltadas para a melhoria de programas sociais podem acontecer desde a fase
de desenho do programa, até a implementação inicial, desenvolvimento e conclusão.
O mesmo pode acontecer com a somativa, que não deve ser restrita a avaliações finais
quando se deve decidir o destino do programa.
Esse tipo de distinção, como se pode ver, de um lado é útil, mas de outro pode
revelar certa miopia dos avaliadores e dos demandantes por avaliação que continu-
am vendo-a como algo fora do processo do ciclo de um programa. O próprio Scriven,
quase 25 anos depois da sua proposta de distinção, reconhece que na prática a distin-
ção entre os papéis formativo e somativo das avaliações não é uma tarefa fácil, pois
ambos estão profundamente entrelaçados (SCRIVEN, 1991a). Aliás, alguns anos antes,
em 1986, ele já tinha revelado que em programas complexos, avaliações somativas
pontuais podem funcionar como formativas gerais, ou seja, como de melhorias para
o programa de modo complexo, como um todo, num primeiro balanço crítico da sua
própria obra.
47
Alguns autores alertam ainda para os perigos da tendenciosidade das avaliações
somativas e formativas. Mas nem todos os autores pensam de modo parecido. Worthen,
Sanders e Fitzpatrick (2004) acreditam, por exemplo, que a desequilibrada preferência
de muitos profissionais por avaliações formativas pode ser não somente tolerável, como
até desejada, já que poderia levá-los a serem mais receptivos a determinadas necessi-
dades de informação do programa, possivelmente necessárias para o seu aperfeiçoa-
mento. O contrário, porém, não parece válido para esses mesmos autores. Eles acredi-
tam que a excessiva preferência por avaliações somativas, tanto de uma organização
demandante quanto dos avaliadores profissionais, poderia revelar uma certa inclinação
para a produção de juízos avaliatórios tendenciosos ou poderia levar a uma descon-
fiança dos resultados (mesmo que justos) das avaliações. Talvez por isso, alguns autores
acreditem que avaliadores externos geralmente preferem avaliações somativas.
Avaliação interna X avaliação externa

A dicotomia formativa-somativa proposta por Scriven também foi objeto de con-
testação por muitos autores. Para Chen (1996), por exemplo, tal distinção pouco acres-
centa à compreensão do objeto de avaliação e ainda por cima não compreende todas
as tipologias de avaliação. Diversamente, Chen preferiu propor uma outra classificação
quanto aos possíveis papéis da avaliação, resultado do cruzamento da variável “fun-
ções assumidas pela avaliação” (aperfeiçoamento do objeto de avaliação e emissão de
juízo) com a variável “estágios do programa” (processo e resultados).
Uma outra proposta que difere da proposta por Scriven refere-se à distinção entre
avaliação interna e avaliação externa. Tal distinção pode ser resolvida de um modo
bastante simples: se o avaliador pertence à equipe do objeto avaliado, trata de uma
avaliação interna. Caso contrário, externa. Essa simplicidade, porém, tem sido contes-
tada na prática de algumas abordagens de avaliação que preconizam, por exemplo,
uma maior participação dos atores envolvidos com o objeto de avaliação. De fato, as-
sistimos há algum tempo um grande esforço em alargar o espectro dos atores que
participam das avaliações.
O fôlego desse debate, todavia, estava bastante relacionado à discussão sobre as

vantagens e desvantagens de avaliações empreendidas por agentes internos ou ex-
ternos aos programas avaliados, o que de certa forma se relaciona com os problemas
colocados sobre a relação entre ética e avaliação. Hoje é quase consenso que tanto os
avaliadores externos quanto os internos precisam ter cuidado com alguns problemas
48
decorrentes da sua posição. Um avaliador interno, por exemplo, pode conhecer tão
bem um determinado programa que tem dificuldade de compreender os seus proble-
mas mais estruturais, assim como pode encontrar dificuldades na relação com os co-
legas por passar a ocupar uma nova posição frente ao grupo. Porém, esse mesmo pro-
blema de relacionamento pode vir a acontecer com um avaliador externo que pode
encontrar resistências do grupo e ser visto, por exemplo, como um denunciador.
Por muito tempo, o avaliador externo ocupou uma certa posição de prestígio
junto às organizações financiadoras de avaliações, sobretudo de um tipo específico de
organização que eram as agências internacionais. Acreditou-se que o avaliador exter-
no seria menos tendencioso e mais objetivo. Todavia, hoje grande parte da literatura,
assim como a própria experiência dessas agências, apontam para as limitações de tal
preconceito. Notou-se, por exemplo, que avaliadores externos contratados pelo Banco
Mundial apresentavam juízos ou sínteses avaliatórias distantes da realidade. O mito
da avaliação externa, ou melhor, do avaliador externo felizmente começou a ser ques-
tionado. Não obstante essas mudanças recentes, ainda podemos encontrar Agências
de Governo ou Agências de Cooperação Internacional que só financiam projetos que
tenham sido alvo de avaliações externas, desconsiderando as internas. Segundo tal
ponto de vista, somente as avaliações externas poderiam garantir a necessária impar-
cialidade do juízo.
Autores como Worthen, Sanders e Fitzpatrick acreditam que a dicotomia formati-

va-somativa poderia ser enriquecida com a dicotomia interna-externa, gerando avalia-
ções formativas internas ou externas e somativas internas ou externas.
Conclusão
Ninguém avalia sozinho. A avaliação é uma atividade relacional, pois depende de
outras pessoas que, no mínimo, são responsáveis pela construção das informações.
É importante compreender a dimensão social da avaliação, pois qualquer avaliação
pode se revelar em um poderoso instrumento de diálogo entre os interessados nos
objetos de avaliação, nos processo desencadeados, nos seus impactos e efeitos, espe-
rados ou não. A avaliação tem, portanto, como pano de fundo um espectador múltiplo
em um contexto específico: a sociedade na democracia. É preciso, portanto, que os
avaliadores e as suas equipes problematizem com profundidade os valores embutidos
nas avaliações, interpretando-a como instrumento sociodialógico, apoiada em uma
pesquisa avaliatória, que deverá evidenciar a sua lógica, os seus critérios, premissas,
vínculos e valores, para que o desejado diálogo ocorra.
49
Texto complementar
Avaliação do TCU sobre o Programa Reinserção Social

do Adolescente em Conflito com a Lei
(TCU, 2009)
O Programa Reinserção Social do Adolescente em Conflito com a Lei

O Tribunal de Contas da União realizou, entre agosto e novembro de 2003,
auditoria com o intuito de avaliar o desempenho do Programa Reinserção Social
do Adolescente em Conflito com a Lei. O Programa visa articular e estimular os
esforços do sistema socioeducativo instituído pelo Estatuto da Criança e do Ado-
lescente – ECA, de forma a possibilitar a inclusão do adolescente em conflito com
a lei no meio social.
O Programa busca, também, fortalecer os mecanismos de aplicação e execu-

ção das medidas socioeducativas, incentivando experiências referenciais em cada
unidade da federação. A ação prioritária, no PPA 2000/2003, é a implantação de ser-
viços de atendimento a adolescentes com medidas socioeducativas não privativas
de liberdade.
A Secretaria Especial de Direitos Humanos – SEDH, responsável pelo Programa,

oferece apoio técnico e financeiro aos projetos de parceiros governamentais e não
governamentais, por intermédio, principalmente, da celebração de convênios.
O que foi avaliado pelo TCU
A auditoria buscou avaliar o desempenho do Programa, especialmente com

relação à execução de medidas não privativas de liberdade e à articulação
das políticas públicas direcionadas para o adolescente em conflito com a lei.
Sendo assim, verificou-se em que medida normas, diretrizes e ações gover-

namentais constituem uma política nacional integrada de atendimento ao
adolescente em conflito com a lei. Buscou-se verificar se os recursos mate-
riais, orçamentários, financeiros, humanos e de informações da SEDH, dos
estados e das entidades de atendimento e a qualidade da formação profis-
sional dos responsáveis pela implementação do Programa são suficientes e
50
compatíveis com os objetivos traçados. Também foi analisado em que me-
dida as ações do Programa são consistentes com o Estatuto da Criança e do
Adolescente, no que se refere à execução das medidas socioeducativas. Por
fim, verificou-se o grau de implementação das atividades de apoio e acom-
panhamento dos egressos.
Por que foi avaliado
A Constituição Federal, em seu artigo 227, atribui prioridade ao segmento

infanto-juvenil. O Estatuto da Criança e do Adolescente – ECA, instituído por
meio da Lei 8.069/1990, aponta para uma nova forma de gestão pública nas
ações de atendimento a crianças e adolescentes. Em razão de propor mu-
danças significativas nos modelos de atendimento, a implantação das ações
preconizadas no Estatuto ainda não foi concluída.
No âmbito mundial, há também mobilização geral no que se refere ao de-

senvolvimento de princípios que representam um novo modo de encarar a
criança e o adolescente e de equacionar respostas adequadas aos proble-
mas existentes na área.
Os benefícios trazidos pela reinserção social do adolescente em conflito com

a lei atingem não só os próprios adolescentes como também as suas famí-
lias e, indiretamente, influem de maneira positiva na sociedade em geral, na
medida em que o Programa pode contribuir para a diminuição de ocorrên-
cia de delitos e, consequentemente, para a melhoria da qualidade de vida
da população que convive com o público-alvo do Programa em questão.
Como se desenvolveu o trabalho
Os trabalhos de campo foram realizados em seis estados da federação (Mato

Grosso do Sul, Minas Gerais, Pará, Pernambuco, Rio Grande do Sul e São Pau-
lo), além do Distrito Federal. A escolha dos estados visitados considerou: Avaliação, pesquisa avaliativa e valores
volume de recursos repassados pelo Governo Federal para a execução de
convênios nos estados; quantidade de adolescentes em cumprimento de
medidas socioeducativas; representação de estados pertencentes a todas
as regiões brasileiras; relatos de experiências bem-sucedidas no atendimen-
to ao adolescente em conflito com a lei.
A coleta de dados foi realizada por meio de entrevistas e questionários.

Foram entrevistados especialistas, gestores estaduais, juízes, membros do
Ministério Público, defensores públicos, diretores de entidades de atendi-
51
mento, adolescentes em cumprimento de medida socioeducativa e egres-
sos. Os questionários foram enviados para conselhos estaduais de saúde e
entidades de atendimento. Além disso, houve a realização de grupos focais
com técnicos que atuam na execução das medidas socioeducativas.
Recursos federais alocados ao Programa
Os recursos alocados ao Programa são oriundos do Orçamento Geral da

União e do Fundo Nacional para a Criança e o Adolescente, gerido pelo Con-
selho Nacional dos Direitos da Criança e do Adolescente – Conanda. [...]
O que o TCU encontrou

Ausência de política de atendimento ao adolescente em conflito com a lei
As normas, diretrizes e ações governamentais existentes na área de atendi-

mento ao adolescente em conflito com a lei não constituem uma política
nacional integrada para o setor. Há indefinição das atribuições das instân-
cias envolvidas no processo e baixo grau de articulação entre as esferas de
governo, especialmente com relação à municipalização das ações.
Deficiências na estrutura física e nas ações de capacitação
Constatou-se que há deficiências na estrutura física da maioria das entida-

des de atendimento a adolescentes em cumprimento de medida socioedu-
cativa. Dos sete estados visitados, cinco têm problemas de superlotação nas
unidades de internação.
Os recursos humanos, materiais e financeiros da Secretaria Especial dos Di-

reitos Humanos, dos estados e das entidades de atendimento são insufi-
cientes para a implementação adequada do Programa.
Percebeu-se a pouca utilização do sistema de informações e a insuficiên-

cia de programas de capacitação específicos voltados para os técnicos que
atuam na área, o que traz prejuízos para a correta aplicação da política de
atendimento preconizada no ECA.
Perfil dos adolescentes entrevistados
Os 341 adolescentes em conflito com a lei entrevistados provêm, em sua

maioria, de famílias carentes e de baixa escolaridade, e estão envolvidos
com drogas [...]
52
Baixa implementação das ações de apoio e acompanhamento de egressos
As ações de apoio e acompanhamento de egressos estão pouco implemen-

tadas e as informações sobre indicadores de reincidência são insuficientes.
Atuação policial
Verificou-se alto índice de desaprovação da atuação policial por parte dos

adolescentes entrevistados nos diversos estados selecionados. Nos ques-
tionários dos adolescentes, 72% das respostas válidas informam que eles
sofreram violência policial em razão do ato infracional cometido. [...]
Boas práticas identificadas
Foram identificadas algumas boas práticas que podem contribuir para o

melhor atendimento aos adolescentes em conflito com a lei: adequação das
unidades de atendimento de Belo Horizonte/MG às diretrizes do ECA, no
que se refere à estrutura física; diagnóstico da situação dos conselhos mu-
nicipais e tutelares do país, realizado pela Subsecretaria de Promoção dos
Direitos da Criança e do Adolescente/SEDH; levantamento da situação dos
conselhos municipais de São Paulo realizado pelo Conselho Estadual dos
Direitos da Criança e do Adolescente; publicação de Guia de orientações
para conselheiros, gestores e técnicos realizada pelo Conselho Estadual dos
Direitos da Criança e do Adolescente e Ministério Público do Pará; ações
institucionais de assistência às famílias realizadas pelo Centro de Atenção à
Família com Escola da Família, em Belém/PA; modelo de execução de liber-
dade assistida e prestação de serviços à comunidade de Olinda/PE; atendi-
mento integrado, conforme artigo 88 do ECA, em Recife/PE, Natal/RN, Porto
Alegre/RS, Belém/PA, Salvador/BA, Cuiabá/MT, Curitiba/PR, São Carlos/SP,
Londrina/PR e Foz do Iguaçu/PR; utilização do Sistema de Informação para a
Infância e Adolescência – Sipia em Mato Grosso do Sul.
O que pode ser feito para melhorar o desempenho do Programa

Com o intuito de contribuir para o melhor desempenho do Programa Rein-
serção Social do Adolescente em Conflito com a Lei, são formuladas algumas reco-
mendações, entre as quais destacam-se as que propõem à Secretaria Especial dos
Direitos Humanos que promova articulações junto aos Ministérios da Saúde, da Edu-
cação e do Trabalho e Emprego, para melhorar o atendimento ao adolescente em
conflito com a lei.
53
Recomendou-se também à Subsecretaria de Promoção dos Direitos da Criança
e do Adolescente – SPDCA/ SEDH e ao Conselho Nacional dos Direitos da Criança e do
Adolescente – Conanda que: definam as responsabilidades de cada esfera de gover-
no, no que tange à execução das medidas socioeducativas; ampliem a divulgação do
Programa e do Fundo Nacional da Criança e do Adolescente; articulem-se com outras
áreas governamentais e não governamentais; aprimorem os canais de comunicação
com estados e municípios e com os operadores de direito; promovam o aperfeiçoa-
mento de programas de capacitação; incentivem a utilização do Sistema de Informa-
ção Para a Infância e a Adolescência – Sipia; instituam indicadores de desempenho.
Benefícios da implementação das recomendações do TCU

Espera-se que a implementação das medidas propostas contribua para a ob-
tenção de impactos quantitativos e qualitativos, entre os quais se destacam: defi-
nição clara das atribuições dos três níveis de governo com relação às atividades de
atendimento ao adolescente; maior cumprimento do Estatuto da Criança e do Ado-
lescente; melhoria da integração entre os executores de medidas socioeducativas e
de outras áreas governamentais; disseminação de boas práticas no atendimento aos
adolescentes em cumprimento de medidas; melhoria dos sistemas de informações;
construção e monitoramento de indicadores de desempenho; aperfeiçoamento das
ações de apoio e acompanhamento dos egressos.
Atividades
A partir da compreensão de que não há neutralidade em avaliação, leia atentamen-
te o texto complementar deste capítulo, sobre a avaliação realizada pelo Tribunal de

Contas da União (TCU) acerca do Programa Reinserção Social do Adolescente em Confli-
to com a Lei (para ler o texto completo com gráficos acessar: <http://portal2.tcu.gov.br/
portal/pls/portal/docs/683720.PDF.>) e procure responder às seguintes questões:
1. Toda avaliação carrega consigo valores, mesmo que não explicitamente expres-
sos. Quais os valores que o TCU assumiu nesta avaliação? Há diferenças entre os
tais valores e os valores do Programa? Em caso positivo, quais são essas diferen-
ças? E você compartilha de tais valores?
54
2. Será que é possível classificar o papel dessa avaliação em exclusivamente “for-
mativo” ou “somativo”? Apresente sua posição sobre esse assunto e aproveite
para procurar entender se essa avaliação é interna, externa ou mista.
3. Para muitos autores, não há avaliação sem expressão de um juízo. Essa avaliação
parece alinhar-se a tais autores, pois expressa um juízo ou uma síntese avaliató-
ria. Que juízo é esse? Você acredita que ele está suficientemente argumentado
no relatório de avaliação que acaba de ler? E como o mesmo está relacionado
ao percurso da pesquisa avaliatória?
4. É possível percorrer novamente esse percurso para compreender os resultados

obtidos com a avaliação? Você acha que poderia fazê-lo? Ou preferiria fazê-lo Avaliação, pesquisa avaliativa e valores
de modo diferente? Solte a sua imaginação e procure melhorar o percurso rea-
lizado pelo TCU.
55
Avaliação, ciclo do projeto e usos
Introdução
Vídeo As intervenções sociais podem abarcar diferentes iniciativas (polí-
ticas, planos, programas, projetos e ações), promovidas por diferentes
setores, separadamente ou em conjunto: Estado, Mercado e Terceiro
Setor. As avaliações dessas iniciativas são desenhadas e implementadas
de acordo com a fase em que elas se encontram. É o que chamamos de
“timing da avaliação”. A avaliação de um programa social que ainda está
sendo formulado, por exemplo, é diferente da avaliação de um programa que foi im-
plementado há mais de cinco anos, cujos resultados e impactos são possíveis de serem
mensurados e analisados. Esses são exemplos de timings diferentes.
Outro ponto que merece detalhada atenção diz respeito aos usos da avaliação.
De fato, é comum o sentimento de que as avaliações são inúteis pois não conseguem
produzir mudanças e nem desencadear processos de transformação nas práticas e nas
reflexões sobre programas sociais. Essa mesma preocupação já tinha sido revelada por
Aaron Wildavsky, que chega a expressar com veemência a sua frustração: “eu comecei
pensando que era ruim não avaliar as organizações e terminei me perguntando por
que elas têm que fazê-lo” (apud CAIDEN; CAIDEN, 2001, p. 94).
Timing da avaliação
Avaliações podem acontecer em diferentes momentos de uma intervenção social,
ou seja, em diferentes momentos do seu ciclo de vida. Para cada um deles, as avaliações
sofrem variações em sua natureza, dinâmica, principais características e propósitos. O
estudo do momento em que ocorre a avaliação se relaciona diretamente com o chama-
do ciclo da intervenção. A literatura especializada convencionou chamar esse ciclo de
vida de “ciclo da política” ou “ciclo do projeto”, ainda que o mesmo possa ser aplicado
a qualquer grau de complexidade da intervenção. Assim, uma política, um plano, um
programa, um projeto ou uma ação (cujos graus de complexidade são decrescentes),
podem ser avaliados à luz dessa abordagem analítica chamada ciclo do projeto.
57
O ciclo do projeto propõe uma divisão clássica da intervenção em três distintas
fases: formulação, implementação e resultados/impactos1. Em cada uma dessas fases o
projeto vivencia alguns dilemas e desafios. Nas fases clássicas, a formulação é o proces-
so de desenho e planejamento da estratégia de intervenção social, quando se decide:
a cobertura da ação desejada e da demanda para tal ação; os recursos que serão mobi-
lizados para alcançar aquele objetivo (sejam eles econômicos, materiais, cognitivos, de
pessoal etc.); os tempos da ação; seu enquadramento institucional e demais questões
que antecedem o início da intervenção em si.
A fase de implementação é onde a intervenção planejada realmente acontece.

É considerada atualmente, por grande parte da literatura sobre o tema, como a fase
mais complicada e imprevisível da intervenção. Até os anos 1980, a fase da imple-
mentação recebia o nome de “execução”, pois se imaginava que toda a sua dificuldade
estava limitada à correta execução do que tinha sido planejado, como se não fosse
possível acontecer erros no planejamento. Hoje há um certo consenso na literatura
de que muitos dos problemas que surgem na implementação ocorrem justamente
pela falta de flexibilidade no planejamento. De fato, quando se falava em “execução”,
os estudiosos e técnicos pressupunham que tal fase não tinha “vida própria” e que o
resultado planejado da intervenção dependia somente de uma correta execução do
que tinha sido planejado, como se o planejamento fosse absoluto, dotado de raciona-
lidade total, capaz de prever os mínimos detalhes. Além disso, tal visão pressupunha
que o contexto de atuação do programa era estático. Hoje sabe-se que a dinâmica da
implementação e do contexto não são mais vistas como dados imutáveis e que essa
fase merece tanta atenção quanto a primeira.
A última das fases diz respeito aos resultados da intervenção planejada. O pro-
grama, que pode visto como uma estratégia para transformar positivamente uma de-
terminada situação considerada socialmente problemática (BOULLOSA, 2007), é for-
mulado para que se produzam alguns resultados. Esses resultados são chamados de
resultados esperados e derivam diretamente dos objetivos do programa. Além desses,
o programa pode produzir também resultados que não tinham sido planejados, sejam
eles negativos ou positivos. Nesse caso, trata-se de resultados não esperados. A mesma
lógica vale para os efeitos, que podem ser esperados ou não esperados.
Há muitos modos de diferenciar resultados de efeitos. Alguns autores defendem

que a diferença fundamental está no tempo em que eles acontecem em relação aos
recursos (inputs) investidos pelo ou durante o programa. Nessa perspectiva, os resulta-
dos (outputs) estariam mais próximos dos recursos (inputs), enquanto que os efeitos ou
impactos (outcomes) aconteceriam em um intervalo de tempo maior, como se fossem
resultados de médio ou longo prazo. Já outros autores preferem interpretar os resulta-
dos do programa como seus resultados diretos ou imediatos, enquanto que os efeitos
1
No âmbito da análise política (policy analisys), o ciclo do projeto é dividido em “formulação”, “implementação”e “avaliação”.
58
ou impactos seriam resultados indiretos, que quase sempre aconteceriam depois dos
resultados considerados diretos.
Além dessas fases que compreendem o ciclo da política ou do projeto, é preciso

ainda compreender que uma política ou seu instrumento derivado não nascem de um
momento para o outro. Pelo contrário, quando um programa surge, por exemplo, a
situação problemática ou problema que ele se propõe a resolver (ou ajudar a resolver)
já está relativamente consolidada na sociedade como algo que deve ser combatido ou
mitigado. Essa fase anterior à formulação é chamada formação de agenda. As agendas
políticas se formam à medida que os problemas são discutidos e passam progressiva-
mente a ser considerados como problemas de relevância pública, o que justificaria, em
tese, o investimento de recursos públicos.
Durante a formação das agendas, diferentes atores buscam demonstrar e de certa

forma impor-se dentro do cenário da opinião pública, tais como a mídia impressa e
televisiva, políticos de destaque, instituições de prestígio, organizações não governa-
mentais, movimentos socais etc. Aos poucos, novos problemas emergem no cenário
político, ganham força e passam a integrar a chamada agenda institucional de gover-
nos. O ingresso na agenda institucional de um problema em qualquer nível de gover-
no ou mesmo no leque de uma organização não governamental de relevância política,
significa que tal problema passou a receber recursos para ser solucionado, desencade-
ando o seu ciclo de vida de formulação, implementação e avaliação.
O autor.
Agenda
Agenda institucional Formulação Implementação Resultados Impactos
política
Fases clássicas do ciclo de projeto
Figura 1 – Ciclo do projeto.
Em cada uma dessas fases é possível desenvolver processos de avaliação. Os au-

tores Lubambo e Araújo (2003, p. 4) apresentaram uma síntese bastante simples sobre
os possíveis momentos da avaliação em relação ao ciclo do projeto. Para eles, a ava-

liação voltada para a fase de formulação demonstra a preocupação na identificação
da adequabilidade das estratégias propostas às demandas (sociais) existentes. Já a
avaliação de implementação estaria voltada à compreensão de diferentes aspectos
da dinâmica institucional e organizacional. A avaliação dos resultados ou impactos
buscaria tecer um juízo sobre as possíveis e desejadas transformações possibilitadas
pelo programa avaliado.
59
O autor.
1 2 3 4 5
Formação de
agendas Formulação Implementação Resultados Impactos
Fases clássicas do ciclo de projeto
Figura 2 – Timing das avaliações.
Todavia, é importante ressaltar que essa compreensão clássica do ciclo temporal

de uma intervenção qualquer começa a mostrar-se obsoleta, demandando novas te-
orizações. Tendo compreendido essas considerações mais simples, poderemos agora
aprofundar os outros diferentes momentos da avaliação:
Avaliações formativas, avaliações de preferências, de pesquisa de opi-

nião etc. – trata-se de avaliações que podem ser feitas por diferentes atores do
processo de formação das agendas, sobretudo da agenda política. Frequen-
temente essas avaliações são usadas para demonstrar a supremacia de uma
posição sobre as demais. Juntas desempenham o grande papel de fomentar o
debate político a respeito do tema, assim como lançar as bases para uma dis-
cussão mais técnica sobre as possíveis soluções do problema em discussão.
Avaliações ex-ante – são realizadas antes do início da intervenção, normal-

mente com o objetivo de traçar diagnósticos mais precisos do problema, de
ajudar a construir a estratégia da intervenção ou mesmo para testar as hipó-
teses da estratégia, é usada por muitos financiadores para identificar priori-
dades e metas. Um outro objetivo bastante comum da avaliação ex-ante diz
respeito à mensuração da validade do programa ou projeto planejado de ser
implementado e obter sucesso. São comuns as metodologias de mensuração
das relações custo-benefício e custo-efetividade. Além desses custos, podem

ainda ser mensurados os custos sociais, políticos e ambientais de um projeto
em fase de formulação. Alguns autores acreditam que essas avaliações devem
ser enquadradas como avaliações formativas. Para Cohen e Franco (1993,
p. 16), “[...] a avaliação ex-ante permite escolher a melhor opção dos programas
e projetos nos quais se concretizam as políticas”, pois orienta a realização de
uma dada intervenção.
Avaliações in itinere, intermédia ou de processo – são realizadas durante

a fase de implementação da intervenção social planejada e organizada. Esse
tipo de avaliação pode levar em consideração tanto as fases de formulação
quanto a fase de implementação respeitando suas naturezas e dinâmicas de
60
evolução, mas quase sempre está focada no acompanhamento e verificação
dos resultados mais imediatos da intervenção em estudo. A avaliação in itine-
re pode ainda acontecer de modo sistematizado e contínuo estruturando-se
como um processo de monitoramento, como explica Soares da Cunha:
A avaliação intermediária tende a depender fortemente das informações provenientes do
sistema de monitoramento, e possui uma natureza formativa, com a preocupação de melhorar
o funcionamento do programa. Em alguns casos, a avaliação intermediária visa examinar os
impactos do programa, mas somente de maneira limitada. A avaliação ex-post tem natureza
somativa e é frequentemente conduzida com a intenção declarada de analisar os impactos do
programa (SOARES DA CUNHA, 2006, p. 11)
Avaliações ex-post – voltadas a avaliar em que medida a intervenção plane-

jada atingiu os resultados traçados na fase da formulação, ou revistos na fase
da implementação. A literatura distingue os resultados esperados daqueles
não esperados. Não raro essas avaliações são somativas, pois objetivam res-
ponder a específicas perguntas sobre a continuidade e/ou replicabilidade do
programa ou objeto em avaliação. A Universidade de Campinas (Unicamp) por
exemplo, propõe uma breve lista de perguntas fundamentais para esse tipo
de avaliação:
a que tipos de serviços ou benefícios os beneficiários do programa estão recebendo? b) em que
medida os serviços ou benefícios realmente recebidos pelos beneficiários do programa estão
de acordo com as intenções originais dos formuladores? c) os beneficiários estão satisfeitos
com os resultados atingidos pelo programa? d) os resultados atingidos são compatíveis com os
resultados esperados? e) como e por que os programas implementados geram resultados não
esperados? (UNICAMP, 1999, p. 43)
Avaliações de impacto – são um tipo de avaliação ex-post mais voltada para

os impactos ou resultados indiretos do que para os resultados diretos da inter-
venção em estudo. Acontecem frequentemente muito tempo depois que a in-
tervenção foi concluída e o seu foco recai muito mais sobre as transformações
provocadas no ambiente sociopolítico-econômico-ambiental onde ocorreu a
mudança no que na intervenção em si. Em outras palavras, essas avaliações
são voltadas às transformações e não se restringem a resultados imediatos,
pelo contrário, buscam encontrar resultados mais estruturais.
Usos da avaliação
Assim como há discordâncias a respeito do objetivo da avaliação, há também
discordâncias quanto aos possíveis usos das avaliações de programas sociais. Afinal,
até mesmo um juízo de valor pode ter diferentes usos. Scriven (1967), que defende
veementemente a emissão do juízo como objetivo primordial da avaliação (e a meta
como o fornecimento de respostas a perguntas avaliatórias significativas), acredita que
61
os papéis da avaliação são, na prática, definidos pela maneira pela qual as respostas ou
juízos produzidos são ou podem ser usados.
Outros autores defendem que o mais importante são os objetivos possíveis da

avaliação, deixando a discussão sobre os seus papéis ou usos de lado. Talmage (1982),
por exemplo, defende que os objetivos das avaliações são múltiplos, mas que três deles
aparecem com bastante frequência: (a) fornecer um julgamento de valor, (b) informar
o tomador de decisão, (c) exercer uma função política. A complexidade do ato de deci-
dir é bem explicada por Alejandro Tiana:
Qualquer pessoa que tenha enfrentado a experiência direta de ter que tomar decisões em algum
campo de atuação sabe que os elementos sobre os quais se apoia esse processo são muito variados
e de diversas ordens. Por um lado, costuma-se contar com informação direta ou indireta, procedente
de diversas fontes e com maior ou menor pertinência e confiabilidade em cada caso. Por outro lado,
deve-se levar em conta certos condicionamentos, de caráter normativo, institucional ou pessoal,
que determinam a margem de manobra existente. Deve-se levar também em consideração o
contexto de relações interpessoais, antecipando as reações que se possam produzir. Por último,
devem ser realizadas negociações multilaterais com o objetivo de conseguir que todos os atores
implicados se sintam partícipes da decisão adotada. Em suma, trata-se de uma tarefa delicada em
que o conhecimento e a informação desempenham um papel relevante, mas também a capacidade
de negociação e de mobilização de interesses, o sentido de oportunidade e inclusive a intuição
(TIANA, 1997, s.p).
Outros autores acreditam ser um dos principais usos da avaliação o empodera-

mento ou emancipação dos atores nela envolvidos. David Fetterman (1994) é prova-
velmente um dos que mais insistiram sobre a capacidade da avaliação de emancipar
os sujeitos envolvidos nos objetos de avaliação, tais como políticas, planos, programas,
projetos e/ou ações. Para ele, a avaliação só tem sentido se torna os envolvidos mais
capazes de compreender e atuar de modo transformador e democrático sobre as rea-
lidades em que estão inseridos.
Outro autor que se deteve longamente sobre o uso e papéis das avaliações foi
Jean King (1988). Em seu célebre estudo intitulado “Research on evaluation use and its
implication for evaluating research and practices” (Pesquisa sobre os usos em avaliação,
suas implicações para a pesquisa e práticas avaliatórias), o autor propôs quatro diferen-
tes tipologias para os usos e papéis das avaliações. São elas:
Instrumentais ou alocativos – quando a avaliação é usada para dar sustenta-

bilidade a decisões e buscas de soluções. Segundo alguns modelos de decisão,
esse uso raramente acontece, pois na maioria das vezes as decisões são efeti-
vamente tomadas antes dos resultados e juízo apresentados pela avaliação.
Persuasivas – quando a avaliação é usada para mobilizar o apoio necessário

para a formulação, reformulação, continuidade ou interrupção do programa.
Acontece ainda quando se busca apoio de novos adeptos.
62
Conceituais – quando a avaliação é utilizada sobretudo para reforçar a identi-
dade do programa e a compreensão dos seus objetivos. Esse reforço de iden-
tidade pode acontecer tanto para o público interno, quanto para o público
externo ao programa.
Simbólicas – quando a avaliação é usada para fins políticos ou de legitimação.
Alguns autores buscaram compartilhar dessa classificação, ao mesmo tempo em

que buscam refiná-la. Carol Weiss (1998), por exemplo, discutiu as condições em que tais
usos se dão. Para ela, por exemplo, o uso instrumental acontece com mais frequência
nas seguintes situações: (1) quando as implicações das descobertas da avaliação não
são muito controvertidas e sabe-se que não provocará grande discussão; (2) quando
as mudanças decorrentes ou sugeridas não são muito profundas e/ou fazem parte do
repertório do programa em questão ou de sua organização responsável pela imple-
mentação; (3) quando o ambiente do programa é relativamente estável no que diz
respeito à sua dinâmica, lideranças, orçamento, tipos de beneficiários etc.; e (4) quando
o programa está em crise e ainda não possui diretrizes de mudança.
Weiss (1998) teoriza ainda sobre os fatores que podem influir no uso das avalia-
ções: (a) diferença de valores e crenças entre avaliador e avaliados que podem gerar
conflitos entre os mesmos redefinindo os usos da avaliação, ou ainda conflitos entre
diferentes unidades da avaliação ou do programa avaliado; (b) eventuais mudanças
nos atores da avaliação gerando conflito pela mudança de propósitos e compreensão
do problema de avaliação, assim como redefinição do pacto entre avaliador e avalia-
dos; (c) obtusidade das organizações que podem dificultar ou até mesmo impedir as
recomendações propostas pela avaliação; (d) mudanças no cenário externo, tais como
no ambiente político, cortes orçamentários etc. que podem inutilizar a avaliação.
Continuando nessa perspectiva, Weiss distingue a possibilidade de uso de outros

quatro elementos: (a) ideias e generalizações derivadas da avaliação; (b) o próprio fato
de a avaliação ter sido ou estar sendo feita; (c) o foco do estudo, especialmente as me-
didas adotadas; e, finalmente, (d) o desenho do estudo. Vale a pena citar longamente
os comentários de Faria (2005, p. 104) sobre os elementos propostos por Weiss:
(a) Uso das ideias e generalizações derivadas da avaliação
Ainda que descobertas específicas da avaliação não sejam usadas, os formuladores e o pessoal
técnico do programa podem aplicar ideias e generalizações dela derivadas. É o seguinte o exemplo
dado por Weiss (1998): a generalização da descoberta de que agências locais não promovem
mudanças no seu padrão de provisão de serviços quando elas são as únicas a fazer tais mudanças,
pode levar a que se pense na necessidade de se coordenar a atuação de todas as agências.
(b) Uso possível do próprio fato de a avaliação ter sido ou estar sendo feita
São diversificadas as alternativas aqui. Primeiramente, a realização da avaliação pode ser

utilizada como uma desculpa para a inação. Por que se deveria tomar qualquer atitude no
63
sentido de se operar mudanças antes que se tenha o resultado do trabalho de avaliação? O
fato de uma avaliação estar sendo ou ter sido feita pode ser utilizado também para demonstrar
a racionalidade e a predisposição ao aprimoramento e à responsabilização por parte dos
encarregados da política ou do programa. Por outro lado, a própria realização da avaliação pode
ser pensada como assegurando uma aura de legitimidade para o programa ou sugerir que algo
não vai bem em sua gestão ou que há problemas no seu desenho.
(c) Utilização do foco do estudo
É amplamente reconhecido que o público (interno e o externo) do programa avaliado passará a

dar atenção prioritária a todos os focos da avaliação, com destaque para os elementos escolhidos
para serem mensurados. Esse fenômeno é conhecido como “ensinar para o teste”, dado o efeito
quase universal que a avaliação externa tem sobre o comportamento das instituições de ensino.
Como se sabe, o risco principal aqui é que sejam negligenciados outros aspectos do programa
que não incidem sobre os indicadores de sucesso definidos. Tal efeito, contudo, não é necessário
e forçosamente negativo.
(d) Utilização do desenho da pesquisa avaliativa
Destaca-se aqui a possibilidade de que as categorias de análise utilizadas pelos avaliadores,

a metodologia de avaliação e a forma de se analisar os dados tenham influência não apenas
sobre a gestão da política ou do programa em questão, ao fomentar, por exemplo, disputas
entre distintos níveis de implementação, mas também sobre outras áreas e esferas de governo.
Por fim, é necessário inventariarmos também os usuários potenciais da pesquisa avaliativa.
Originalmente, a comunidade de avaliadores era quase unânime na percepção de que os
usuários da avaliação se restringiam aos financiadores do programa (e da própria avaliação),
aos gerentes e encarregados de mais alto escalão e, por vezes, aos técnicos e profissionais que
lidavam de maneira mais direta com os beneficiários. Esses são os atores que, inclusive, muitas
vezes ajudam a definir o escopo, a abrangência, a metodologia e o âmbito de divulgação dos
resultados da avaliação.
Conclusão
As considerações feitas neste capítulo são válidas tanto para avaliações de inicia-
tivas de transformação social públicas, quanto privadas. Planos, programas, projetos e
ações podem ser formulados, implementados e realizados por diferentes atores sociais.
Um modo interessante de compreender esses atores é apoiando-se na clássica divisão

entre Estado, mercado e Terceiro Setor. Entidades pertencentes a cada um deles, ou
mesmo mistas, podem promover iniciativas de transformação social, todas passíveis
de serem avaliadas.
Os chamados três setores da sociedade, de fato, vêm demandando avaliações de

suas intervenções sociais cada vez com mais frequência. O Terceiro Setor é relativa-
mente novo no nosso país; suas raízes podem ser encontradas no fortalecimento da
sociedade civil no final dos anos 1970 e, sobretudo, durante os anos 1980. Inicialmente,
esse setor se afirmava em oposição ao Estado e ao mercado, mas com a redemocrati-
zação do Estado Brasileiro, foram surgindo formas complexas de interação entre este
e os demais setores, sobretudo o Estado. Uma definição plausível para o Terceiro Setor
64
é proposta por Fischer (2002, p. 45): “espaço composto por organizações privadas, sem
fins lucrativos, cuja atuação é dirigida a finalidades coletivas ou públicas.
No Segundo Setor, o mercado, também encontramos algumas iniciativas que

buscam tratar de alguns dos problemas sociais. Quando isso acontece, a literatura es-
pecializada chama tais ações de ações de responsabilidade social. Assim, mercado e
Terceiro Setor não só podem apreender ações de transformação social (estruturadas
em programas, projetos etc.), como acabaram por representar, sobretudo nos anos
1990, parte considerável dos investimentos sociais no país.
A natureza do ator ou agente promotor do objeto a ser avaliado, naturalmente, in-

fluencia o desenho da avaliação. A avaliação de um programa formulado e implemen-
tado por um agente privado do Terceiro Setor, por exemplo, uma fundação, possuirá
características diferentes de um programa formulado e implementado pelo governo.
Para muitos autores, a principal diferença está justamente no uso que tal avaliação terá,
imaginando que avaliações de programas governamentais possuem sempre um públi-
co de fundo que é a sociedade como um todo, em um contexto de democracia e trans-
parência pública. Não obstante tais elucubrações, o mais importante é que o avaliador
e a sua equipe conversem com os demandantes das avaliações para que se chegue a
um acordo prévio sobre os possíveis usos que tal avaliação deverá responder.
Texto complementar
A política da avaliação de políticas públicas

(FARIA, 2005)
Várias questões importantes podem ser inferidas a partir deste breve mape-
amento das distintas formas de uso da avaliação, dos seus vários elementos que
podem ser utilizados e dos usuários potenciais dos estudos de avaliação das políticas
públicas. A primeira delas é que a literatura específica parece ainda essencialmente
circunscrita às expectativas acerca do papel da avaliação elencadas pelo “modelo
decisionista”. Isso porque, mesmo tendo sido questionado o tradicional modelo hie-
rárquico e top-down de planejamento e de desenho da avaliação, esta maior pre-
ocupação com a questão do uso da pesquisa avaliativa parece ainda fortemente
restrita à utilização gerencial da avaliação e à necessidade de se gerar feedbacks que
justifiquem a relevância da própria realização de tais estudos. Dito de outra forma, o
que se pode verificar na literatura é uma ênfase quase exclusiva na utilização instru-
65
mental, intraburocrática, da avaliação das políticas públicas ou, quando muito, nas
interações entre decisores, gestores e população beneficiária.
Ficam negligenciadas, assim, questões como: o papel da avaliação das políticas

no jogo eleitoral; a reação do legislativo e do judiciário à concentração do poder
de avaliação no executivo (HENRY, 2001; DERLIEN, 2001); a eventual diferença na
institucionalização da avaliação entre países parlamentaristas e presidencialistas e
entre Estados federais e unitários (DERLIEN, 2001); o significado da distinta localiza-
ção institucional dos sistemas de avaliação e o impacto de seu grau de vinculação às
autoridades financeiras etc.
Dessa forma, não deixa de ser irônico, mas de maneira alguma contraditório,
o fato de ser justamente a literatura que adota o enfoque gerencialista de valoriza-
ção da avaliação como instrumento da reforma do Estado, aquela que está aparen-
temente mais disposta a acentuar questões políticas mais abrangentes, como, por
exemplo, o papel da avaliação na geração de accountability por parte dos agentes
estatais, seu potencial de “empoderamento” das comunidades menos privilegiadas
e seu impacto sobre a questão do controle social sobre o Estado. O fato não é contra-
ditório porque, como visto, essa literatura advoga um ideal regulativo que prescreve
ao Estado um papel subsidiário, sendo determinantes os estímulos, os incentivos e
os constrangimentos oriundos ou espelhados no mercado.
Uma postura de omissão no tratamento analítico das questões associadas ao

processo de avaliação das políticas públicas e de seu uso, como aquela detectada
no caso da ciência política brasileira (a qual, diga-se de passagem, parece não se sin-
gularizar neste aspecto), significa o esvaziamento da possibilidade de se analisar de
forma cabal a política da avaliação de políticas, a qual acaba, assim, negligenciada
em muitos de seus aspectos e implicações.
Se há resistências, por parte da ciência política brasileira, aí incluídos os analis-

tas de políticas públicas, em encampar uma agenda de pesquisa que contemple os
processos pós-decisão, como sugerimos, não seria possível e pertinente pensarmos
a questão do uso e da política da avaliação como claramente vinculada aos proces-
sos decisórios? Caso seja necessária uma nota de cautela, lembramos que estudar o
uso e a política da avaliação não implica, forçosa e automaticamente, a transposição
da temida, e muitas vezes tênue, fronteira entre os papéis do analista e daquele que
faz advocacy ou que prescreve cursos de ação.
Contudo, a despeito do ranço positivista que ainda pode ser observado na

prática avaliativa e também nas análises sobre esse processo, a avaliação não deixa
de envolver também, necessariamente, advocacy, como defende Greene (1997), na
66
contracorrente do pensamento dominante na área. Isso, segundo a autora, se com-
preendermos por advocacy não um “partidarismo programático ou um viés con-
taminador”, mas sim “uma adesão a valores como um ideal regulatório específico
(relativo à racionalidade do processo decisório ou ao ativismo comunitário)” (p. 25).
Se levarmos também em consideração o fato de que a avaliação e os avaliadores
atuam, como quer a vertente construtivista, “interpretando o contexto e construin-
do esse contexto e [que], portanto, ambos são produtores do espaço público” (ES-
COLAR; DOMENCH, 2002, p. 110), torna-se ainda mais lastimável a negligência ou a
omissão de nossos analistas de políticas públicas.
Atividades
Ronaldo de Oliveira é o novo gerente do Departamento de Marketing de uma
empresa produtora de carvão, localizada no sul do Acre, que realiza um programa de
apoio à erradicação do trabalho infantil, dentro do que a empresa chama de investi-
mentos de responsabilidade social. Ronaldo deseja convidar novos parceiros, também
privados, para investir neste mesmo programa, pois acredita que este problema só
vem aumentando nos últimos anos. Para isso, acredita que só uma avaliação poderá
lhe ajudar a convencer potenciais empresas parceiras. A partir dos conhecimentos que
você adquiriu neste capítulo, responda às seguintes questões, supondo que você foi
convidado para avaliar pioneiramente essa experiência.
1. O programa em questão está sendo implementado há dois anos em um pe-

queno povoado que fica há pouco mais de 30 quilômetros da sede da empresa,
localizada na periferia de uma cidade de porte médio. Em que fase do ciclo de
vida do projeto esse programa se encontra? Justifique a resposta.
67
2. A partir da resposta apresentada para o quesito anterior, reflita, responda e jus-
tifique que tipo de avaliação você poderá realizar de acordo com o tempo de
decurso do programa.
3. Nos cinco primeiros meses de existência, o programa contou com a parceria

de uma ONG local, que, infelizmente, retirou o seu apoio quando passou a
discordar da forma como a empresa conduzia a implementação, com pouca
participação dos atores locais. A ONG tinha, inclusive, participado do processo
de formulação da intervenção. É desejável que você discuta os usos possíveis
dessa avaliação com o Sr. Rogério. Mas, antes da reunião, você reflete sobre tais
usos para identificá-los previamente. Quais as conclusões dessa sua reflexão?
Ou seja, quais os possíveis usos da avaliação?
68
O desenho da pesquisa avaliatória
Introdução
Vídeo O planejamento de um processo de avaliação é frequentemente
chamado de desenho de avaliação1. A vantagem do termo desenho em
relação ao termo planejamento é que o primeiro releva a “dimensão or-
gânica” de tal atividade: quando falamos em desenho da avaliação pen-
samos mais facilmente no planejamento como um percurso que deve
ser percorrido por um conjunto de atores envolvidos no processo que
será desencadeado. Além disso, o termo revela que desenhar uma avaliação não é uma
atividade mecânica que pode ser realizada aplicando um grupo de regras e normas,
como nos lembram Rossi, Freeman e Lipsey (1999), por estar associada e significada
pelo seu contexto.
Um bom desenho ou planejamento de avaliação está, portanto, intimamente re-

lacionado ao contexto político no qual acontece a avaliação, à natureza do objeto de
avaliação, à determinação do conjunto de atores sociais que contam na avaliação e aos
seus interesses, ao tempo e timing da avaliação (ou seja ao momento em que será feita
em relação ao ciclo do projeto ou programa em avaliação), assim como aos recursos
disponíveis para o desenvolvimento de tal atividade.
O desenho da avaliação envolve ainda o desenho da pesquisa avaliativa, que é o

coração da avaliação. Quando falamos em desenho da pesquisa avaliativa entende-
mos o desenho da pesquisa socialmente aplicada à avaliação, construída para tal fim.
No desenho da pesquisa avaliativa levamos em consideração o conjunto de reflexões
e procedimentos que conduzirão a equipe de avaliação a realizar concretamente a sua
avaliação a partir de um problema cognitivo inicial. Esse problema cognitivo funciona
como a pergunta principal que a avaliação deseja responder, da qual, inclusive, se ori-
ginam as hipóteses de avaliação. A lógica da pesquisa avaliatória, portanto, não é subs-
tancialmente diferente da lógica tradicional da pesquisa social, mas, como é voltada à
avaliação, pressupõe algumas modalidades de reflexão e de consequências operativas
que a levam mais diretamente à construção de um juízo ou síntese avaliatória.
1
Outros nomes são frame, que significa quadro, lógica ou simplesmente teoria da pesquisa de avaliação.
69
Níveis de desenho
O desenho de avaliação pode ser compreendido em diferentes níveis de análise,
desde o nível epistemológico2, passando pelo metodológico até o operativo (ou das
técnicas e critérios de avaliação). Não há, naturalmente, fronteiras precisas entre tais
níveis, pois os mesmos são substancialmente interligados e contínuos.
Nível epistemológico-metodológico
No nível epistemológico-metodológico estão presentes a reflexão sobre o grau
de conhecimento do objeto a ser avaliado (evaluando), as precondições necessárias
para o desenvolvimento (e aceitação) da atividade de avaliação, assim como os possí-
veis usos da pesquisa. Ainda nesse nível, são definidos os conjuntos de atores que se
relacionaram ao processo de avaliação, incluindo o esboço dos seus possíveis papéis.
O desenho da pesquisa avaliatória, coração da avaliação, também é esboçado nesse
estágio, pois a mesma já é em grande parte definida em função da construção do pro-
blema ou da questão central que a avaliação pretende fornecer um juízo. E justamente
por isso é que esse nível pode ser chamado de epistemológico, pois diz respeito ao
conhecimento que queremos ter do objeto que será avaliado, além de estar intrinseca-
mente relacionado ao pré-conhecimento que já temos sobre o programa, implicando
os valores e crenças dos envolvidos com o desejo ou necessidade de se avaliar uma
determinada política, plano, programa, projeto ou ação social.
Nível metodológico-operativo
No nível metodológico-operativo encontramos os esforços de tradução de um
percurso de avaliação em algo concreto, que pode ser compreendido como a metodo-
logia de avaliação. A metodologia de avaliação se materializa no próprio desenho da

pesquisa avaliativa, com todas as suas hipóteses, valores, particularidades e desafios
inerentes. O desenvolvimento desse nível de desenho é resultante do desenvolvimen-
to e dos produtos do nível anterior, o epistemológico-metodológico. Aqui são refina-
das as condições de cobertura da avaliação (o que será avaliado).
Nível operativo
Por último, no nível das definições operativas, as técnicas de pesquisa são refi-
nadas, assim como os seus tempos, condições, métodos de coleta e análise de dados,
2
Epistemologia, segundo o dicionário Houaiss, abrange a reflexão geral em torno da natureza, etapas e limites do conhecimento humano, especialmente nas
relações que se estabelecem entre o sujeito indagativo e o objeto inerte, as duas polaridades tradicionais do processo cognitivo.
70
precisão das responsabilidades dos envolvidos diretamente no processo de avaliação.
No processo de escolha das técnicas são levadas em consideração as precondições do
desenho, assim como o grau de validez e confiança desejados a partir dos vínculos
estruturais da avaliação. Quanto maior a validez e confiabilidade, mais transparente e
detalhista deve ser o desenho de avaliação.
Quando o nível operativo, o das técnicas, passa a ser visto como o terceiro na
cadeia decisional, pode parecer que lhe estamos subtraindo importância no desenho
da avaliação, relegando-o a uma simples “consequência” dos demais níveis do dese-
nho. Todavia, tal visão é bastante simplista, pois as técnicas ocupam uma parte consis-
tente do processo de avaliação mesmo quando não são o seu ponto de partida. Aliás,
é bastante importante compreender que as técnicas não são neutras; pelo contrário,
elas são instrumentos dotados de preconcepções sobre o que se está avaliando.
A lógica avaliatória
Observe como os desenhos de avaliação que se restringem ao nível das defini-
ções operativas, ou seja, ao nível da eleição das técnicas, provavelmente não atingirá
o seu objetivo. Ninguém conseguiria avaliar qualquer coisa a partir de um ponto de
vista inexistente. Por isso, um desenho de avaliação (que vai além do desenho da pes-
quisa de avaliação) deve se esforçar para abranger os três níveis acima explicados. Um
dos modos mais eficazes para garantir coerência no desenho dos três níveis é investir
esforços na discussão de uma lógica avaliatória que funcione como fio condutor e de
amarração entre todos os níveis.
Cada desenho de avaliação contém uma lógica (dedução, indução, hipótese, infe-
rência etc.) ou teoria. Essa lógica ou teoria pode ser explícita ou implícita, com diferen-
tes graus de coerência, profundidade e complexidade. Quando ela é implícita, ou seja,
quando ela não é revelada, os resultados da avaliação dificilmente são socializados por
outros atores que não pertenceram ao processo avaliatório. Portanto, o ideal é que
tal lógica seja problematizada ainda quando se está esboçando as primeiras possibi-
lidades de realizar uma avaliação qualquer de um objeto qualquer e, naturalmente,
explicitada. Caso contrário, corre-se dois tipos de riscos: (a) os seus resultados podem
parecer fechados em si mesmos e pouco compreensíveis ou úteis à sociedade; (b) o
próprio avaliador e/ou sua equipe podem se perder no processo gerando resultados
avaliatórios de pouca densidade avaliatória.
Uma vez construída a lógica da avaliação, cabe à equipe de avaliação explicitá-la

ou não perante o público da avaliação. Particularmente, acreditamos que a explicita-
ção da lógica de avaliação, sobretudo aos atores envolvidos diretamente no processo
de avaliação, integre as bases éticas da avaliação.
71
O importante também é compreender que a lógica da avaliação, materializada
no desenho da avaliação, é fruto da mediação de diversos valores: os da organização
que demandou a avaliação; os do avaliador e da sua equipe de avaliação; os do objeto
avaliado, assim como com os valores dos atores envolvidos direta ou indiretamente na
avaliação (por exemplo, os beneficiários do objeto em avaliação).
Alguns maus exemplos

Muitas avaliações, infelizmente, não demonstram a devida preocupação com o
seu desenho e são construídas em poucos passos, definidos de forma muito esquemá-
tica. A principal lacuna reside na falta de problematização da lógica de avaliação, que
resulta em um desenho de avaliação empobrecido e com pouca aderência ao objeto
de avaliação, pois não leva em consideração as suas peculiaridades. Por isso, esse
tipo de avaliação quase nunca apresenta resultados úteis (expressos em juízos argu-
mentados) para o aperfeiçoamento do programa ou de outro objeto que esteja sendo
avaliado. O quadro abaixo mostra algumas sequências de construção do desenho ava-
liatório (planejamento) frequentes e incompletas.
Quadro 1: Síntese de maus exemplos de desenhos de avaliação
O autor.
Exemplo 1 Exemplo 2 Exemplo 3
Definição do objeto de ava- Levantamento dos dados Escolha da metodologia;
liação (programa “x”); disponíveis;
Definição das técnicas;
Definição dos objetivos da Definição do objetivo da
avaliação como “avaliação de avaliação (avaliação de pro- Preenchimento dos dados;
resultados”; cesso);
Correlação dos dados;
Especificações técnicas; Especificação das relações
entre as variáveis; Apresentação das
Apresentação dos resultados conclusões.
da avaliação. Especificações técnicas;
Apresentação dos resultados

da avaliação.
Todas essas sequências de construção do desenho avaliatório mostram-se incom-

pletas, pois negligenciam aspectos importantes da elaboração da proposta de ava-
liação, aumentando as chances de aparecerem problemas futuros. No primeiro caso,
a avaliação não foi problematizada em toda a sua complexidade; o avaliador e sua
equipe já começaram definindo o tipo de avaliação a ser realizado, sem problematizar
o contexto no qual a avaliação aconteceria. No segundo, o suposto pragmatismo (o
primeiro passo é saber com quais dados se pode contar) acaba por esconder outros
problemas inerentes à avaliação, tais como os valores dos envolvidos, a disponibilida-
72
de em colaborar e a própria validez dos dados. No terceiro, a escolha da metodologia
pressupõe que a avaliação não será construída de acordo com o seu contexto e os seus
possíveis usos e papéis, mas, sim, a partir de uma metodologia genérica já presente no
mercado das avaliações.
A construção do desenho
de avaliação (conjunto orgânico)
A construção do desenho de avaliação, como vimos, é um processo complexo
que envolve a problematização dos usos e objetivos da avaliação, dos valores envol-
vidos, da definição da abordagem de avaliação, entre outras coisas, que resultam na
construção de algo que chamamos de lógica da avaliação. Cada lógica é própria de
cada percurso de avaliação e por isso não podemos traçar uma receita única para a
construção de um percurso de avaliação. Todavia, para efeitos de análise e de ensino,
é possível discernir em grandes fases esses processos de construção de percursos de
avaliação. Essa classificação ajuda quem ainda está começando no campo profissional
da avaliação a não se descuidar de pontos importantes nos seus primeiros esforços de
construção de desenhos de avaliação.
Em tal perspectiva, apresentamos cinco importantes etapas do processo de cons-

trução do desenho de avaliação de uma política, programa ou projeto social. Cabe a
ressalva, porém, de que essas etapas não são estanques, tampouco lineares. Elas vão
acontecendo e se retroalimentando no decorrer do processo de planejamento.
Identificação e compreensão dos objetivos da avaliação

Todos os esforços possíveis devem ser empregados na identificação e compre-
ensão dos objetivos da avaliação, mesmo que quase sempre esses esforços se deem
ainda durante a fase de pré-contrato da avaliação. A prática tem revelado que muitos
avaliadores acabam se descuidando da busca desse conhecimento inicial, até mesmo
pelo receio de que o demandante retire a demanda da avaliação, preferindo garan-

tir primeiro a assinatura do contrato de trabalho (quase sempre formalizado como
consultoria). Esse descuido, todavia, certamente representará um grande problema
mais adiante. É preciso compreender que o desenho da avaliação começa quando
se travam os primeiros contatos entre avaliador e organização demandante da ava-
liação. Seguem alguns dos principais aspectos que podem ser observados antes da
assinatura do contrato, que poderão, inclusive, ajudar o avaliador e a sua equipe a
73
elaborar um bom contrato de avaliação, com responsabilidades e limites precisados
para ambas as partes3.
Compreensão do contexto decisional da avaliação
É preciso compreender em que contexto a organização solicitou a avaliação,

qual a sua posição e quais os seus interesses para com a avaliação. Quanto mais
clara for a demanda de avaliação, mais precisa será a pergunta central da ava-
liação e, consequentemente, suas hipóteses. Veja alguns exemplos simples:
I. O Ministério da Integração Nacional solicita uma avaliação de impacto

econômico da transposição do Rio São Francisco para estimar o volume
de recursos que serão investidos;
II. A ONG “X” solicita uma avaliação de impacto econômico sobre as comu-
nidades carentes possivelmente afetadas pela transposição do Rio São
Francisco, com foco na sustentabilidade cultural de tais públicos;
III. O Greenpeace solicita uma avaliação de impacto socioambiental sobre

o território afetado pela transposição, para realizar um estudo compa-
rativo com outras experiências latino-americanas de pouco êxito. Nesse
caso, a organização demandante da avaliação já possui uma hipótese
avaliatória clara: o programa é pouco exitoso nos propósitos desejados
pela organização, independentemente do mesmo alcançar ou não os
seus próprios objetivos.
Compreensão dos objetivos e possíveis usos da avaliação
É preciso compreender como os interesses da organização podem ser mate-

rializados nos objetivos pretendidos para a avaliação. Os objetivos do deman-
dante da avaliação não são necessariamente os objetivos da avaliação. Pelo
contrário, o ideal é que a avaliação consiga construir e apresentar os seus pró-
prios objetivos a partir de todos os interesses observados em jogo, sobretudo

os interesses chamados públicos. Para que isso ocorra, é imprescindível que se
discuta previamente quais os futuros usos ou papéis que a avaliação deverá
responder.
Orientação do processo avaliativo em uma direção construída a partir do

contexto decisional da avaliação, criando as bases para a lógica avaliatória
Um dos aspectos mais importantes é a compreensão conjunta entre avaliador

e avaliado sobre a emissão ou não de juízo de valor. Ainda que acreditemos
que toda avaliação é necessariamente uma emissão de juízo de valor, alguns
3
É importante ressaltar que esses aspectos não são os únicos e que o avaliador pode considerar útil avançar ainda mais na pré-investigação do seu futuro
objeto de avaliação. Além disso, tais aspectos não são estaques e/ou submetidos a uma continuidade de tipo linear. Pelo contrário, é importante observar que
eles se complementam em uma circularidade dialética.
74
autores sustentam que é possível avaliar sem emitir um juízo sobre o objeto
avaliado. Ou seja, que a avaliação deve limitar-se a fornecer informações neu-
tras sobre o objeto de avaliação.
Por isso, vale sempre a pena tentar responder de modo claro a esta pergunta: a
avaliação deve resultar em um estudo neutral ou em juízos de valor argumen-
tado, seguido ou não de recomendações? Uma vez determinado que a ava-
liação compreende a expressão de um juízo de valor argumentado, é preciso
definir outros importantes aspectos da avaliação, como os limites do objeto
de avaliação e, sobretudo, da avaliação em si. Esse último limite é também
conhecido como “grau de cobertura da avaliação”.
Compreensão dos valores em jogo e esboço inicial dos valores da

avaliação
É preciso compreender os diferentes valores, às vezes divergentes, que geram

necessidades de argumentação diversas. Muitas vezes os valores dos atores
envolvidos na avaliação podem ser agrupados de acordo com os seus papéis
organizacionais no objeto de avaliação. Quem são os principais atores envolvi-
dos e os problemas evidenciados por tais partes? Quem utilizará a avaliação e
qual o seu principal emprego: decidir ou aperfeiçoar o objeto de avaliação? É
sempre bom lembrar que a avaliação é uma excelente oportunidade para con-
frontar os valores e pontos de vista que estão presente no objeto de avaliação,
seja ele uma política, um programa ou um projeto social.
Formulação do problema de avaliação

Compreensão inicial do programa, da fase em que ele se encontra, do
contexto político da sua formulação, da percepção do modelo de gestão
e decisão do mesmo
Uma política, programa ou projeto social pode ser visto como uma estratégia
de transformação de uma realidade considerada socialmente problemática
em outra realidade considerada desejável ou aceita. Cada uma dessas estra-
tégias é criada dentro de um específico contexto sociopolítico que deve ser

compreendido durante o período de desenho da avaliação. Tal compreensão
ajuda a identificar e compreender, mesmo que inicialmente, as diretrizes que
o objeto avaliado tomou nos últimos tempos. Tal compreensão inclui ainda a
atenção ao modelo de gestão do objeto avaliado, observando como as deci-
sões são tomadas, qual a hierarquia decisional do programa, qual a atribuição
de papéis dos principais atores que implementam a estratégia (política, pro-
grama, projeto, ação etc.). Além disso, é preciso compreender não somente
75
em que fase o programa se encontra dentro do ciclo clássico de projeto (For-
mulação => Implementação => Avaliação), mas em que ponto de cada uma
dessas fases ele se encontra.
Esboço do problema central de avaliação, ou seja, da pergunta principal

que orientará o desenho da avaliação
Esse aspecto é extremamente importante. Muitas vezes a pergunta central da

avaliação está relacionada ao ciclo do projeto/programa. Ou seja, relacionado
às simples perguntas:
I. Desde quando esse objeto existe?
II. Foi somente formulado? Isso quer dizer que ainda não conta com uma re-
alidade organizacional própria? O problema de avaliação poderia ser “vale
a pena investir os recursos planejados nesse projeto?” ou então “será que
a formulação está correta, apresentará os resultados desejados?”
III. Está no começo da implementação? Isso quer dizer que a realidade orga-
nizacional ainda é pouco madura? O problema de avaliação poderia ser “o
programa está no caminho certo?”
IV. Está implementado há muito tempo? Isso quer dizer que as rotinas estão
consolidadas? O problema de avaliação poderia ser: “vale a pena continu-
ar do jeito que está ou precisa de mudança?”
V. Já concluiu seu ciclo de vida? O problema de avaliação poderia ser o que

nos ensinou tal esforço/experiência
Definição das hipóteses de avaliação em função da compreensão inicial

do objeto
As hipóteses de avaliação são definidas em função do problema central de

avaliação. São as hipóteses que traduzirão a lógica avaliatória para as defini-

ções das práticas e procedimentos da pesquisa avaliatória. Alguns autores de-
fendem que não se pode falar em hipóteses quando se tratam de questões
qualitativas. Para eles, as hipóteses devem tratar somente de relações causais
quantitativas; enquanto que as premissas deveriam tratar daquelas que são
qualitativas.
Definição dos valores da avaliação
Para definir os valores da avaliação pode-se buscar as respostas das seguintes

perguntas: Qual o grau de liberdade do avaliador? Deve limitar-se aos objetivos
definidos pelo demandante da avaliação? O comitente está disposto a aceitar
resultados diferentes do que imagina? Além disso, a definição dos valores da
76
avaliação também pressupõe a definição do grau de participação dos atores en-
volvidos (diretamente ou não) definidos pela lógica avaliatória (quem avalia?).
Organização da pesquisa
A organização da pesquisa é uma das etapas mais importantes do desenho de
avaliação. É nela que identificamos os principais recursos que teremos à disposição,
que definimos os sistemas de retroalimentação da avaliação, além de criarmos as bases
para uma exploração concreta da realidade que se pretende avaliar. Como observa
Chito Guala (1986):
O fato organizacional, longe de ser enquadrado como problema técnico, assume uma relevância
metodológica geral: assim como as várias fases da pesquisa estão inter-relacionadas, do mesmo
modo a organização da pesquisa incide diretamente sobre a gestão compreensiva do trabalho e
do futuro “produto”, e portanto sobre os objetivos, objeto, avaliação das técnicas oportunas, fases,
acompanhamento etc. (GUALA, 1986, p. 42)
Observe os principais pontos para uma boa organização da pesquisa de avaliação:
Refinamento da lógica avaliatória
A esta altura é possível refinar a lógica avaliatória, deixando mais claro ainda
para os envolvidos por onde se pretende chegar com a avaliação, quem será
envolvido em tal processo. Enfim, quais os limites efetivos da avaliação e dos
seus propósitos. A lógica avaliatória deverá ser continuamente refinada du-
rante todo o processo de construção do desenho da avaliação.
Verificação dos recursos com o que se pode contar na avaliação (econô-

micos, de pessoal, tempo etc.)
Sims (1994) elaborou um pequeno elenco para ajudar avaliadores em início de

carreira a não esquecer alguns importantes pontos da verificação dos recursos
que podem ser utilizados/explorados em um processo de avaliação. Obser-
vem como eles extrapolam o senso comum sobre recursos:
I. Fundos econômicos;
II. Tempo necessário;
III. Recursos humanos;
IV. Clima organizacional (confiança, abertura mental etc.);
V. Disponibilidade de dados (com qualidade);
VI. Cultura organizacional e valores dos atores envolvidos com o objeto de

avaliação;
77
VII. Relação com formuladores e implementadores do objeto avaliado;
VIII. Capacidade técnica da equipe de avaliação;
IX. Viabilidade da avaliação;
X. Preocupação ética dos envolvidos.
Gestão da avaliação
I. Gestão do grupo de trabalho, com divisão de responsabilidades, hierar-

quia etc.;
II. Gestão do desenvolvimento da pesquisa, incluindo a gestão dos dados;
III. Gestão do orçamento, que nem sempre deve ficar a cargo do avaliador
principal;
IV. Gestão das relações com o grupo gestor da organização que demandou
a avaliação. Em algumas situações será importante centralizar toda a re-
lação em um único participante do grupo de avaliação, em outras, pelo
contrário, será melhor distribuir entre todo o grupo;
V. Gestão das relações com técnicos envolvidos na formulação e imple-

mentação do objeto de avaliação (stakeholders), definindo, por exemplo,
quem cuidará do agendamento das entrevistas, dos grupos focais etc.
Definição das precondições da avaliação
I. A pesquisa deve resultar em um estudo neutral ou em pareceres e

recomendações?
II. Que tipo de difusão dos resultados é possível?
III. Qual o grau de autoridade atribuído a equipe de avaliação? E por quanto

tempo? Há diferença de permissividade entre os componentes da equipe?
IV. Quais as regras para a mudança de escopo ou características da avalia-

ção para comitente e equipe de avaliação?
Definição da estrutura de aprendizagem subjacente ao desenho de avaliação
Em todo desenho de avaliação há um sistema de retroalimentação de ideia,

objetivos, propósitos, recursos e meios para atingir os objetivos. Alguns de-
senhos de avaliação são elaborados já levando em consideração a (ótima)
ideia de criar momentos e espaços de reflexão que permitam, aos envolvi-
dos no processo de avaliação, rever e ajustar as suas atividades e propósitos.
78
Nessa perspectiva, podemos dizer que de um lado extremo estão os dese-
nhos de avaliação que podem ser tranquilamente chamados de obtusos,
pois são fechados e não aprendem com a própria experiência; no outro ex-
tremo, temos os desenhos inteligentes, que incorporam momentos de refle-
xão estimulando um sistema subjacente de aprendizagem organizacional
da própria avaliação.
Construção do desenho da pesquisa de avaliação e metodologia

Na construção do desenho da pesquisa de avaliação é necessário que alguns as-
pectos estruturantes do desenho da avaliação já estejam definidos, como os descritos
acima. Em outras palavras, uma vez que já se saiba para onde se deseja olhar, é possível
se desenhar o percurso para materializar tal olhar e buscar os seus resultados.
Construção do desenho da pesquisa de avaliação e metodologia
O desenho da pesquisa de avaliação é o coração da avaliação. Esse desenho

deve ser elaborado levando em consideração todas as nuances e particulari-
dades presentes no desenho de avaliação, sobretudo os recursos disponíveis
para que seja um percurso possível de ser percorrido. Como o desenho de pes-
quisa avaliatória está intimamente relacionado às características do programa,
podemos dizer que ele é único, ainda que se baseie em uma metodologia já
existente de avaliação de programas sociais. Como você verá, a simples as-
sunção dos pressupostos metodológicos de qualquer escola de avaliação não
garante o êxito da avaliação. É preciso que o desenho da pesquisa de avaliação
esteja extremamente adequado ao contexto na qual a avaliação ocorre, assim
como às características do objeto de avaliação.
Construção das técnicas a serem utilizadas pela pesquisa avaliatória
Esse é um dos pontos mais importantes do desenho da pesquisa avaliatória.

Nele o avaliador deve demonstrar um bom manejo das técnicas de pesquisa,
selecionando, propondo ou ajustando as técnicas mais pertinentes aos pro-
pósitos da sua avaliação, à sua pergunta central e avaliação, com o cuidado de
não perder a coerência de todo o desenho que vinha sendo construído.
Construção do sistema de valor que será eventualmente tomado como

base de avaliação do programa
Esse sistema de valores é chamado por alguns autores de marco zero da ava-
liação, pois diz respeito à construção de um conjunto de parâmetros que ser-
virão posteriormente como valores de base da avaliação.
79
Definição dos papéis dos atores envolvidos no processo de avaliação
Também aqui é importante definir quais os atores que participarão da pesqui-

sa avaliatória e, sobretudo, quais os seus papéis e responsabilidades. Observe
que os atores englobam tanto aqueles que são considerados como atores dire-
tos, relacionados diretamente com o objeto de avaliação, quanto aqueles que
são considerados indiretos, por não possuírem forte vínculo com o objeto que
está sendo avaliado. Essa definição deve ainda respeitar a distinção entre ava-
liação interna, externa ou mista e formativa ou somativa. Esse ponto merece
atenção redobrada quando se opta por construir metodologias participativas
de avaliação.
Definição dos usos da avaliação e da difusão os seus resultados

Observe alguns aspectos importantes para a definição dos usos ou papéis
da avaliação, assim como a definição dos vínculos para a difusão dos resultados
da avaliação:
Definição dos possíveis usos da avaliação, tanto internamente como ex-

ternamente, em função do contexto, dos interesses dos atores envolvidos
e da sociedade em geral
Os usos da avaliação devem ser discutidos previamente entre o avaliador e a

organização que demandou a avaliação, seja ela governativa, privada ou per-
tencente ao Terceiro Setor. Em tal discussão, cabe ao avaliador levantar as con-
siderações quanto ao uso da avaliação pela sociedade em geral, pelos atores
envolvidos direta ou indiretamente com a avaliação, além do chamado grupo
de beneficiários do programa.
Segundo Weiss (1998), é possível distinguir quatro usos para a avaliação. Ob-
serve como os dois primeiros dizem respeito à resolução de conflitos relativos

ao objeto de avaliação, seja ele uma política, programa ou projeto social. Além
disso, o uso voltado para o esclarecimento é frequentemente associado ao uso
dos resultados da avaliação para aquilatar os (bons) resultados de um progra-
ma social, não raro associado à mudança de mandado de gestão.
80
Quadro 2 – Quadro síntese de diferentes usos da avaliação propostos por
Weiss (1998)
O autor.
Instrumental Persuasão Conceitual Esclarecimento
Depende da quali- Quando utilizada Voltado aos imple- Esclarece pontos
dade e divulgação para: mentadores dos pro- controversos do ob-
pretendida. Pode 1) Justificar decisões; gramas sem muito jeto de avaliação;
subsidiar decisões, poder decisional; Estimula debates
desde quando o con- 2) Conquistar novos
adeptos ou mobili- Podem alterar a públicos;
texto da avaliação percepção do objeto
indique: zar apoio político; Gera impacto sobre
em avaliação; comunidades de
1) Descobertas e mu- 3) Dar legitimidade a
processo políticos; Pode gerar aprendi- prática;
danças no objeto zagem institucional;
de avaliação como 4) Demonstrar a Gera impacto sobre
admissíveis (mes- superioridade dos Não se espera que a agenda política de
mo repertório); pontos de vista sejam desencade- governos.
adotados; adas mudanças a
2) Inércia ou acomo- partir dela (SCRIVEN,
dação do objeto 5) Demonstrar 1969).
de avaliação que despolitização da
influencia sobre administração.
a diminuição dos
resultados;
3) Crise no objeto de
avaliação.
Definição (em comum acordo com a organização que demanda a avalia-

ção) dos limites de publicação dos resultados
I. Esclarecer sobre quais os públicos que receberão os resultados da ava-

liação, assim como quais deles poderão entrar em contato com o dese-
nho da pesquisa de avaliação;
II. Definir previamente os critérios para a publicação e divulgação dos re-

sultados da avaliação (livros, artigos, relatórios etc.);
III. Delimitar os usos por parte do avaliador e da sua equipe da avaliação

para fins científicos e escolares (preparação de artigos, ensaios críticos,
privacidade dos dados etc.). O desenho da pesquisa avaliatória
Definição (em comum acordo com a organização demandante da avalia-

ção) do grau de liberdade da equipe de avaliação
Esse problema da liberdade fatalmente aparecerá durante o desenvolvimento

da avaliação. Portanto, é melhor que o avaliador e a organização demandante
81
da avaliação o discutam o quanto antes. É preciso estabelecer quais os
limites da avaliação e qual o grau de liberdade da equipe de avaliação. Esse
grau de liberdade diz respeito inclusive à aceitação ou não de dados forneci-
dos pela organização e o avaliador pode resguardar para si o direito de aceitá-
los e usá-los totalmente, parcialmente, não usá-los ou, até mesmo, refazê-los.
Conclusão
Como vimos, a organização da avaliação (incluindo os problemas de gestão) e o
desenho da pesquisa de avaliação são duas importantes atividades que não podem
ser vistas separadamente. Os aspectos aqui traçados não são os únicos possíveis, pois
são gerais, e por isso não se relacionam com as especificidades de cada caso. Cada
avaliação pressupõe um pacto entre o avaliador, sua equipe e os demais envolvidos
com o objeto da avaliação, além, naturalmente, de quem demandou a avaliação, do
seu financiador. Reveja alguns desses aspectos sintetizados por Boullosa (2007) para a
elaboração de uma proposta de avaliação de um programa ou projeto social:
Quadro 3: Conteúdo mínimo para a elaboração de uma proposta de avaliação de
programa ou projeto social
(BOULLOSA, 2007)
Identificação e Construção Definição dos
compreensão Formulação do desenho usos da avalia-
Organização
dos objetivos do problema da pesquisa ção e da difu-
da pesquisa
iniciais da de avaliação de avaliação e são dos seus
avaliação metodologia resultados
Compreensão do Compreensão Refinamento da Construção do de- Definição dos
contexto decisio- inicial do programa, lógica avaliatória; senho da pesquisa possíveis usos da
nal da avaliação; da fase em que ele Verificação dos de avaliação; avaliação, tanto in-
Compreensão dos se encontra, do recursos com o Construção da ternamente como
objetivos (deve contexto político que se pode con- metodologia da externamente, em
emitir juízo ou da sua formulação, tar na avaliação avaliação; função do contex-
não, avalia-se para da percepção do (econômicos, de to, dos interesses
modelo de gestão e Construção do sis- dos atores envolvi-

quê?) e possíveis pessoal, tempo tema de valor que
usos da avaliação; decisão do mesmo; etc.); dos e da sociedade
será eventualmen- em geral;
Orientação do Esboço do proble- Montagem da te tomado como
processo avaliativo ma central de ava- equipe de avalia- base de avaliação Definição em co-
em uma direção, a liação, ou seja, da ção; do programa; mum acordo com
partir do contexto pergunta principal a organização que
que orientará o de- Definição das Construção da demanda a ava-
decisional da ava- precondições da abordagem, dos
liação, criando as senho da avaliação; liação dos limites
avaliação; instrumentos e de publicação dos
bases para a lógica Definição das técnicas usados na
avaliatória; hipóteses de ava- Definição da resultados;
estrutura de pesquisa avalia-
Compreensão dos liação em função tória; Definição em
da compreensão aprendizagem comum acordo
valores em jogo subjacente ao Definição dos
e esboço inicial inicial do objeto; com a organização
desenho de ava- papéis dos atores demandante da
dos valores da Definição dos valo- liação. envolvidos no pro-
avaliação. res da avaliação. avaliação do grau
cesso de avaliação. de liberdade da
equipe de avaliação.
82
Como você deve ter percebido, quando afirmamos que tanto a avaliação quanto
a pesquisa avaliatória possuem um desenho queremos sobretudo recordar o caráter
de projeto de ambos os processos. Como qualquer projeto, temos dois momentos im-
portantes: um antes e um depois. E um depende do outro. Por isso, como desenho que
nos remete a projeto, o planejamento da avaliação deve recordar da sua dimensão de
sistema (dimensão sistêmica), no qual há relações, inter-relações e retroações, que se
apresentam em numerosos imprevistos que acontecem em todo processo de investi-
gação social.
Assim, o desenho da avaliação não pode ser visto como um conjunto fechado
de técnicas que se compra pronto sob a etiqueta de “metodologia de avaliação”. Não
podemos reduzir um processo de avaliação à aplicação sem reflexão de um conjunto
qualquer de técnicas. O mercado da avaliação está recheado de receitas fáceis para
serem aplicadas por profissionais pouco competentes. Mas, não obstante tal fartura,
é preciso não esquecer que metodologias prontas dificilmente dão resultados, sobre-
tudo aquelas que se apresentam como imparciais e muito profissionais. Como visto
até aqui, não há avaliação imparcial, assim como não há instrumentos de pesquisa de
avaliação destituídos de ideologia. Até mesmo quando escolhemos um indicador para
avaliar ou monitorar o desempenho de um determinado programa, estamos fazendo
uma escolha e, portanto, elegendo um entre tantos dados que poderiam nos dizer
algo sobre o objeto que está sendo avaliado ou monitorado.
Texto complementar
Os quatro elementos da avaliação

(SILVA; BRANDÃO, 2009)
[...]
São sete os passos metodológicos compreendidos nesta etapa da avaliação: (1)

a elaboração de perguntas avaliativas, (2) a elaboração de indicadores, (3) a escolha

das fontes de informação, (4) a escolha das formas de coleta de informações, (5) a
coleta de informações – trabalho de campo, (6) a análise das informações coletadas
e (7) a comunicação dos resultados. Ainda que diferentes abordagens de avaliação
sejam utilizadas, esses passos serão úteis aos avaliadores como um roteiro ou matriz
elementar na organização de processos de avaliação.
Ainda que estejamos falando de uma avaliação de linha de base ou de qualquer

outro modelo que procure investigar os pontos de partida das intervenções sociais;
83
de avaliações de natureza formativa, ou de qualquer outra classificação que venha
a ocorrer ao longo da intervenção social, incluindo o monitoramento das ações; ou
de avaliações de natureza somativa, ou de qualquer outro desenho que implique a
investigação de resultados ou de impacto das intervenções sociais, seguir os sete
passos metodológicos que propomos será de grande utilidade para os avaliadores.
Seguir passos metodológicos claros e inter-relacionados é uma forma concre-

ta de assegurar consistência a um processo de avaliação. Do ponto de vista exter-
no, permite que qualquer interessado visualize e compreenda a lógica do caminho
percorrido pelo avaliador; do ponto de vista interno, proporciona ao avaliador uma
maneira de gerir o processo com maior facilidade. Respeitar passos metodológicos
não significa estar aprisionado a amarras científicas, e sim estar orientado segundo
uma lógica que amplia a qualidade da avaliação.
Passo 1: A construção da pergunta avaliativa

A reflexão sobre o sentido e o consequente acordo político construído nas
etapas iniciais de uma avaliação provoca a necessidade de definir o que avaliar, ou
seja, a definir o foco da avaliação. O foco pode ser explicitado de formas opostas:
como uma afirmação (semelhante a um objetivo) ou como uma pergunta. Nossa
experiência tem mostrado que trabalhar com perguntas, as quais chamamos per-
guntas avaliativas, é mais profícuo para o processo de avaliação. A pergunta provoca
a equipe do programa, os avaliadores, gera boas expectativas e leva ao início dos
trabalhos. A pergunta avaliativa torna-se a peça-chave, orientará todos os desdobra-
mentos da avaliação e será a guia do processo. Costumamos dizer que a pergunta
avaliativa é a alma da avaliação. Construir uma pergunta avaliativa é um processo
desafiador e apaixonante.
Exige do avaliador habilidades para mediar conflitos e negociar interesses e

oferece ao projeto ou à organização uma excelente oportunidade de afinar ideias
e olhares sobre a sua prática. Por isso a elaboração da pergunta deve envolver os
principais interessados na avaliação, sendo feita através de um processo participati-
vo. É preciso lembrar sempre que não existe boa avaliação sem uma boa pergunta.
Contudo, uma boa pergunta não garante uma boa avaliação. [...]
Passo 2: A construção de indicadores

Depois de estabelecida a pergunta avaliativa é necessário que indicadores
sejam construídos, descritos e que, algumas vezes, critérios de julgamento sejam
84
estabelecidos. Como costumamos dizer, se a pergunta avaliativa é a alma da avalia-
ção, os indicadores são sua encarnação, ou seja, são as dimensões concretas que irão
orientar o desenho metodológico.
As organizações e projetos sociais tendem a mitificar indicadores. Diversos são os dis-

cursos que exaltam a dificuldade de se estabelecer indicadores para uma determinada in-
tervenção social. Os indicadores parecem estar no Olimpo, distante da prática dos mortais.
Acreditamos, porém, que esse endeusamento e consequente distanciamento

dos indicadores ocorre por simples desconhecimento do que são indicadores e da
falta de uma experiência prática em formulá-los. Talvez o grande desafio que o in-
dicador nos ofereça seja entender a sua simplicidade. Como o próprio nome diz,
indicadores são indicações a respeito de determinado sujeito ou objeto. Indicadores
são comportamentos ou estados observáveis deste sujeito ou objeto. Uma pergun-
ta avaliativa só pode ser respondida com precisão se for feito um recorte sobre o que
deve ser analisado. Esse recorte é definido pelos indicadores. Tão importante quanto
definir o indicador é a formular sua descrição, que explicita seu significado. Os indi-
cadores devem ser plenos de sentido especialmente para aqueles que atuam frente
a uma dinâmica social específica. Os atores sociais legítimos para definir indicadores
sobre determinada realidade são aqueles que convivem com essa realidade, o que
convida o consultor em avaliação a atuar como um facilitador de processos e não
como especialista que traz todas as respostas. O indicador é uma peça prática que
reflete a experiência, os estudos e as vivências que o grupo carrega.
A equipe do projeto é a autora dos indicadores e o avaliador um apoiador desse

processo de elaboração. Cabe a ele conduzir uma dinâmica na qual o grupo se sinta
confortável, seguro e criativo para trabalhar. Cabe ainda ao avaliador oferecer ques-
tionamentos relacionados a descrição, viabilidade e importância de cada indicador
proposto, e que ajuda o grupo a fazer as escolhas que garantam precisão e sentido
ao processo de avaliação.
O momento de elaboração de indicadores, precioso para o grupo, é uma opor-

tunidade para alinhar conceitos que estão presentes no discurso, mas nem sempre
têm o mesmo significado para todos da equipe. Vejamos, por exemplo, que muitos
projetos trabalham com o desenvolvimento da autoestima em jovens. Por isso é
muito comum que esse seja um indicador presente em suas avaliações. No entanto,
quando perguntamos à equipe o que significa autoestima, diversos conceitos costu-
mam vir à mesa. Observa-se que o grupo trabalhou durante muito tempo com uma
mesma ideia na cabeça, mas com diferentes compreensões do seu significado. Acre-
ditamos que alinhar esses conceitos contribui para o desenvolvimento do projeto e
assegura o curso da avaliação. [...]
85
Passo 3: Definição das fontes de informação
A partir dos indicadores, é preciso definir as fontes de informação adequadas para
que cada indicador possa ser explorado, conhecido, investigado. A fonte de informação
é o ator social, evento ou objeto através dos quais é possível verificar o indicador, seja ob-
servando um comportamento ou medindo determinada característica. Cada indicador
terá, pelo menos, uma fonte de informação: os participantes do projeto, os familiares, os
gestores do programa, os financiadores, os educadores, documentos de registro etc. [...]
Passo 4: Coleta de informação

Após definidas as formas de coleta e elaborados os instrumentos, chega-se ao
momento de “ir a campo” e coletar as informações. Costumamos utilizar uma defi-
nição que, se não possuísse algo de trágico, seria bastante divertida para resumir
as dificuldades que estão associadas a esta etapa. O que dizemos é que uma fase
de coleta de informações precedida de um intenso e detalhado processo de pla-
nejamento provavelmente lhe trará menos problemas do que uma fase de coleta
não precedida de muitos cuidados e todos os procedimentos possíveis. Problemas
sempre existirão. E como é melhor recolher dados a problemas, é muito importante
planejar para não sofrer decepções.
Alguns elementos fundamentais para a coleta de dados são os seguintes: (a)

o cronograma precisa ser negociado com todos aqueles que serão envolvidos na
coleta, e é preciso conhecer o contexto no qual estão essas pessoas, para que a pro-
gramação de coleta não as prejudique nem sofra prejuízos em razão de competir
com outros eventos, reuniões, feriados, horários de trabalho etc. (b) bons instrumen-
tos de coleta de dados são fundamentais para assegurar a qualidade da informação,
mas eles pouco servirão a esse propósito se os coletores de informação (pessoal do
campo) não estiverem treinados e comprometidos com a qualidade do processo;

(c) não economize roteiros ou manuais de procedimentos para orientar as pessoas
que farão a coleta de dados, que farão as observações ou visitas, que mediarão os
grupos focais etc. (d) esteja preparado para organizar as informações à medida que
elas forem sendo recolhidas. Além de ser necessário identificar todo o material e
tomar todos os cuidados possíveis para que informação coletada não seja perdida, a
organização das informações coletadas é o primeiro passo para assegurar a análise,
aspecto tratado no próximo passo. [...]
86
Passo 5: Análise de informações
A análise de informações deve respeitar a natureza da informação. Caminhos
qualitativos e quantitativos serão úteis e devem atuar de forma complementar para
que a melhor leitura possível da realidade seja obtida. Para dados quantitativos,
as análises estatísticas são as mais comuns e necessárias. Já os dados qualitativos
exigem abordagens distintas, como a análise temática de discursos, que é a técnica
mais utilizada em nossa prática.
Ao contrário do que se possa imaginar, a análise das informações não é uma prer-
rogativa apenas dos avaliadores. Temos vivido experiências em que torna-se muito
importante que esta etapa seja conduzida com base em orientações dos principais
interessados na avaliação. Informações preliminares, uma vez analisadas, podem ser
discutidas com os interessados em busca de aprofundar achados, levantar novas hi-
póteses, testar critérios de julgamento etc. Dessa maneira, os resultados finais serão
construídos atendendo à demanda que surge de cada descoberta do próprio grupo.
Passo 6: Comunicação
A comunicação é a etapa que encerra os sete passos metodológicos da ava-
liação e que, muitas vezes, encerrará o processo como um todo. O formato mono-
gráfico é um padrão de relatório ainda desejado pelos financiadores brasileiros e
importante para os processos. O formato monográfico permite também um registro
detalhado de todas as etapas da avaliação, e servirá como fonte de informação para
diferentes momentos de um projeto.
Contudo, o que temos procurado valorizar são as outras estratégias de comu-

nicação que permitem que informações e análises sejam feitas ao longo do proces-
so avaliativo, e não apenas ao seu final. Muitas vezes, determinadas etapas meto-
dológicas, às quais denominados de fases exploratórias, antecedem os momentos
mais intensos de coleta de dados, ou fase de investigação. Utilizar relatórios parciais
ajuda a estabelecer uma relação de confiança com os interessados, ajuda a equipe a

conhecer a melhor forma de apresentar os resultados, ao mesmo tempo que pode
gerar informações que gradualmente ajudem os interessados em seus processos de
aprendizagem e de tomada de decisão. [...]
87
Atividades
1. Para melhor compreender a lógica avaliatória, o capítulo fornece três maus

exemplos de percursos de avaliação. Reflita sobre esses três exemplos à luz da
distinção analítica entre os três níveis do desenho de avaliação apresentados
um pouco antes e marque a opção correta na tabela abaixo indicando em qual
dos níveis cada exemplo melhor se encaixa. Justifique as suas escolhas.
Nível epistemo- Nível metodo- Nível Justificativa

lógico- lógico- operativo
-metodológico -operativo
Exemplo 1
Exemplo 2
Exemplo 3
2. Os autores do texto complementar propõem um caminho para a construção de

uma avaliação, sintetizado em sete passos. Esse caminho nos levaria a construir
uma avaliação com determinadas características, certo? Solte sua imaginação,
aguce o seu senso crítico e imagine o provável resultado de uma proposta de
avaliação fruto de tais passos. Agora procure enquadrar essa proposta que você
imaginou em uma ou mais das tipologias de usos pensadas por Weiss (instru-
mental, persuasão, esclarecimento e conceitual). Registre a sua resposta justi-
ficando-a.
88
3. Que tal conhecer agora uma proposta efetiva de avaliação? A partir da pro-
posta elaborada por um grupo de alunos da Escola Nacional de Administra-
ção Pública (ENAP) para uma avaliação de impacto do Programa Bolsa Família,
implementado pelo Governo Federal (Disponível em: http://www.enap.gov.br/
downloads/ec43ea4fAvaliacaoImpacto.pdf ), observe como a proposta foi cons-
truída, reflita sobre o conteúdo deste capítulo e procure responder às questões
apresentadas abaixo.
a) A proposta apresenta posicionamentos claros sobre os três níveis de análise

apresentados no texto deste capítulo? Justifique com exemplos.
b) A desenho da avaliação pressupõe, no mínimo, cinco passagens identifica-

das no texto: (a) identificação e compreensão dos objetivos iniciais da avalia-
ção; (b) formulação do problema de avaliação; (c) organização da pesquisa,
(d) construção do desenho da pesquisa de avaliação e metodologia; e
(e) definição dos usos da avaliação e da difusão dos seus resultados. Para
cada uma delas, ressalta alguns dos aspectos essenciais que podem ajudar
a problematizar o inteiro desenho da avaliação, assim como a construir uma
proposta de avaliação suficientemente completa e flexível para diminuir os
riscos inerentes aos processo de avaliação. Sobre quais dessas passagens a
proposta dos alunos da ENAP mais se detém? Justifique a sua resposta.
89
Abordagens e metodologias de
avaliação de programas e projetos sociais
Introdução
Vídeo O campo de práticas e de conhecimentos da avaliação é rechea-
do de propostas metodológicas para diferentes objetos de avaliação,
sejam eles políticas, planos, programas, projetos ou ações sociais. Dife-
rentes metodologias são produzidas ou adaptadas anualmente, a partir
de grandes ramos metodológicos. Dada a riqueza de possibilidades,
somada a grande criatividade na área, consideramos que, no momento
de sua formação, é mais importante para o aluno compreender diferentes abordagens
e metodologias do que se deter profundamente em somente uma ou duas, até mesmo
porque a experiência e profundidade do conhecimento dependem muito da prática
de avaliação.
A escolha de uma metodologia é uma tarefa tão árdua quanto a construção ou

adaptação de uma nova, pois quando escolhemos somente uma entre o leque das
opções de avaliação, seguramente encontraremos grandes dificuldades no decorrer
da sua aplicação, provavelmente pela falta de aderência ao contexto na qual o objeto
de avaliação se desenvolve.
Entretanto, um avaliador acaba sempre construindo sua metodologia de avalia-

ção no arcabouço metodológico de uma das grandes escolas. Por exemplo, há dife-
rentes metodologias que podem ser enquadradas dentro das chamadas “avaliações
experimentais”, assim como há outras que se reúnem tranquilamente sob o guarda-
-chuva conceitual das “avaliações participativas”. A escolha do avaliador está bastante
relacionada ao seu grau de conhecimento sobre a metodologia e aos recursos disponí-
veis. Muitos acabam se prendendo a um só filão metodológico.
O mercado das avaliações também acaba tendo um grande peso na imposição

de etiquetas metodológicas aos avaliadores profissionais. Não raro, o gestor de um
91
programa ou projeto social a ser avaliado decide previamente qual abordagem ele
deseja (quando não vai mais além e já define a própria metodologia de avaliação) e
convida um avaliador que já possui experiência naquele tipo de avaliação. Ou seja, se
a demanda é um tipo “X” de avaliação, chama-se o avaliador “Y” que sabe fazê-lo. Em
consequência, avaliadores que lidam com diferentes metodologias podem se sentir
pouco valorizados pelo mercado, infelizmente. Esse jogo possui um efeito bola de
neve, deixando muitos avaliadores prisioneiros de algumas pouquíssimas metodolo-
gias, quando não de uma única.
Para esses gestores, a pergunta central a ser feita a um candidato a avaliador reside
em saber se o mesmo tem capacidade de usar as metodologias e técnicas requeridas
para aquele tipo de avaliação desejada; quando provavelmente seria muito mais inte-
ressante para todos que ele discutisse com o avaliador que metodologias e técnicas
seriam mais indicadas para o tipo de problema que ele(s), gestor(es), pensa(m) ter.
É importante que o gestor se dê conta de que o que ele pensa é somente uma ver-
dade parcial sobre o programa e, para isso, o avaliador poderá mostrar que o processo
de avaliação começa justamente com a compreensão das diferentes verdades parciais
que rondam e caracterizam o futuro objeto de avaliação.
Compreendendo as diferenças
de abordagens em avaliação
Há muitos modos de avaliar e monitorar intervenções sociais, sejam políticas,
planos, programas, projetos ou ações sociais. Esses tantos e tantos modos podem ser
compreendidos como metodologias de avaliação, que por sua vez, são percursos pré-
-desenhados que indicam como resolver o problema avaliatório. Essa grande variedade de
metodologias pode ser, por sua vez, classificada segundo diferentes abordagens. Alguns
autores preferem classificar as metodologias em somente dois grandes grupos, que fre-
quentemente são chamados de escolas, apoiando-se sobretudo nas diferenças filosóficas
das diferentes metodologias: de um lado estariam as abordagens chamadas de realistas
ou positivistas; de outro, as abordagens de cunho mais naturalista ou construtivista.
Por abordagem positivista em avaliação, se compreende aquelas metodologias

calcadas em uma lógica racional coerente, na qual a verdade é vista como única e inde-
pendente do sujeito que a observa. De modo oposto, a abordagem chamada de cons-
trutivista reúne metodologias que assumem que a realidade é algo construído, pro-
duzido, por quem a observa. Nesta última perspectiva, a principal função da avaliação
é compreender o seu objeto em suas múltiplias dimensões e não somente explicá-lo,
assumindo-o como um fato concreto, como pressupõe a abordagem positivista.
92
Vejamos outras diferenças entre as abordagens positivistas e construtivistas no
quadro abaixo. Lembre-se que tal classificação é analítica e que podemos encontrar
metodologias que buscam diferentes equilíbrios entre tais abordagens.
Quadro 1 – Quadro-síntese sobre as principais diferenças entre as
abordagens positivistas e construtivistas na avaliação de programas e
projetos sociais
(BOULLOSA, 2007)
Abordagem
Questões Abordagem positivista construtivista
Qual o papel principal da avalia- Explicar o objeto de avaliação. Compreender o objeto de ava-
ção? liação.
Qual o lógica da avaliação? Descobrir as leis (verdades) que Compreender o objeto de ava-
governam o objeto de avaliação liação, as suas partes e valores,
(realidade). sempre de modo aproximado.
Como é visto o objeto de avalia- De modo objetivo; ele existe con- De modo subjetivo; o seu signi-
ção? cretamente independentemente ficado está vinculado ao obser-
do observador. vador.
Qual a melhor posição para o Externo Interno
avaliador?
Qual o peso dos valores no dese- Nenhum peso. Acredita-se que a Grande peso. Os valores devem
nho da avaliação? avaliação não deve envolver va- ser problematizados, tanto os do
lores. Busca-se isenção total. objeto de avaliação e dos seus
eventuais beneficiários, quanto
do avaliador.
Abordagens e metodologias de avaliação de programas e projetos sociais

Qual a principal missão da meto- Descobrir, mensurar e contro- Construir um sistema plausível e
dologia? lar as variáveis para chegar ao claro que permita aos avaliados
centro da verdade única. Desse e ao público em geral dialogar
modo, revelar ao público em ge- com o juízo de valor e argumen-
ral a verdade científica e neutra tações expressas pela avaliação
resultante da avaliação.
Outros autores preferem classificações mais simples, diferenciando, por exemplo,

as metodologias quanto a uma abordagem de tipo qualitativo ou uma abordagem de
tipo quantitativo. A primeira abordagem priorizaria as dimensões relacionadas às qua-
lidades dos dados, informações e técnicas de análise; enquanto que a segunda prio-
rizaria as dimensões relacionadas aos aspectos quantitativos, cuja mensuração é mais
fácil e direta. Hoje, é quase unanimidade o reconhecimento que tal divisão pouco tem
a acrescentar na compreensão das metodologias em si e, de fato, fala-se muito mais
em quali-quanti (como categoria mista, mas bem mais real), quando não simplesmen-
te se ignora tal dicotomia.
Outra clássica visão dicotômica propõe a divisão das metodologias de avaliação

em metodologias com abordagem gerencialista e metodologias com abordagem não
gerencialista. Observe as diferenças no quadro a seguir:
93
Quadro 2 – Quadro-síntese sobre as principais diferenças entre as abor-
dagens gerencialistas e não gerencialistas na avaliação de programas e
projetos sociais
(BOULLOSA, 2007)
Concepção
Dimensão Concepção gerencialista não gerencialista
Público da avaliação Voltada predominantemente Voltada predominantemente
para os atores que possuem para os atores que sofrem os
poder decisional sobre o objeto efeitos do objeto de avaliação
de avaliação. (os beneficiários diretos ou
indiretos).
Pontos de maior atenção da Custos, relação custo-benefício, Processos políticos, relação
avaliação efetividade e mecanismos ope- entre atores, diferentes compre-
racionais do objeto de avaliação. ensões do objeto por diferentes
atores.
Área da avaliação Mercado e Terceiro Setor. Estado e, em particular, as áreas
de conhecimento acadêmico.
Principal objetivo Buscar eficiência e efetividade. Socializar o conhecimento,
promover o diálogo.
Há ainda outras formas de classificação, como a dos autores Worthen, Sanders e

Fitzpatrick (2004). Eles propuseram uma interessante classificação, separando as meto-
dologias em seis diferentes tipos de abordagem, segundo esquema abaixo:
Avaliações centradas em objetivos
Subconjunto de metodologias de avaliação que buscam determinar em que

grau os objetivos foram alcançados, buscando discrepâncias entre os objeti-
vos teóricos e o desempenho real do programa ou projeto avaliado. Para isso
é fundamental que os objetivos sejam mensuráveis.
Avaliações centradas na administração
Subconjunto de metodologias de avaliação que buscam dar informações

úteis e ajudar na tomada de decisão racional (baseado na relação causal

entre meios e fins) de atores em todos os estágios de criação dos programas
e projetos avaliados.
Avaliações centradas nos consumidores
Subconjunto de metodologias de avaliação que buscam fornecer informações

sobre produtos e ajudar na tomada de decisão sobre compras ou serviços, vol-
tadas ao consumidor. Fornece relatórios ao consumidor, além de informações
para o desenvolvimento de produtos e sistemas de distribuição.
94
Avaliações centradas nos especialistas
Subconjunto de metodologias de avaliação que buscam oferecer julgamen-

tos profissionais balizados e argumentados. Tais juízos são em parte frutos do
conhecimento e experiência do avaliador ou da equipe de avaliação, mas pro-
curam padrões universais. Normalmente são avaliações externas, ainda que
possam contar com visitas regulares à equipe local do projeto ou programa
em avaliação.
Avaliações centradas em adversários
Subconjunto de metodologias de avaliação que buscam oferecer um exame

equilibrado de todos os lados de questões controvertidas, sublinhando tanto
os seus pontos fortes como fracos. Frequentemente há usos de audiências pú-
blicas para individuar e confrontar os pontos controvertidos. São usadas para
esclarecer pontos problemáticos ou obscuros de programas e projetos sociais.
Avaliações centradas nos participantes
Subconjunto de metodologias de avaliação que buscam compreender e retra-

tar as complexidades de uma atividade programática, respondendo às neces-
sidades de informação de determinado público. Uso frequente para a determi-
nação de inovações ou processos de mudanças aparentemente obscuros ou
pouco conhecidos em programas que já estão em fase de implementação.

Metodologias-chave para a avaliação
de programas e projetos sociais
Há muitas e diferentes metodologias para a avaliação de programas e projetos
sociais e é impossível conhecer todas elas, ou mesmo catalogá-las. Quase todos os dias
nascem novas metodologias ou novas variações sobre antigas metodologias. Muitas
delas são cruzamentos entre diferentes propostas que buscam ampliar as fronteiras
que as limitavam. Ou seja, não raro, de uma crítica a um modelo, nasce uma nova revi-
são, adaptação ou inovação metodológica completa. Todavia, não obstante a grande
criatividade que caracteriza esta área de atuação profissional, ainda podemos falar em
metodologias clássicas que perpassam ou influenciam grande parte das metodolo-
gias que continuam em uso, assim como perpassam grande parte das que continuam
sendo criadas. Estude com atenção essas metodologias que podem ser chamadas de
filões metodológicos dado o grande raio de influência que possuem.
95
Avaliações experimentais
As avaliações experimentais de programas e projetos sociais buscam responder
se um programa atingiu os seus objetivos dentro da realidade populacional pretendi-
da (ou em que medida contribuiu para mudá-la). Partem da comparação dos estágios
anteriores e posteriores à ação do programa na realidade populacional beneficiária
e relacionam os dados obtidos com uma realidade populacional com as mesmas ca-
racterísticas mas que não sofreu as ações do programa. Em outras palavras, buscam
determinar se os objetivos foram alcançados, ou seja, se a situação problemática foi
resolvida, e se tal melhoria é realmente um efeito do programa.
Para as avaliações experimentais, os programas são vistos como variáveis inde-

pendentes e artificialmente introduzidas em uma realidade considerada problemáti-
ca. Ela tem “vida própria” e sua lógica não depende da lógica da realidade que tenta
transformar. Esse tipo de avaliação pretende realizar uma mensuração controlada do
impacto de um programa sobre uma população, a partir do confronto com uma outra
população que não foi objeto do programa a ser avaliado. A população que não foi
objeto do programa é chamada de grupo de controle e a população que foi objeto
do programa é chamada de grupo experimental. Observe o esquema extremamente
simplificado abaixo:
O autor.
População A (grupo de beneficiários) População B (grupo de controle)
(objeto de investimentos do programa X (não foi objeto de investimentos do programa
que está sendo avaliado) X que está sendo avaliado)
Situação Situação Situação Situação

posterior ao - anterior ao = Diferença posterior ao - anterior ao = Diferença
programa programa A programa programa B
O impacto efetivo do programa é mensurado a partir da comparação entre as diferenças A e B
Figura 1 – Esquema simplificado da avaliação experimental para programas sociais.
O grande desafio desse filão metodológico, fortemente inspirado em análises

médico-laboratoriais, consiste na formação de grupos de controle que possuam as
mesmas características do grupo experimental. Caso contrário, não será possível iden-
tificar as causas dos efeitos produzidos. Os dois principais mecanismos para a elabora-
ção de um grupos de controle são: equalização, que consiste em balancear os grupos
para que fiquem o máximo parecidos com o grupo experimental e a randomização,
que consiste em escolher os grupos ou os seus componentes a partir de critérios claros,
mas de escolhas aleatórias, realizadas, por exemplo, por computador.
96
Para a verificação dos efeitos de uma vacina sobre duas populações infantis, por
exemplo, a avaliação experimental pode funcionar muito bem, pois é possível formar
grupos de controle muito parecidos com o grupo experimental. Se o grupo experimen-
tal, ou seja, o que recebeu as vacinas, tiver sido formado por 26 meninos e 27 meninas
entre 3, 5 e 4, 5 anos, que não tenham tido as doenças x, y e z e que tenham nascido de
parto cesáreo ao oitavo mês, é possível formar um grupo de controle com as mesmas
características. Mas quando a avaliação recai sobre um programa ou projeto social,
por exemplo, a mensuração do impacto do programa Favela Bairro na favela da Maré,
Rio de Janeiro, o problema da formação do grupo de controle passa a ser muito mais
complexo e difícil (ou mesmo impossível). Não obstante as dificuldades, alguns avalia-
dores continuam efetuando avaliações experimentais de programas e projetos sociais,
enquanto que outros preferem adotar uma variação desse filão chamado de avaliação
quase-experimental.
Avaliações quase-experimentais
As avaliações quase-experimentais nascem da compreensão das limitações da
avaliações experimentais que reconhecem a impossibilidade de se controlar totalmen-
te o contexto e as variáveis independentes que causaram as mudanças na população
alvo do programa ou projeto avaliado. Desse modo, conseguem aumentar a cobertura
desse filão metodológico para diferentes objetos de avaliação, já que as avaliações ex-
perimentais estavam extremamente vinculadas às possibilidade de formação do grupo

de controle idêntico ao grupo experimental. Para Ignácio Cano (2002, p. 69):
[...] os quase-experimentos são pesquisas concebidas segundo a lógica experimental da casualidade,
mas que descumprem algumas das condições básicas para serem consideradas experimentos: o
controle sobre a situação experimental ou, mais comumente, a aleatorização na atribuição das
unidades aos grupos experimentais e de controle.
A avaliação quase-experimental assume abertamente a não equivalência entre os

grupos experimental e de controle, ainda que busque grupos de controle tão pareci-
dos quanto possível com os experimentais. Por isso, o ideal é que o avaliador seja cha-
mado antes que o programa comece a ser implementado, de forma que haja tempo
para identificar um grupo de controle semelhante ao experimental.
Avaliações por objetivos

Esse filão metodológico propõe que os objetos de avaliação devam ser avalia-
dos a partir dos seus objetivos e metas. Parte da literatura acredita que os objetivos e
metas a serem considerados são aqueles especificados pelo programa durante a sua
formulação, enquanto outra parte, maior, acredita que os objetivos e metas para a ava-
97
liação devam ser revistas criticamente e não assumidas como um dado inquestionável.
Em outras palavras, alguns teóricos colocam em dúvida a qualidade dos objetivos dos
objetos de avaliação, enquanto que outros os tomam como verdade absolutas. Se na
teoria vemos uma maior propensão à revisão crítica dos objetivos e metas; na prática,
observamos um grande número de avaliações que são feitas a partir dos objetivos
definidos pelo programa, mesmo que mal formulados.
A principal referência teórica desse filão metodológico é Ralph Tyler (1950) que,
estudando os programas educacionais, interpretava a avaliação como a mensuração
dos resultados dos programas a partir de objetivos e metas predefinidos. Quando os
objetivos tomados para a avaliação dos resultados do programa são os mesmos do
programa, a avaliação se torna muito mais simples, mas também com utilidade bastan-
te reduzida. Quando os objetivos são revistos criticamente, a avaliação ganha amplitu-
de e pode realmente ajudar a mostrar se o programa ou projeto está na direção certa
no sentido de corrigir aquela situação problemática que o originou. Nessa perspectiva,
Sanders e Cunningham (1973;1974 apud WORTHEN et al., 2004) reuniram diferentes
possibilidade de avaliação dos objetivos e metas, distinguindo-as entre método lógico
e método empírico. Observe o quadro abaixo:
Quadro 3 – Quadro-síntese do diferentes modos de se avaliar objetivos e
metas em programas sociais
(SANDERS; CUNNINGHAM, 1973;1974 apud

SANDERS et al., 2004. Adaptado.)
Método lógico Método empírico
1. Exame do poder explicativo de cada objetivo 1. Verificar se os atores envolvidos compartilham
para que se avalie a necessidade de atingi-lo. a importância dos objetivos e metas do pro-
2. Exame das consequência em se alcançar os grama.
objetivos a partir de critérios como custo, sus- 2. Discutir a importância dos objetivos e metas
tentabilidade política etc. Em outras palavras, com especialistas da área em audiências ou
se vale a pena alcançar cada um dos objetivos mesas-redondas.
definidos pelo programa. 3. Verificar a pertinência dos objetivos e metas a
3. Exame da coerência dos objetivos com os partir de pesquisas com dados primários e se-
pressupostos no qual nascem o programa ou cundários.
projeto (em relação ao plano, à política, à insti-
4. Realizar um estudo-piloto para ver se é possí-

tuição promotora etc.). vel atingir as metas e de que maneira é possível
fazê-lo, a fim de construir metas gerais que per-
mitam uma melhor avaliação do programa.
Avaliação livre de metas

Em contraposição ao filão metodológico da avaliação por objetivos, vale a pena
conhecer uma outra avaliação que se destaca pelo radicalismo da posição assumida.
Trata-se da metodologia chamada avaliação livre de metas (goal free evaluation), que
propõe esquecer as metas originais do programa e identificar os seus efeitos a partir
das necessidades sociais, evitando ou contornando os riscos de contaminação da ava-
liação pelas diretrizes e objetivos do programa.
98
Nos anos 1980 esse tipo de avaliação propôs a passagem de uma orientação me-
todológica voltada a um fim para uma orientação metodológica voltada à teoria do
próprio objeto de avaliação. Em outras palavras, o avaliador deveria propositalmente
não tomar conhecimento dos objetivos e metas do programa a fim de compreender as
direções e resultados a partir da imersão na teoria e nas práticas do programa. Nessa
perspectiva, o primeiro passo seria explicar as componentes do programa e as suas
inter-relações, assim como as características do seu contexto de atuação e suas prová-
veis influências para as modificações que eventualmente tenham acontecido em tal
contexto. Como recorda Cano (2002), uma intervenção pode atingir as metas propos-
tas e ao mesmo tempo não contribuir para as necessidades da população-alvo.
Para a avaliação livre de metas, é muito mais provável que o avaliador consiga
realmente compreender os resultados positivos ou negativos para a situação que deu
origem ao problema sem ficar sob a influência dos objetivos do programa ou projeto.
Isso porque a definição dos objetivos pelo programa é já vista como uma hipótese
que pode estar errada. Por exemplo, um programa de erradicação do trabalho infantil
tem como um dos objetivos específicos implementar uma bolsa para compensar o
pagamento arrecadado pelas famílias pelo perda da mão de obra infantil e como meta
retirar meio milhão de crianças do trabalho infantil forçado. Acredita-se que somente
dessa forma, as famílias liberarão as suas crianças para frequentem a escola. Esse obje-
tivo específico nasce de uma hipótese: o que impede as famílias de alta vulnerabilida-
de socioeconômica de enviarem os seus filhos à escola é a necessidade da renda que
eles produzem. A avaliação livre de metas prefere não conhecer os objetivos e metas a

fim de não ser influenciada pela hipótese do programa e leva o avaliador a mergulhar
na situação problemática e no programa a fim conhecer sua teoria e avaliar os seus
resultados e impactos.
Avaliação para a decisão

As avaliações voltadas para a decisão são normalmente centradas nos processos
de gestão dos objetos de avaliação, sobretudo quando se tratam de projetos sociais
que são implementados por ações de responsabilidade social de empresas privadas ou
por organizações do Terceiro Setor que recebem financiamento externo. Não obstante
essa preferência, cada vez mais o Estado tem utilizado metodologias de avaliação vol-
tadas para a decisão, que visa melhorar os processos de gestão dos recursos mobiliza-
dos pelo programa ou projeto social.
Esse filão metodológico assume abertamente o viés gerencialista e baseia as suas

escolhas em critérios de eficiência e eficácia. De modo bastante simples, um programa
é eficaz quando atinge os seus objetivos e é eficiente quando atinge os seus objetivos
com o menor custo possível. O público dessas avaliações são os atores que possuem
99
poder de decisão sobre o objeto avaliado. A lógica que as permeia é a de que decisores
que possuem um alto nível de informação sobre os seus objetos de ação podem fazer
melhores escolhas, podem tomar melhores decisões, menos intuitivas e mais racionais.
Um dos melhores exemplos desse filão metodológico são as chamadas avalia-

ções CIPP, também conhecidas como “modelo 4 fases”, que buscam avaliar o Contexto
(Context), os Insumos (Inputs), o Processo (Process) e o Produto (Product) do objeto de
avaliação. A metodologia CIPP foi desenvolvidas por Daniel Stuffebeam em meados
dos anos 1960, que interpreta avaliação como:
[...] um processo de identificação, recolha e apresentação de informação útil e descritiva acerca do
valor e do mérito das metas, da planificação, da realização e do impacto de um determinado objeto,
com o fim de servir de guia para a tomada de decisões, para a solução dos problemas de prestação
de contas e para promover a compreensão dos fenômenos envolvidos. (STUFFLEBEAM; SHINKFIELD,
1993, p. 183)
A avaliação CIPP, segundo Stufflebeam e Shinkfield (1993), engloba quatro meto-

dologias diferentes e complementares, para cada uma das quatro tipologias de decisão
que podem acontecer na gestão de programas e projetos: decisões de planejamento,
de estruturação, de implementação e de reciclagem. Observe as quatro aplicações
CIPP derivadas dessa lógica:
Avaliações de contexto – devem ser orientadas para as decisões relativas à

fase de formulação sobretudo no que concerne a definição do público-alvo,
dos objetivos e das metas do programa ou projeto que está sendo criado.
Podem ainda ser utilizadas para predefinir os critérios para avaliações futuras
de processo e de produto. Utilizam-se de métodos quantitativos e qualitativos
para a prospecção dos dados.
Avaliações de insumo – são orientadas para as decisões relativas à fase de es-

truturação do programa, sobretudo no que concerne aos recursos econômicos,
administrativos e humanos necessários e/ou disponíveis para a sua implemen-
tação, em um momento imediatamente posterior à formulação do programa
ou projeto. Comumente resultam em estudos de viabilidade, elencando as van-

tagens e desafios de potenciais fontes de apoio e financiamento. Podem ainda
avaliar estratégias propostas por outros programas para tratar dos mesmos
problemas e/ou propor critérios para julgar a implementação do programa.
Avaliações de processo – são orientadas para as decisões relativas à fase de

implementação do programa ou projeto avaliado, sobretudo no que concerne
a identificação ou antecipação dos problemas de implementação. O objetivo
principal é aumentar o controle sobre processo. Podem sugerir novos proce-
dimentos que visam minimizar os problemas, impedir que eles ocorram ou
mesmo implementar programas de monitoramento.
100
Avaliações de produto – são orientadas para as decisões relativas à fase de
resultados ou impactos do programa ou projeto social avaliado. Pode buscar
responder a perguntas sobre a continuidade, replicabilidade ou mesmo ex-
tinção do programa. O seu objetivo é relacionar os resultados obtidos com os
objetivos predefinidos na formulação, a partir de métodos quantitativos (por
exemplo, determinação da relação custo-benefício do programa) ou qualita-
tivos (por exemplo, síntese dos julgamentos subjetivos dos atores envolvidos
no programa).
Avaliações participativas
Esse filão metodológico tem se desenvolvido intensamente, a partir do final dos
anos 1960, quando alguns avaliadores começaram a questionar de modo sistemati-
zado as avaliações de tipo top-down, ou seja, realizadas de cima para baixo, sem levar
em consideração os atores que participavam do objeto de avaliação, seja na posição
de implementadores, seja na posição de beneficiários. A base conceitual dessas ava-
liações está radicada sobre uma visão pluralista da sociedade democrática e das suas
verdades. Em tal perspectiva, enfatiza a experiência direta com os participantes a partir
da construção de retratos que vão definindo novas fronteiras para a avaliação.
A maioria dessas avaliações se apoiam em uma lógica indutiva, visto que as com-
preensões dos diferentes atores (participantes) sobre as problemáticas que emergem

durante o processo de avaliação são baseadas na experiência e na observação. Tais
compreensões são representações subjetivas e objetivas da realidade, que devem ser
discutidas e validadas por todos. O desenvolvimento do processo avaliatório, quando
bem conduzido, proporciona inevitavelmente um maior conhecimento e reconheci-
mento do objeto de avaliação por parte dos participantes do processo, podendo, por
isso, ativar uma função esclarecedora para a avaliação.
Em consonância com tal resultado, os participantes também passam a reconhecer

de modo mais claro a sua importância no processo, podendo gerar o que a literatura
vem chamando de capacidade de empoderamento das avaliações participativas. De
modo simples, podemos dizer que um ator se empodera quando se reconhece politi-
camente em um processo de construção coletivo.
É bastante complicado prever os tempos desse tipo de avaliação, por depender

do tempo de maturidade que a equipe de avaliação (ou seja, os participantes) leva
para obter uma síntese avaliatória de qualidade. Em outras palavras, essas avaliações
demandam tempo para que se possa construir juízos ou sínteses avaliatórias reconhe-
cíveis por todos os participantes do processo. Todos precisam se reconhecer, mesmo
que parcialmente, em tal síntese. Por isso mesmo, uma das maiores preocupações dos
101
teóricos da avaliações participativas reside na forma e na natureza da validação dos
seus resultados pelos participantes, a fim de evitar desvios políticos que buscam so-
mente a legitimação popular de decisões que já foram previamente tomadas.
Conclusão
São muitas as metodologias para a avaliação de programas e projetos sociais e
aqui foram apresentadas somente algumas que acabaram se transformando em filões
metodológicos importantes que deram e continuam dando origem a outras metodo-
logias. Das avaliações participativas nasceram, por exemplo, as propostas metodoló-
gicas de avaliação responsiva (STAKE, 1978) e de avaliação iluminadora (PARLETT; HA-
MILTON, 1975). Mais importante do que conhecer um grande leque de metodologias
de avaliação, é saber reconhecer os seus fundamentos teóricos e suas referências às
metodologias de base.
As diferentes abordagens levam o avaliador a diferentes caminhos e a diferentes

sínteses avaliatórias. Tais diferenças demarcam muitas vezes visões de mundo opostas,
compreensões opostas do papel do indivíduo na construção da realidade coletiva. Me-
todologias de abordagem positivista defendem que a verdade é única, enquanto que
as de abordagem mais construtivista acolhem a pluralidade das interpretações subje-
tivas sobre uma mesma realidade, como é o caso das avaliações participativas.
Uma avaliação participativa do Projeto Terra de desenvolvimento urbano em Vitó-

ria do Espírito Santo seguramente construirá um juízo avaliatório diferente do que po-
deria ser, por exemplo, uma avaliação realizada por especialistas, um outro importante
filão metodológico (basta imaginar as avaliações institucionais do MEC para os cursos de
graduação ou da CAPES para os cursos de pós-graduação). O importante é lembrar que
cada metodologia oferece uma verdade parcial sobre o objeto que está sendo avaliado
e, talvez, tal compreensão seja um dos grandes motores para essa busca metodológica
que caracteriza o mundo das práticas de avaliação dos programas e projetos sociais.
Texto complementar
Avaliação participativa em programas de saúde:

um modelo para o Programa de Saúde do Adolescente
(BURSZTYN; RIBEIRO, 2005)
102
Construção de um modelo participativo para avaliação
do Programa de Saúde do Adolescente
Esse modelo objetiva a avaliação do Prosad nas unidades de saúde da rede
básica. Trata-se de uma proposta que contempla a complexidade das práticas pro-
gramáticas e busca fortalecer a participação da equipe local, visando a estimular uma
atitude favorável à participação do adolescente e desenvolvimento da cidadania.
Criado em 1989 e implantado de forma mais sistemática a partir de 1992, o

Prosad enfrenta os seguintes desafios: (1) garantir a prioridade para os adolescentes
nas unidades de saúde; (2) adequar os serviços de saúde para favorecer a capta-
ção e adesão dos adolescentes, priorizando as atividades de grupo e a promoção
de saúde; (3) resguardar o enfoque de saúde integral, com ênfase na vigilância do
crescimento e desenvolvimento; (4) levar em consideração características e singula-
ridades relativas a gênero, condição socioeconômica, vínculos familiares, domicílio,
incapacidades, escolaridade e trabalho; (5) fortalecer a integração entre os profissio-
nais dos diferentes programas e setores da unidade; (6) estabelecer parcerias com
outros setores, oferecendo acesso a atividades profissionalizantes, esportivas, artís-
ticas e de lazer, e implantar projetos integrados; (7) ampliar o foco das ações de ma-
neira a contemplar de forma mais abrangente a família e a comunidade; (8) mudar
o enfoque adolescente = problema para adolescente = solução, pelo incentivo à

participação dos adolescentes nos serviços e nas atividades de promoção de saúde
na comunidade, e da parceria com grupos organizados de jovens na comunidade;
(9) prover treinamento e educação continuada para os profissionais; e (10) favorecer
a implementação de avaliação permanente.
O foco do modelo de avaliação está centrado nas equipes locais, reforçando a

perspectiva do planejamento ascendente e estimulando o processamento dos pro-
blemas no nível organizacional em que representem alto valor. Como princípios nor-
teadores para a elaboração do modelo de avaliação foram destacados a utilização
de técnicas participativas, rapidez e objetividade, visando a responder à situação de
recursos escassos, sejam eles materiais, de tempo ou de poder. O envolvimento da
equipe como um todo favorece a valorização e integração dos profissionais, agiliza
as discussões e permite o retorno ágil dos resultados uma vez que este se dá no
próprio processo de discussão. A avaliação tem de fornecer informações úteis para
a tomada de decisão. Portanto, deve ser realizada num prazo curto para que seus
resultados possam repercutir na realidade. Num processo demorado, a realidade
pode se modificar e tornar sem sentido os resultados da avaliação. A rapidez e agi-
lidade ensejadas dependem, em grande medida, da objetividade nos processos de
103
coleta e análise de dados. “O que queremos avaliar” e “como avaliar” precisam estar
bem definidos antes de se iniciar o trabalho de campo, para que o trabalho não se
disperse e se torne improdutivo. O excesso de dados desnecessários ou de difícil uti-
lização prolonga o processo e o desvia de seu eixo, comprometendo os resultados.
O esforço de objetividade deve contemplar a complexidade do programa de saúde,
evitando qualquer reducionismo, assim como, respeitar o ritmo e a capacidade dos
participantes.
O modelo proposto envolve quatro passos como veremos a seguir.
Passo 1: constituição da matriz de análise
Essa matriz deve comportar os elementos básicos da prática programática em

saúde, definida anteriormente como um conceito que articula as racionalidades clí-
nica e epidemiológica, e propicia a organização da assistência integral à saúde, reco-
nhecendo o processo saúde e doença enquanto fenômeno social, sem desprezar os
aspectos individuais e singulares do sofrimento. Com base em uma pesquisa realiza-
da por meio de observação e entrevistas semiestruturadas com informantes-chave
(gerente do programa, diversas categorias profissionais envolvidas no atendimento
ao adolescente no nível local, usuários do serviço), construiu-se uma matriz de aná-
lise constituída de cinco eixos (Bursztyn I. Projeto Horizontes/subprojeto. Avaliação
do Programa de Saúde do Adolescente na CAP 3.3. Relatório final apresentado à
Secretaria Municipal de Saúde do Rio de Janeiro; 1999). Cada eixo compreende um
conjunto de critérios identificados e agrupados de acordo com a proposta do pro-
grama, o entendimento dessas propostas entre os profissionais do nível local e os
aspectos definidos pela gerência central do programa como paradigmáticos.
Eixo A – implantação das ações do PROSAD: compreende critérios relacionados

às ações propriamente ditas, à captação e cobertura dos de maior risco; eixo B –
equipe interdisciplinar de saúde: compreende critérios relacionados à composição e

dinâmica da equipe, assim como acesso a treinamentos e reciclagem; eixo C – orga-
nização da assistência: compreende critérios relacionados a estratégias que visam a
facilitar a relação e conferir maior adesão e efetividade ao programa; eixo D – parce-
rias: compreende critérios relacionados a aspectos quantitativos (tendo em vista os
objetivos de cobertura do programa) e qualitativos (tendo em vista a necessidade
de captação de grupos em maior risco e a intersetorialidade no que concerne a en-
caminhamentos para assistência social, formação profissional, atividades esportivas,
104
culturais e outras); e eixo E – participação do adolescente: compreende critérios re-
lacionados à abertura do serviço de saúde para ouvir e atender às demandas e ne-
cessidades do adolescente no que diz respeito aos temas abordados, dinâmicas de
trabalho, apoio em trabalhos externos de iniciativa de grupos de adolescentes e o
envolvimento deles como multiplicadores nas atividades desenvolvidas na própria
unidade e na comunidade.
Na Tabela 1 observam-se algumas superposições, uma vez que alguns critérios

aparecem em mais de um eixo. Essas superposições estão relacionadas à lógica de
interdependência entre os eixos e foram mantidas sem prejuízo para o resultado e
a análise.
(BURSZTYN et al. apud BURSZTYN; RIBEIRO, 2005)

Eixos de análise Critérios
Implantação do Programa de Saúde As diversas ações estão implantadas?
do Adolescente Existe priorização do atendimento ao adolescente?
Há um fluxo dentro da unidade que facilite a capta-
ção?
As atividades voltadas para adolescentes são divulga-
das internamente?
Como funciona a captação na porta de entrada (bal-
cão)?
Como a atenção ao adolescente se articula com outras
ações, tais como: TIG (teste de gravidez), contracepção,
saúde escolar, DST, odontologia etc?

Quais são os grupos prioritários para o programa? Des-
tes, quais estão sendo adequadamente atendidos?
Equipe interdisciplinar de saúde Há diversidade de profissionais envolvidos?
Todos participam nas decisões?
Há intercâmbio entre as diferentes categorias profis-
sionais?
Com que frequência a equipe se reúne para discutir e
avaliar/programar o trabalho?
Quantos profissionais envolvidos tiveram algum trei-
namento específico?
Qual o critério de indicação para treinamentos?
Eles aplicam esses treinamentos no dia a dia?
Há a preocupação de “socializar” os treinamentos?
105
Organização da assistência (estra- O que é exigido para que o adolescente seja atendido
tégias) (documentos, presença de responsável etc.)?
O que é feito para facilitar a relação com o adolescen-
te?
Há oferta de atendimento de grupo e individual, con-
templando as necessidades?
Como a equipe tem lidado com questões tais como:
confidencialidade, flexibilidade de horário prescrição
de contraceptivos sem a presença de responsáveis,
maus tratos, drogadição, homossexualidade e outros?
Como se trabalha a família?
Parcerias Com que escolas e/ou outras organizações estabelece
parcerias?
As parcerias estão contribuindo para aumentar a co-
bertura dos grupos de maior risco?
As parcerias contribuem para facilitar o acesso do ado-
lescente ao serviço?
Há possibilidades de encaminhamento dos adolescen-
tes a outros serviços (esporte, profissionalização etc.)?
Participação do adolescente Os adolescentes opinam na organização das ativida-
des, escolha de temas etc.?
Os adolescentes são incentivados a avaliar o serviço?
Os adolescentes são incentivados a divulgar o progra-
ma?
Há apoio da unidade a grupos organizados de adoles-
centes da comunidade?
Tabela 1: Matriz de avaliação da atenção à saúde do adolescente.
Passo 2: realização de oficinas
As oficinas são realizadas em cada serviço e delas participam os profissionais

que se sentem mais diretamente envolvidos no atendimento aos adolescentes e
outros de programas/ações correlatos (odontologia, teste instantâneo de gravidez,
contracepção, dermatologia e outros), que nem sempre se sentem fazendo parte

da equipe do PROSAD. A seleção desses profissionais pode se basear num estudo
prévio sobre a distribuição dos adolescentes nos diferentes serviços da unidade. É
importante que sejam incluídas diversas categorias profissionais, chefias e setores
como porta de entrada, e representantes dos usuários. A exemplo do método ZOPP,
utiliza-se a técnica de visualização objetivando a agilização da discussão e facilita-
ção da negociação e consenso. O grupo discute os cinco eixos, utilizando a matriz
como roteiro. Dados preexistentes ou oriundos do sistema de informação regular
do serviço, referentes ao número de atendimento e/ou diagnósticos da população
podem e devem ser incorporados na discussão.
106
Passo 3: pontuação do desempenho pela equipe
Ao final da discussão, o grupo é convidado a conferir notas de 1 a 5 para o de-

sempenho da unidade em cada um dos eixos, sendo 5 a nota máxima e 1 a mínima.
O resultado da oficina é transcrito para uma planilha [...]. A primeira coluna corres-
ponde aos eixos, na segunda descreve-se, sinteticamente, os achados da discussão
do grupo sobre aquele eixo e na terceira coluna figura a nota que lhe foi atribuída.
A obrigatoriedade em conferir nota possibilita à equipe chegar a um entendimento
consensual acerca da qualidade do desempenho do serviço, seus principais proble-
mas e possíveis estratégias de superação.
Passo 4: visualização gráfica da avaliação
Com as notas de cada eixo produz-se um gráfico radial, em que a figura to-
talmente cheia significaria que o programa estaria funcionando em sua plenitude
naquela unidade, atendendo de maneira absoluta todos os critérios definidos para
a avaliação. A representação visual obtida facilita a apreensão mais homogênea e
rápida dos resultados da oficina e possibilita a identificação imediata dos pontos
fracos e fortes do programa na unidade, assim como permite estabelecer conjec-
turas quanto à maneira, ou em que medida, os pontos fortes podem ser utilizados
estrategicamente na superação das fraquezas.

Atividades
1. Reflita e aponte possíveis semelhanças entre as duas clássicas divisões entre

as abordagens positivista e construtivista e as abordagens gerencialistas e não
gerencialistas em avaliação de programas e projetos sociais.
2. Você já participou de alguma avaliação experimental? Observe que o sentido

dado ao termo “experimental” relaciona-se ao de “experimento laboratorial”,
pois busca identificar se os resultados obtidos em uma população (grupo ex-
107
perimental) são efetivamente devidos ao objeto avaliado (programa, projeto
social etc.). O que você acha desse filão metodológico? Registre sua opinião,
levando em consideração as limitações de tal filão apresentadas pelo texto,
assim como a resposta encontrada pelos adeptos do filão das metodologias
quase-experimentais.
3. Segundo as diferentes abordagens presentes no texto, procure classificar os se-

guintes filões metodológicos:
a) Avaliações participativas
b) Avaliações CIPP
4. Leia o “Guia do Facilitador para a Avaliação Participativa com os Jovens”, desenvol-

vido por Barry Checkoway e Katie Richards-Schuster para a Fundação K. W Kellogg
(versão 2009, disponível em: <http://www.wkkf.org/DesktopModules/WKF.00_
DmaSupport/ViewDoc.aspx?fld=PDFFile&CID=145&ListID=28&ItemID=5000502
&LanguageID=2>.), e observe na prática como são formados os avaliadores. Apro-
veite para observar o quanto a abordagem desse guia é construtivista.
108
109
Critérios de avaliação para projetos sociais
Introdução
Embora seja uma atividade recente, principalmente no âmbito das
Vídeo organizações da sociedade civil e Terceiro Setor1, a avaliação vem a cada
dia ganhando espaço como procedimento cotidiano nos projetos sociais.
Isso se dá graças às demandas da sociedade, cidadãos, financiadores e
parceiros dos projetos sociais que exigem cada vez mais transparência
e participação, fazendo com que a avaliação em si seja “um exercício de
controle social” (CARVALHO, 2000, p. 62).
Tradicionalmente, a avaliação vem sendo utilizada de modo racional-instrumen-

tal para aferir a eficiência, eficácia e efetividade dos projetos e programas sociais. Além
disso, os diferentes atores que executam e exigem as avaliações, enfatizam na atuali-
dade a necessidade de avaliar a sustentabilidade, equidade, cobertura, pertinência, co-
erência, entre outros fatores. Frente aos diferentes interesses, demandas e percepções
da realidade que executores, financiadores, parceiros e beneficiários dos projetos so-
ciais possuem, é preciso estabelecer com bastante prudência, critérios minimamente
desejáveis que definam um modo de apreciação, comparação e atribuição de valor e
mérito para avaliar os processos e resultados dos projetos e programas sociais.
A escolha e determinação de critérios de avaliação é uma atividade complexa que

exige compreender diferentes percepções de mundo e do contexto onde se realiza o
projeto. Ou seja, é preciso compreender como histórico-culturalmente vem se esta-
belecendo os critérios de avaliação dos projetos sociais, que normalmente são deter-
minados pelos financiadores, de modo generalista, sem muitas vezes atentar para as
realidades das distintas culturas locais e organizacionais das entidades que executam
1
Distingue-se aqui os conceitos de sociedade civil e Terceiro Setor, embora muitos autores contemporâneos os utilizem de modo sinônimo. Tal distinção é
devida à fragilidade do conceito de Terceiro Setor na América Latina para designar a sociedade civil, tendo como prerrogativa a existência de um Primeiro Setor
(Estado) e de um Segundo Setor (Mercado). A sociedade civil é aqui citada dentro das ideias do conceito clássico do italiano Antônio Gramsci compreendendo,
assim, as ações coletivas e aparatos ditos privados, contendo formas organizacionais como a família, os movimentos sociais, as associações, os grêmios, entre
outras. O Terceiro Setor é um conceito mais recente, com franca expansão nos anos 1990, sendo advindo da lógica do Third sector americano para designar o
conjunto de todas as organizações privadas, sem fins lucrativos, que atuam no campo social e possuem a presença do trabalho voluntário. Englobam, assim,
desde as formas menos institucionalizadas (movimentos sociais, ações voluntárias pontuais etc.) àquelas mais institucionalizadas e profissionalizadas do ponto
de vista gerencial (ONGs, associações civis, fundações etc.)
111
ações sociais. Assim, se lida com dilemas entre o racional instrumental e o substanti-
vo, entre a objetividade e a subjetividade, entre o quantitativo e o qualitativo, entre o
econômico e o social.
Neste capítulo, busca-se compreender o que são e como se estabelecem os crité-

rios de avaliação para projetos sociais2, mostrando a sua importância na definição dos
processos avaliativos. Para isso, são analisadas a abrangência e componentes da avalia-
ção no nível de projetos, as abordagens de análise e definição de critérios na avaliação
dos projetos sociais e, por fim, alguns dilemas e desafios para a definição destes.
Abrangência e componentes da avaliação

no nível de projetos
A avaliação é abrangente na medida em que se avaliam políticas, programas, pro-
jetos, organizações, serviços, produtos, inovações, estratégias, custos etc. Aqui desta-
camos a necessidade da avaliação dos projetos sociais que abarca não só a avaliação
dos resultados e processos, mas a avaliação institucional da organização que os exe-
cuta no sentido de aferir a capacidade de respostas às demandas dos beneficiários das
ações dos projetos (CARVALHO, 2000).
Os projetos sociais sejam os desenvolvidos por organizações governamentais,

empresariais ou não governamentais, atuam num nível micro de intervenção social,
dentro de limites de metas, tempos e orçamento existentes. Daí a maior concentra-
ção de esforços para se avaliar as mudanças sociais que estes devem promover, bem
como uma maior cobrança de resultados por parte, principalmente, dos financiadores.
Assim, avaliar projetos sociais passou a ser condição imprescindível para a mobilização
de recursos pelas organizações sociais, bem como importância estratégica para acom-
panhar as ações sociais e realimentar as decisões e opções políticas e programáticas.
Para além desses fatores, Carvalho (2000) alerta que avaliar projetos é um dever ético
que as organizações da sociedade civil deveriam ter para com a sociedade em geral. É
necessário, portanto, estabelecer relações de transparência com os diferentes interes-
sados, no que tange aos resultados, propósitos e processos das organizações da socie-
dade civil. Normalmente, espera-se que as ações sociais desenvolvidas por tais organi-
zações busquem eficiência, eficácia, efetividade e equidade. Esses são conceitos-chave
na atualidade, utilizados como critérios avaliativos e que pretendemos mais adiante
elucidá-los neste texto.
2
Cabe aqui relembrar a clássica definição de projetos da Organização das Nações Unidas (1984 apud ARAÚJO, 2003, p. 4): “um empreendimento planejado
que consiste num conjunto de atividades inter-relacionadas e coordenadas para alcançar objetivos específicos dentro dos limites de um orçamento e de um
período de tempo dados”. Nesse sentido, as principais características de um projeto social são empreendimentos que: envolvem mudanças; compreendem a
criação de algo novo ou diferente; têm princípio e fim; são orientados por objetivos e resultados claramente definidos; têm claro um componente de incerteza
e complexidade, e exigem o uso de técnicas específicas de gerenciamento e avaliação.
112
As abordagens tradicionais de avaliação se concentram em avaliar unicamente as
consequências ou impactos de um projeto, sem levar em conta o ambiente em que se
desenvolvem, ou os processos envolvidos no seu desenvolvimento. Uma boa avaliação
deve considerar os componentes contextuais, da implementação dos processos e dos
resultados, buscando:
examinar a maneira como o projeto funciona dentro do ambiente econômico,

social e político da comunidade e suas circunstâncias (avaliação contextual);
ajudar com o planejamento, preparação e desempenho do projeto, bem como

documentar a evolução do mesmo (avaliação da implementação);
estimar os resultados do projeto a curto e longo prazo (avaliação de resulta-

dos) (KELLOGG, 2008).
Cada um desses componentes enfoca diferentes aspectos do projeto e devem ser

levados em conta enquanto critérios para o planejamento de uma avaliação. Obvia-
mente, a ênfase dada a cada um desses componentes irá variar de acordo com a fase
em que o projeto se encontre. Em conjunto, esses três componentes podem melhorar
a efetividade de um projeto e fomentar a sua permanência e desenvolvimento futuro.
A avaliação contextual deve ter como critérios básicos a análise estrutural e subs-
tantiva de como as características de uma comunidade e da organização executora de
um projeto influenciam diretamente na maneira como este funciona e na capacidade
de alcançar suas metas.
É preciso compreender quais fatores contextuais exercem influência sobre os

êxitos e obstáculos de um projeto. Por exemplo, quando organizações internacionais
decidem fazer investimentos em projetos sociais nos países latino-americanos, muitas
vezes trazem propostas de replicar ações implementadas nos países do Norte nos
países do Sul. Geralmente, essas não dão certo e apresentam resultados negativos nas
avaliações, por não se priorizar a análise das diferenças contextuais existentes desde o
planejamento até a avaliação dos processos e resultados. Essa questão também pode
ser percebida na implementação de projetos do governo federal nas esferas munici-
pais, num país com dimensões continentais como o Brasil. Geralmente, são desenha-
das ações comuns para todos os contextos e nem sempre essas são implementadas a
risca, seja por falta de pessoal, de condições estruturais ou mesmo por questões cultu-
rais e contextuais locais.
De modo geral, o contexto deve ser avaliado continuamente durante a vida do

projeto para:
determinar necessidades, atributos e recursos de uma comunidade beneficiá-

ria, com a intenção de desenhar uma intervenção relevante e eficaz dentro do
contexto da comunidade;
113
identificar o ambiente político e o contexto dos serviços ofertados na área de atu-
ação do projeto para assim incrementar a probabilidade de que as intervenções
elegidas recebam apoio das lideranças e organizações locais (KELLOGG, 2008).
Isso faz com que se incremente: o sentido de participação, a comunicação entre

os atores sociais e a promoção de novas alianças.
Ao se analisar o contexto, salientamos que o projeto social não pode ser uma
“camisa de força”, mas que deve ser “lido” e “relido” durante o continuum da ação (CAR-
VALHO, 2000). Para isso, Barreira (2000) enfatiza que é preciso patentear o cenário ava-
liativo constantemente, acompanhando as mudanças sociais, políticas e espaciais que
podem ocorrer ao longo do projeto.
Na avaliação da implementação de um projeto incrementam-se as possibilida-

des de êxito ao proporcionar indícios sobre o que se passou e por quê. Engloba-se
um processo de adaptação do plano ideal às condições reais e locais, às dinâmicas
da organização e às incertezas programadas. Busca-se, assim, responder: Quais são os
componentes e atividades críticas (implícitos e explícitos) do projeto? Que vínculos
existem entre esses componentes, as metas e os efeitos no projeto? Que aspectos do
processo de implementação favorecem o êxito ou criam obstáculos para a consecução
do projeto?
Deve-se incluir como objetivos da avaliação da implementação:
incrementar a eficácia das atividades em curso (desde o início do projeto e

modificando as atividades iniciais, se necessário);
apoiar a continuação do projeto a longo prazo;
deixar claro porque se cumprem ou não se cumprem as metas do projeto, au-

xiliando nas tomadas de decisão.
Além disso, essas avaliações são fonte de informação vital para interpretação de
resultados finais, já que documentam para os financiadores o progresso e podem ser

usadas para solucionar problemas que se apresentem ao longo do projeto. A lógica é
dar mais importância a como se alcançam os objetivos, ao invés de saber apenas se
foram alcançados. Caso se desconheça o processo, torna-se quase impossível selecio-
nar parâmetros válidos de eficácia ao demonstrar relações causais entre atividades do
projeto e os resultados finais (KELLOGG, 2008).
A avaliação dos resultados e impactos é outro componente importante para qual-

quer plano avaliativo, no sentido que deve responder considerando também o contex-
to e o processo de implementação do projeto, os resultados de curto e longo prazo,
no que se refere às mudanças ocasionadas. Busca-se, assim, questionar: Quais são os
114
efeitos críticos que se desejam alcançar? Que impacto o projeto exerce sobre seus be-
neficiários, pessoal, organização executora, financiador, comunidade? Que impactos
não previstos o projeto alcançou?
É importante manter uma certa flexibilidade ao realizar uma avaliação de resulta-

dos, devido a que os projetos geralmente geram resultados que não aparecem na lista
de objetivos propostos inicialmente, principalmente, no caso de intervenções comple-
xas e ampla abrangência. Assim, uma avaliação de qualidade deve examinar os resul-
tados nos vários níveis do projeto (KELLOGG, 2008).
Enfim, considerando os componentes contextuais, de implementação e de resul-

tados dos projetos sociais, enfatizam-se três características básicas de uma avaliação:
é um processo contínuo e permanente, que abarca o projeto desde sua con-

cepção, sua implementação e seus resultados;
é um processo participativo, que envolve tanto gestores, equipe executora e

beneficiários da ação quanto agentes externos, como especialistas em avalia-
ção, parceiros e financiadores;
é um processo de aprendizado social, ou seja, deve permitir aos envolvidos no

projeto a apropriação reflexiva da ação (CARVALHO, 2000, p. 62).
Abordagens de análise e definição

de critérios na avaliação dos projetos sociais
Cada projeto é único e deve ser avaliado de acordo com os resultados que se pre-
tende alcançar. Existem diferentes abordagens e níveis de resultados que devem ser
considerados ao planejarmos uma avaliação. Isso faz com que sejam definidos critérios
relevantes no processo avaliativo que, conforme explicitado anteriormente, pode estar
mais centrado no contexto, na implementação ou nos impactos (centrados nos indiví-
duos, nas metas no nível do programa ou sistema, nas metas familiares e comunitárias,
nas organizações executoras e financiadoras etc.).
Não há uma só maneira de realizar uma avaliação. Essa é sempre uma tarefa difícil
e complexa, porque lida com sujeitos sociais, interesses, representações e contextos
concretos. Dessa maneira, os projetos e programas sociais possuem uma série de va-
riáveis e fatores intervenientes, que dificilmente uma única estratégica avaliativa não
tem condições de tratar com profundidade (BARREIRA, 2000). Daí a necessidade de
determinar claramente os critérios para avaliar.
115
Nas abordagens tradicionais da avaliação de projetos (avaliação quantitativa),
influenciadas pelas ciências econômicas, matemáticas e biológicas, há uma demasia-
da ênfase em critérios instrumentais, economicistas e estatísticos, para na mensurar e
“parametrar” o social, medindo possíveis mudanças ocorridas. Outras abordagens co-
locam ênfase na lógica dos atores que movem o projeto nos processos diretivos e na
dinâmica de ação, levando a considerar questões mais voltadas para a avaliação qua-
litativa (CARVALHO, 2000). Quando falamos em avaliação qualitativa, deve-se atentar
que estamos nos referindo não apenas à qualidade técnica e institucional, mas à quali-
dade política, principal critério que está em jogo nesse tipo de avaliação (DEMO, 1999).
A qualidade política pode ser definida como:
[...] o horizonte de participação política, o que permite sair da simples delimitação negativa.
Qualidade não pode ser apenas aquilo que não é quantidade, aquela fumaça para além da chaminé,
aquela coisa vaga que se pressente não sei onde, não sei como e não sei porquê... Se qualidade é
dimensão essencial da realidade social, deve aparecer de alguma forma. E mais: deve ser algo, cuja
importância e presença estejam no cotidiano, na vida real, na dor e na alegria. (DEMO, 1999, p. 33)
Em ambas as abordagens (quanti e quali) existem vantagens e desvantagens, de-

pendendo do contexto e do que se pretende avaliar. Operar num marco avaliatório limi-
tado traz muitas consequências para o projeto e para os atores envolvidos, entre elas:
pensar que só há uma maneira de realizar uma avaliação;
os paradigmas e suposições específicas influenciam e direcionam as pergun-

tas de base que são feitas, bem como o exame das respostas, limitando inter-
pretações e conclusões;
crer que são insuficientes as intenções de avaliar níveis de mudança nos siste-
mas complexos e nas iniciativas comunitárias de amplo alcance;
perder de vista os feitos de que todo o trabalho de avaliação é político e carre-

gado de valores (KELLOGG, 2008).
Para termos avaliações mais equilibradas que ajudem não só a medir a eficácia
dos projetos, mas para saber como melhorá-lo e fortalecê-lo é recomendável conhecer
e refletir sobre paradigmas e métodos alternativos que se adéquem ao trabalho de
avaliação que está sendo proposto de modo que se estabeleçam critérios realmente
relevantes para o processo avaliativo.
Estabelecer critérios para a avaliação dos projetos significa determinar bases de

comparação, julgamento e apreciação das ações e resultados alcançados pelo projeto.
Tais critérios dão discernimento ao processo avaliativo fazendo com que se possa dis-
tinguir o ideal planejado e o real possível, verificando o nível de aprendizagem obtido
com os acertos e com os erros, e equilibrando as necessidades de aferir para comprovar
116
com as necessidades de melhorar. Assim, na atualidade, tem se valorizado processos
avaliativos mais completos e pluralistas, conforme afirma Carvalho (2000, p. 64):
[...] uma tendência em valorizar concepções mais abrangentes e totalizantes de avaliação no campo
social, uma avaliação que busque apreender a ação, sua formulação, implementação e impactos.
Uma avaliação que busque captar a inter-relação entre sistemas de ação e lógica dos atores. Não
mais uma avaliação apenas de resultados, mas também de processos. Não mais uma avaliação que
apenas mensura quantitativamente os benefícios e malefícios de uma política ou programa, mas
que também qualifica as decisões, processos, resultados e impactos.
Ou seja, há certo consenso que se deve articular e combinar avaliações que re-
sultem em abordagens mais pluralistas e contextualizadas, que busquem fazer uma
leitura mais ampla da realidade. É nesse âmbito que tem crescido o uso de avaliações
de síntese e meta-análises3 em detrimentos dos estudos focais e pontuais, obviamente
sem descartar estes, já que são uma das melhores formas para obter e agregar informa-
ções avaliativas. Os estudos quantitativos tendem a novos enfoques, integrando múl-
tiplos estudos avaliativos (BARREIRA, 2000). A seguir, apresenta-se um quadro síntese
adaptado por Carvalho (2000), mostrando características das diferentes abordagens
de avaliação, os tipos de metodologias utilizadas, formas de coleta de dados e papel
do avaliador:
Adaptação de quadro apresentado por PA Cambridge Economic

Consultants, Evaluation for Good Project Management. Grã-Bretanha,
1990 (CARVALHO, 2000, p. 64. Adaptado.)
Tipos Metodologias Papel
Coleta de dados
de abordagem de avaliação do avaliador
metodologias apoia- ênfase em instru- avaliação externa;
das em estatísticas e mentos de medição
QUANTITATIVA na experimentação quantitativa; papel de expert.
Centrada no sistema controlada;
de ação definição de indica-
esquema explicativo dores de resultado.
hipotético-dedutivo.
metodologias apoia- ênfase na coleta de autoavaliação as-
das na análise de dados qualitativos sistida dos sujeitos
processos sociais; (os processos em envolvidos (sujeito
jogo) por meio de coletivo);
QUALITATIVA pesquisa-ação; observação, histórias
Centrada na lógica dos de vida, entrevistas, papel facilitador
esquema interpreta-
atores estudos de casos etc.; em relação aos
tivo de compreensão sujeitos envolvidos.
de dinâmicas. observação, registro
e descrição de fatos
significativos.
3
Essas são abordagens que tratam da avaliação da avaliação. Em muitos casos e principalmente em alguns
projetos sociais desenvolvidos por órgãos públicos, há uma grande quantidade de avaliações destes, feitas
por avaliadores externos e internos. Para tomada de decisões é preciso sintetizar e sistematizar considera-
ções desses processos avaliativos e realizar meta-análises que vão além das conclusões iniciais, traduzindo
uma visão crítica sobre as avaliações realizadas.
117
metodologias de ênfase na coleta de coavaliação entre
avaliação apoiadas dados quantitativos categorias e atores
nas mudanças pro- e qualitativos; implicados;
gramadas (políticas
públicas, programas); definição de indica- papel de mediador.
dores de processos
PLURALISTA pluralidade de (aferidos durante a
Centrada nas relações abordagens para gestão e execução do
entre o sistema de apreender e aferir processo) e de resul-
ação e a lógica dos processos, resultados tados (aferidos para
atores e impactos de políti- verificar o nível de
cas e programas. mudança alcançado);
utilização de múltiplos
instrumentos de cole-
ta de dados, incluindo
a observação.
Na abordagem quantitativa, percebe-se que prevalece uma maior preocupação

com o sistema de ação movido pelo projeto, no sentido da quantificação de metas e
resultados, buscando mensurar o social por meio de índices numéricos. Já na aborda-
gem qualitativa, enfatiza-se a lógica estabelecida pelos diferentes atores que movem o
projeto (executores, projeto, financiadores, parceiros, beneficiários etc.), que imprimem
direção e dinâmica à ação. Já na abordagem pluralista, percebe-se a busca por uma
inter-relação entre os métodos quantitativos e qualitativos, bem como para avaliar os
processos (meios) e os resultados (fins) do projeto. Ou seja, “não mais uma avaliação
que apenas mensura quantitativamente os benefícios ou malefícios de uma política
ou programa, mas que também qualifica decisões, processos, resultados e impactos”
(CARVALHO, 2000, p. 64). Tende-se, assim, a uma perspectiva multidisciplinar, mais
totalizante e pluralista, envolvendo aportes estatísticos combinados com métodos e
técnicas do âmbito das ciências sociais, que buscam informar e aprimorar a gestão das
ações e mudanças sociais.
Em todas as abordagens de análise, os distintos tipos de avaliação contemplam

critérios-base que permitem estabelecer suas conclusões. Em função da área de atua-
ção do projeto (educação, saúde, assistência social, geração de trabalho e renda etc.)
e da organização que o executa, se determinam os critérios de avaliação que guar-
dem relação com os objetivos estratégicos da organização e os objetivos específicos
do projeto. Não existem critérios únicos e estes surgem em função das especificidades
de cada projeto. Porém, pela tradição gerencialista da avaliação, de modo geral, há um
consenso teórico sobre a necessidade de se avaliar a eficiência, eficácia e efetividade de
qualquer que seja o projeto social.
118
Eficiência
A análise da eficiência indica o modo como se organiza e emprega os recursos
disponíveis para implementação do projeto. Esse critério sempre é um dos principais
nas análises com o foco restrito à aplicação de recursos e avaliação da relação custo-
-benefício. De modo geral, ser eficiente num projeto “é fazer mais com menos recur-
sos”. Ou seja, essa noção está muito atrelada à produtividade. Essa lógica é bastante
atrelada à noção de probidade na utilização dos recursos públicos, uma vez que há ar-
gumentações que esses são escassos e há necessidade de racionalização do uso, o que
de fato, é verdadeiro. Uma pergunta típica para aferir a eficiência é: podem os recursos
ser reduzidos e se obter o mesmo nível de resultados ou um melhor resultado pode ser
obtido com o aumento de recursos?
Deve-se atentar para uma noção mais ampla desse conceito, no que diz respeito
aos processos de gestão como um todo, bem como a capacidade de mudança e adap-
tação contextual que um projeto pode passar. Assim, deve-se potencializar e raciona-
lizar o uso de recursos financeiros, materiais e humanos para alcançar a eficiência. Ou
seja, executar as ações da melhor maneira possível de modo racional, democrático e
transparente.
Eficácia
Quando falamos de eficácia de um projeto há referência ao alcance dos objetivos
finalísticos deste. Diz respeito a averiguar em que medida os objetivos e metas propos-
tas foram alcançadas. Para Cohen e Arato (1994, p. 102), “operacionalmente a eficácia
é o grau em que se alcança os objetivos e metas do projeto na população beneficiária,
em um determinado período de tempo, independente dos custos implicados”. Este é
um dos critérios mais utilizados, considerando a tradição em realizar avaliações soma-
tivas, baseadas nos fatores metas e tempo. São questões básicas para aferir a eficácia:
Até que ponto os objetivos e metas do projeto foram alcançados? Aplicou-se os ins-
trumentos previstos de modo adequado? Como ser mais eficaz? Essas são questões Critérios de avaliação para projetos sociais
típicas de avaliações ex-post, ou seja, avaliações que ocorrem ao término do projeto.
Observa-se que progressivamente tem-se enfatizado a necessidade da avaliação

da eficácia em projetos sociais executados por organizações governamentais e não
governamentais, com vistas a socializar o debate sobre o cumprimento de metas.
Porém, deve-se atentar à forma de utilização dos resultados dessas avaliações, princi-
119
palmente, quando enfatizam dados quantitativos isoladamente, para que não repre-
sentem apenas fundamentos para discursos políticos visando promoções individuais
ou institucionais junto a financiadores ou beneficários dos projetos/programas.
Efetividade
A efetividade diz respeito a realização da ação adequada para transformar a situ-
ação existente. Para Lopez (apud Cohen e Arato, 1994, p. 107), a efetividade “expressa
o resultado concreto – ou as ações conduzentes a esse resultado concreto – dos fins,
objetivos e metas desejadas”. Muitas vezes esse conceito se assemelha ao de eficácia,
porém, está diretamente relacionado aos impactos do projeto, vistos pelo grau de al-
cance dos objetivos (eficácia) e pelos seus processos (eficiência). Rua (2008) define a
efetividade como “a capacidade de maximizar a eficácia e a eficiência”. Ou seja, o que
realmente se muda/transforma com uma dada intervenção social.
São questões comuns ao se adotar tal critério: até que ponto o projeto é capaz de
realizar mudanças positivas, qualitativas, significativas e duradouras?
Carvalho (2000) salienta que, para avaliar a efetividade de um projeto, torna-se

necessária a adoção de uma perspectiva comparativa entre o “antes” e o “depois”. Esse
tem sido um dos desafios na realização de avaliações sobre efetividade.
Além dos tradicionais critérios de eficiência, eficácia e efetividade, evidencia-se na

atualidade os referentes à sustentabilidade, à capacidade de financiamento das ações,
à equidade, à replicabilidade, à pertinência e à suficiência, entre outros. A seguir, abor-
daremos cada um desses critérios, considerando que na atualidade são os mais recor-
rentes nos processos avaliativos definidos por financiadores e parceiros nos projetos.
Além disso, demonstram com maior concretude, quais os impactos gerados a partir de
uma dada intervenção social.
Sustentabilidade
Esse é um conceito que surge no âmbito ambiental, no sentido de preservar o
presente para garantir a existência das gerações futuras. No âmbito organizacional e
dos projetos sociais houve certa focalização e consequente distorção do seu enten-
dimento para a capacidade do projeto se “autossustentar” financeiramente, gerando
recursos próprios. Esse inclusive é um dos principais critérios estabelecidos por vários
financiadores. Porém, a sustentabilidade deve ser vista e analisada como um critério
multidimensional que abarca, além da dimensão financeira (ter recursos suficientes
para o desenvolvimento do projeto), as seguintes dimensões:
120
técnica (metodologias de trabalho efetivas, capacidade de aprendizado orga-
nizacional etc.);
política (inserção da organização/projeto em espaços políticos, controle

social etc.);
humana (qualificação dos recursos humanos, sensibilidade as questões so-

ciais etc.);
institucional, ambiental e social, que devem ser observadas em seu conjun-

to durante um processo de avaliação (ARAÚJO, 2007).
Um projeto é sustentável no momento em que os resultados e mudanças posi-

tivas para os beneficiários e organizações envolvidas no processo perduram mesmo
após finalizado o prazo da intervenção. Ou seja, é a capacidade de manter ou expan-
dir os resultados obtidos, para além da intervenção pontual realizada, desencadeando
outras mudanças sociais, vindo inclusive a mudar as demandas as quais inicialmente o
projeto pretendia atender.
Capacidade de financiamento das ações

A capacidade de financiamento das ações de um projeto diz respeito à verificação
da compatibilidade dos dispêndios previstos com a previsão e capacidade de mobili-
zação de recursos. Nesse caso, muitas vezes, são propostas ações que do ponto de vista
técnico são muito importantes e gerariam impacto, porém, no ponto de vista financei-
ro são inviáveis. Quando isso ocorre, sendo os recursos financiados insuficientes para
todas as ações, o comportamento adequado deve ser:
aumentar e diversificar o número de parcerias;
cortar e/ou reduzir as metas das ações de menor prioridade, tendo cuidado,
neste caso, de rever os objetivos para que estes não sejam comprometidos.
Assim, devem-se observar, principalmente, aquelas que não comprometem o
cronograma de realização e não se constituem em prerrequisito para a execu-
ção de outra ação. (SANTOS et al., 2001)
Equidade
Diz respeito à “satisfação das necessidades básicas da população ordenadas de
acordo com o grau de urgência relativa de cada situação social específica” (LOBATO,
2008). É a contribuição efetiva do projeto para a redução de assimetrias sociais, com
121
vistas a conseguir maior justiça social, geração de trabalho e renda justos, seguros e
benefícios sociais etc. De modo geral, também diz respeito a tratar diferentemente os
indivíduos e situações diferentes, em virtude dos contextos em que se encontrem.
Esse é um importante critério, que muitas vezes não é explicitado nos projetos
nem nos processos avaliativos e deve ser cuidadosamente analisado do ponto de vista
da qualidade política da intervenção.
Replicabilidade
Replicabilidade ou reaplicabilidade diz respeito à viabilidade de utilização da me-
todologia desenvolvida no projeto em outros ambientes, considerando as adaptações
contextuais necessárias. Esse é um dos critérios expressos na atualidade na maioria dos
editais de financiamento, geralmente também atrelado a noção de sustentabilidade e
da geração das chamadas tecnologias sociais.
Segundo a Fundação Banco do Brasil (FBB, 2009): “Tecnologia Social compreen-

de produtos, técnicas ou metodologias reaplicáveis, desenvolvidas na interação com
a comunidade e que representem efetivas soluções de transformação social”. As tec-
nologias sociais podem aliar saber popular, organização social e conhecimento técni-
co-científico. Importa essencialmente que sejam efetivas e reaplicáveis, propiciando
desenvolvimento social em escala. São exemplos de tecnologia social: o clássico soro
caseiro (mistura de água, açúcar e sal que combate a desidratação e reduz a mortalida-
de infantil); as cisternas de placas pré-moldadas que atenuam os problemas de acesso
à água de boa qualidade à população do semi-árido, entre outros. Há, na atualidade,
uma demanda patente dos financiadores para que os projetos necessariamente gerem
tecnologias sociais.
Pertinência e suficiência
A pertinência ou relevância do projeto é um critério que consiste em analisar se

as ações são perfeitamente compatíveis com os objetivos do projeto, as reais neces-
sidades do público-beneficiário e os interesses da organização executora e parceiros
(consenso social). Deve-se observar a congruência entre os objetivos do projeto e as
necessidades do público beneficiário deste. Uma ação descolada dos objetivos não
agrega valor ao projeto, constituindo-se em estorvo para seu gerenciamento e em
custo desnecessário. Por exemplo, boa parte dos projetos voltados para geração de
trabalho e renda preveem ações de capacitação e formação. Deve-se avaliar se esses
cursos realmente atendem à demanda local de mão de obra ou que os beneficiários já
fizeram, ou seja, se são pertinentes.
122
Entende-se como suficiência a necessidade de verificar se o conjunto das ações é
realmente suficiente (efetivo) para o alcance dos resultados pretendidos. Aproveitan-
do a lógica do exemplo anterior, a suficiência estaria atrelada, por exemplo, à verifica-
ção de se o conjunto de cursos ofertados foi suficiente para qualificar o trabalhador de
modo que possa ser incluído no mercado de trabalho.
Estes critérios são bastante utilizados nas avaliações ex-ante4 e são de extre-
ma importância, considerando o atual contexto de dificuldades para consecução de
recursos para os projetos. Neste sentido, muitas vezes as organizações se subme-
tem a executar projetos “enlatados” com ações previamente definidas, ou mesmo
a criar situações hipotéticas extremas para conseguir os recursos. Ou seja, há uma
adequação da organização para aquilo que está sendo “ofertado” pelo financiador.
Por exemplo, em casos de projetos demandados por programas governamentais em
que boa parte das ações já são previamente definidas, a organização tende a se ade-
quar – mesmo que tais ações não sejam tão pertinentes em um dado contexto – para
conseguir o financiamento.
Dilemas e desafios na definição de critérios

para a avaliação de projetos sociais
Os critérios vistos e explicados anteriormente são os mais usuais principalmen-
te no âmbito dos modelos propostos nas seleções de projetos a serem apoiados por
órgãos públicos, agências internacionais e empresas (investimento social privado).
Um dos primeiros dilemas a serem vencidos é que apesar de muito se pregar sobre o
desenvolvimento de uma cultura de avaliação, principalmente participativa e qualitativa,
na prática observa-se que a determinação de critérios é quase sempre unilateral, devendo
as organizações proponentes ou executoras de projetos sociais se adequarem a estes.
Além disso, a maior parte dos critérios, dependendo do financiador, ainda segue
lógicas quantitativas, baseadas na relação custo versus benefício, embora mesclado Critérios de avaliação para projetos sociais
com alguns condicionantes qualitativos, políticos e ideológicos. Obviamente, é preciso
que realmente haja determinação de critérios por parte dos financiadores e parceiros,
a fim de conseguir estabelecer padrões mínimos de seleção dos projetos e organiza-
ções, evitando possíveis desvirtuamentos.
4
Considera-se como avaliação ex-ante, aquela realizada antes da execução do projeto visando conhecer o “marco zero” deste, os problemas a serem enfren-
tados, o contexto em que se pretende realizar a intervenção e o perfil do público beneficiário. Ou seja, é uma avaliação diagnóstica que subsidia a própria
elaboração e justificativa do projeto, servindo para identificar a capacidade do projeto para mudar os problemas, a viabilidade e coerências deste.
123
Pouco ainda se vê em termos de discussões conjuntas entre financiadores e exe-
cutores de projetos sobre a escolha de critérios de avaliação adequados aos diferentes
contextos dos problemas sociais. Isso é demonstrado, por exemplo, pelos financiado-
res não apoiarem processos de avaliação ex-ante aos proponentes-executores de pro-
jetos. Assim, o que acaba ocorrendo é que os proponentes apenas seguem roteiros
de elaboração de projetos previamente estabelecidos, com critérios de avaliação, pre-
enchendo-os muitas vezes apenas de modo a “cumprir tabela”. Assim, deve-se buscar
estabelecer critérios avaliativos de modo mais equânime e participativo, com base nas di-
ferentes realidades locais.
Outro dilema diz respeito à vastidão ou abstração de alguns objetivos definidos

nos projetos, não havendo consenso sobre como avaliá-los. Comumente alguns obje-
tivos dos projetos e programas sociais trazem enunciados desejos de transformação
social para comunidades, famílias e população em geral voltados para: “melhorar a
qualidade de vida”, “desenvolver (resgatar) a autoestima”, “promover a cidadania”, entre
outros. As intervenções sociais buscam minimizar ou extinguir situações-problemas
consideradas mais subjetivas e de difícil avaliação do ponto de vista racional-instru-
mental. Assim, sempre é emblemático avaliar mudanças nas vidas das pessoas no que
diz respeito à autoestima, ao grau felicidade e alegria, ao prazer de viver, ao senso de
justiça social etc. O desafio consiste, portanto, em conseguir compatibilizar nos proces-
sos avaliativos a ênfase nos critérios instrumentais-gerenciais mais tradicionais (efici-
ência, eficácia e efetividade) com os critérios que demandam questões mais subjetivas
e substantivas.
Nesse sentido, coloca-se enquanto desafio para as organizações executoras de

projetos a construção de indicadores qualitativos que sejam adequados. Um bom
exemplo nesse sentido é seguido pelo Centro Popular de Cultura e Desenvolvimento
(CPCD), ONG de Belo Horizonte, fundada e dirigida pelo educador Tião Rocha em 1984,
que decidiu criar seus próprios indicadores. Como questiona:
Se entre os objetivos específicos de nossos projetos apareciam “desenvolvimento de autoestima”,
“socialização”, “aprendizagem lúdica”, “alegria”, “prazer”, como podíamos medir concretamente o alcance
desses objetivos? [...]. Quais seriam, por exemplo, os indicadores de felicidade? (ROCHA, 2009)
O CPCD estabeleceu seus 12 indicadores, enfatizando critérios próprios adequa-

dos a realidade local dos projetos, explicitados no texto complementar deste capítu-
lo. Dez anos depois, os indicadores da ONG são uma referência em monitoramento e
avaliação e têm sido usados por outras organizações e até empresas. Na área da saúde,
a tecnologia social também é aplicada nos institutos de psiquiatria da Universidade
Federal do Rio de Janeiro e do Hospital São Francisco.
Outros exemplos neste sentido podem ser vistos, como o caso dos critérios cria-
dos por ONGs como o Centro de Estudos e Pesquisas em Educação, Cultura e Ação
Comunitária (CENPEC) e a Ação Educativa, para a avaliação de ações educacionais.
124
Devemos, por fim, destacar que os desafios no estabelecimento de padrões ava-
liativos dizem respeito à equalização necessária entre os diferentes tipos de critérios po-
líticos, técnicos e financeiros. Achar que prevalece apenas um tipo de critério em de-
trimento de outros na escolha para apoio aos projetos sociais é ingenuidade. Assim,
é preciso compreender os contextos e possibilitar que executores e financiadores de
projetos busquem conjuntamente priorizar a clara definição dos critérios de avaliação
de modo a trazer à tona uma visão mais substantiva da realidade.
Texto complementar
IQP – Indicadores de Qualidade de Projeto

(ROCHA, 2009)
A equipe de educadores do CPCD sempre trabalhou seus programas de edu-

cação popular e de desenvolvimento comunitário, assim como seus projetos espe-
cíficos – “Sementinha”, “Ser Criança”, “Bornal de Jogos”, “Fabriquetas Comunitárias”,
“Agentes Comunitários de Educação” etc. – como processos de permanente apreen-
são, compreensão e devolução.
Uma das maiores dificuldades que enfrentávamos era em relação ao quesito

“indicadores de avaliação” dos nossos projetos.
Este problema (que não era só nosso, mas ainda aflige e compromete o tra-
balho das ONGS e da maioria dos projetos sociais e de intervenção comunitária)
passou a ser um desafio permanentemente enfrentado pela equipe. Entre as muitas
questões que formulávamos, destacamos algumas:
– Se entre os objetivos específicos de nossos projetos apareciam “desen-

volvimento de autoestima”, “socialização”, “aprendizagem lúdica”, “alegria”, Critérios de avaliação para projetos sociais
“prazer etc. como podíamos medir (mensurar ou aferir) concretamente o
alcance (ou não) destes objetivos? Se houve aumento ou diminuição da
autoestima? O grau e a qualidade de socialização alcançada? Os indicado-
res de felicidade? etc.
Não havia indicadores elaborados e concretos para medir os chamados “obje-

tivos intangíveis”.
Por outro lado, havia (e ainda há) por parte das agências financiadoras de proje-
tos uma crítica à falta de critérios palpáveis e tangíveis nos projetos sociais.
125
E para se defender, a maioria das ONGs se escondia atrás do discurso dos “obje-
tivos intangíveis” dos projetos sociais.
Resolvemos encarar de frente este desafio.
Foi por isso que começamos a construir os nossos próprios indicadores.
Num primeiro momento, e lá se vão alguns anos, buscamos, junto com os edu-
cadores, na observação diária e sistemática de nossas crianças e jovens, os peque-
nos avanços e respostas (sorriso X choro, envolvimento X desinteresse, limpeza X
sujeira, delicadeza X agressividade etc.).
Essas questões surgiam em nossas memórias de campo e relatórios técnicos e

avaliações. Aos poucos, fomos formando uma massa crítica, constituída de elemen-
tos que apontavam (indicavam) se os objetivos propostos estavam ou não sendo
alcançados e como.
Surgiram assim o que denominamos de os “microindicadores”. À guisa de

exemplo: são indicadores de autoestima, o cuidado com o corpo (cabelos pentea-
dos, constância dos banhos, uso de batom etc.) o cuidado com as roupas e os ob-
jetos pessoais, as pequenas vaidades, a busca de uma melhor estética, a expressão
de opinião e de gostos, o protagonismo na roda, a disponibilidade para ajudar e
participar de ações coletivas, a relação sorriso X choro etc.
Todos esses elementos palpáveis e perceptíveis no dia a dia formavam um in-

dicador mensurável. Assim fizemos com todos os objetivos específicos: a aprendiza-
gem, a socialização, a cidadania, a participação.
Esse acúmulo de experiências e reflexões nos mostraram que podíamos desta

base, construir “macroindicadores” que pudessem balizar nossos projetos. Depois
de muito trabalho, conseguimos, por consenso (e isto é o mais importante) chegar

a 12 (doze) índices.
Nós os chamamos de Indicadores de Qualidade de Projeto. Segundo nossa

perspectiva, se pudéssemos medir (e aferir concretamente) esses índices em nossos
projetos, poderíamos afirmar se temos ou não um projeto de “qualidade”.
Dessa forma, o conceito de qualidade praticado pelo CPCD passou a ser for-
mado pela somatória e interação de 12 índices, que se completam, mas podem ser
observados e mensurados individualmente:
Apropriação – equilíbrio entre o desejado e o alcançado.
126
Esse indicador nos convida a dar tempo ao tempo, a não fazer do estresse
um instrumento de ensino forçado, a respeitar o tempo de aprendizagem e
o ritmo de metabolização do conhecimento de cada um.
Coerência – relação teoria/prática.
Esse indicador nos aponta a importância da relação equilibrada entre o co-

nhecimento formal e acadêmico e o conhecimento não formal e empírico.
Mostra-nos que ambos são importantes porque são relativos, nenhum su-
perior ao outro, mas complementares.
Cooperação – espírito de equipe, solidariedade.
Esse indicador nos instiga a “operar com” o outro, nosso parceiro e sócio na
mesma empreitada que é o ato educativo, incluindo a dimensão da soli-
dariedade como base humana dos processos de ensino-aprendizagem, to-
mando o outro criança ou adolescentes, como fundamental para a Educa-
ção ser algo plural.
Criatividade – inovação, animação/recreação.
Esse indicador nos provoca a criar o novo, a descobrir os caminhos obsole-

tos, a ousar andar na contra-mão do academicismo pedagógico “bolorento”,
a buscar soluções criativas e inovadoras, para resolver velhos problemas.
Dinamismo – capacidade de autotransformação segundo as necessidades.
Esse indicador propõe que nos vejamos sempre como seres repletos de ne-
cessidades e em permanente busca de complementaridade. Viemos ao mun-
do para ser completos e não para ser perfeitos, que é atribuição do Divino.
Eficiência – identidade entre o fim e a necessidade.
Esse indicador nos convida a equilibrar as nossas energias, adequando os Critérios de avaliação para projetos sociais
meios e recursos aos fins propostos. “Aprender a ser, aprender a fazer, aprender
a conhecer e a aprender a conviver” são os quatro pilares da aprendizagem.
Estética – referência de beleza.
Esse indicador fala-nos do bom gosto e da busca do lado luminoso da vida.

Se “a estética é a ética do futuro”, segundo Domenico de Masi, precisamos
reconstruir o conceito de estética que incorpore a luminosidade de todos os
seres humanos, fontes e geradores de luz e de beleza.
127
Felicidade – sentir-se bem com o que temos e somos.
Esse indicador aponta-nos para a intransigente busca do ser feliz (e não do

ter feliz), como razão principal do existir do ser humano.
Harmonia – respeito mútuo.
Esse indicador nos conclama a compreensão e a aceitação generosa do

outro (meu igual, mas diferente) como contraparte do nosso processo de
aprendizagem permanente e a incorporar os tempos passados e futuros ao
nosso presente.
Oportunidade – possibilidade de opção.
Esse indicador nos apresenta o conceito contemporâneo de desenvolvimen-

to (=geração de oportunidades) como meio e alternativa de construção de
capital social. Quanto mais oportunidades formos capazes de gerar para as
crianças e adolescentes participantes de nossos projetos, mais opções, eles
(e elas) terão para realizar suas potencialidades e suas utopias.
Protagonismo – participação nas decisões fundamentais.
Esse indicador nos fala de nossa possibilidade sempre presente para assu-
mir os desafios, romper barreiras, ampliar os limites do possível, disponi-
bilizar nossos saberes-fazeres-e-quereres, estar a frente do nosso tempo e
participar integralmente da construção dos destinos humanos. O que cada
um pode fazer? Queremos ser protagonistas de que peça, de que escola, de
que país, de que sociedade?
Transformação – passagem de um estado para outro melhor.

Esse indicador traduz a nossa missão de passageiros pelo mundo, de in-

quilinos do “Paraíso”, de propiciadores de mudanças, cuja responsabilidade
é deixar para as gerações presentes e futuras, um mundo melhor do que
aquele que encontramos e o que recebemos de nossos antecessores.
A partir dessa matriz, elaboramos uma série de perguntas. A ideia era (e é)

formular tantas perguntas quantas sejam necessárias para levar o participante (edu-
cador, criança, jovem e pais) a perceber nas atividades do projeto a presença (quali-
tativa) e o grau da presença (quantitativa) do índice.
128
Após responder a essa bateria de questões sobre cada índice, o participante dá
uma nota (de zero a dez) para este quesito.
Foi assim que construimos o IQP. Ele é realizado em cada um de nossos proje-
tos, tomando uma mostragem equitativa e representativa dos participantes – edu-
cadores, pais e crianças e jovens, considerando inclusive a questão de gênero.
O IQP, já no seu sétimo ano de aplicação sistemática, transformou-se em efi-

ciente tecnologia educacional, pois nos possibilita, a partir da leitura e análise dos
indicadores de avaliação, contextualizá-los e percebê-los como estão sendo introjeta-

dos e metabolizados no fazer e saber-fazer dos nossos educadores, possibilitando-lhes
um novo olhar sobre a própria prática.
Atividades
1. Pelo histórico da avaliação dos programas e projetos sociais no Brasil verifica-

mos que há uma ênfase nos critérios mais gerenciais-intrumentais, com foco
voltado para aferir eficiência, eficácia e, mais recentemente, a efetividade. Na
atualidade, tem se dado importância para outras abordagens avaliativas, dentro
de uma lógica mais pluralista e multidisciplinar. Isso vem ocorrendo devido:
a) à necessidade de focar atenção nos resultados e na avaliação institucional da

organização que executa o projeto para avaliar sua capacidade de respostas às
demandas dos beneficiários das ações dos projetos.
b) à necessidade de quantificar as questões mais subjetivas na avaliação, de modo

que possa ocorrer uma avaliação mais profunda dos resultados dos investimen-
tos feitos por órgãos públicos e privados para a transformação social.
c) à complexidade dos contextos sociais que exige análises centradas nas rela-
ções entre os sistemas de ação e a lógica dos atores, buscando quantificar e
qualificar benefícios, decisões, processo, resultados e impactos.
d) à complexidade da gestão das organizações executoras dos projetos e programas

sociais que tem que comprovar resultados no nível micro de intervenção social.
129
2. Na execução de um projeto social, pode ocorrer situações de eficácia mesmo
com baixa eficiência. Nesses casos, a efetividade dificilmente ocorrerá de modo
satisfatório. Exemplifique tal fato com base em algum projeto social conhecido
no seu meio social.
130
3. Desenvolver uma cultura de avaliação participativa e qualitativa com base nas
distintas realidades locais é um grande desafio. Para isso, é preciso enfatizar não
apenas os resultados finais dos projetos/programas, bem como realizar um tra-
balho de equalização entre os diferentes tipos de critérios políticos, técnicos e
financeiros nos processos avaliativos. Esses desafios / dilemas ocorrem devido
a) às pressões sofridas pelos financiadores para darem retorno sobre os investi-

mentos sociais que tem realizado apoiando projetos.
b) às práticas existentes nas relações entre organizações executoras dos projetos,

financiadores e parceiros, nas quais prevalecem a determinação unilateral de
critérios de avaliação.
c) às pressões por resultados que as organizações executoras de projetos sofrem,

fazendo com que muitas tenham que centralizar e agilizar algumas decisões,
não envolvendo beneficiários neste processo.
d) ao curto espaço de tempo para a execução dos projetos, fazendo que haja a
necessidade das organizações executoras seguirem os critérios previamente
estabelecidos pelos financiadores, adaptando suas realidades para e ações
desenvolvidas para atingir os objetivos requeridos.
131
Indicadores sociais
Introdução
O interesse em compreender os indicadores, antes criados e utili-
Vídeo zados pelos e para os especialistas em estatística e matemáticos, vem
gradativamente fazendo parte da agenda política, influenciando nas
formas de controle social exercidas pelo Estado, sociedade civil e mer-
cado. Não há mais espaços para que políticos e administradores públi-
cos contem vantagens ou alardeiem desgraças sem a leitura racional de
parâmetros e medidas que avaliem a realidade.
Os indicadores sociais passaram a fazer parte do cotidiano dos atores responsá-

veis pela promoção de melhorias nas condições de vida da população, servindo prin-
cipalmente para apontar a eficácia ou ineficácia das políticas públicas, programas e
projetos sociais, bem como a defesa de posições quanto à definição de prioridades a
serem atendidas (JANNUZZI, 2001).
Ao passo que são instrumentos para auxiliar no controle social e nos processos
avaliativos, a construção de sistemas de indicadores condizentes com as diferentes re-
alidades sociais, suas políticas, programas e projetos, também representam um grande
desafio para as organizações sociais, governos, empresas, especialistas em avaliação e
universidades.
Transformar objetivos de uma política, programa ou projeto social em itens capa-

zes de mensurar as mudanças devidas as intervenções sociais é um passo fundamental
e imprescindível para a avaliação. Para isso são construídos os indicadores, que servem
ao mesmo tempo para medir processos e produtos, compreender e interpretar como
os atores se envolvem nos programas/ projetos sociais buscando melhorar a realidade
(ASSIS et al., 2005).
Neste capítulo, buscaremos discutir conceitos, classificações ou tipologias, usos

dos indicadores sociais no Brasil, nos níveis macro (políticas) e micro (projetos), além
de apresentar alguns dos principais indicadores sociais no Brasil e suas relações com as
políticas sociais de desenvolvimento.
133
Definições sobre indicadores sociais
Os conceitos de indicadores estão intimamente vinculados aos conceitos de obje-
tivos para os quais são estabelecidas metas, que se tratam da quantificação e delimita-
ção de prazos para atingir tais objetivos. As metas traduzem em termos de quantidade
e qualidade, o quanto se espera de produtos, mudanças de percentuais, minimização
de problemas etc. Cabe aqui relembrar que os objetivos de uma política, programa
ou projeto social expressam o resultado desejado, traduzido por indicadores da situa-
ção que se pretende alcançar com as intervenções propostas (SANTOS et al., 2001). A
meta seria o estágio desejado que o objetivo teria que alcançar num período de tempo
para um grupo de beneficiários e área geográfica. Nesse sentido, a meta é um standard
ou parâmetro de desempenho contra o qual o avanço da intervenção é comparado e
medido (BUVINICH, 1999).
Santos et al. (2001, p. 11) salientam que “o objetivo último de um projeto social
não é a entrega de bens ou serviços mas, sim, o resultado ou impacto que produz, eli-
minando ou reduzindo o problema, ou ainda, maximizando uma oportunidade”.
Carvalho (2000) esclarece que para definir e escolher indicadores de avaliação de

programas e projetos sociais é preciso especificar de forma clara e direta o objetivo
e os resultados a serem alcançados, correlacionando-o ao público-beneficiário com
quem se trabalhará.
Mas, afinal, o que são indicadores sociais? Vejamos alguns conceitos.
“Indicador é uma medida em geral quantitativa dotada de significado social subs-

tantivo, usado para substituir, quantificar ou operacionalizar um conceito social abstra-
to, de interesse teórico (para pesquisa acadêmica) ou programático (para formulação
de políticas)” (JANUZZI, 2001, p. 15).
O conceito de Jannuzzi (2001) enfatiza o indicador como um recurso metodoló-

gico a ser aplicado na prática de modo empírico, por informar sobre algum aspecto da
realidade social e suas mudanças, servindo como referência explicativa para a dinâmica
social, mostrando como essa se define na vida prática e cotidiana. Tal definição refere-
se aos indicadores mais tangíveis da dinâmica da realidade social, tais como Índice de
Gini, Índice de Desenvolvimento Humano (IDH), Taxa de Mortalidade Infantil, Taxa de
Analfabetismo, entre outros, que trataremos posteriormente.
No campo da avaliação dos projetos sociais, os indicadores são a conversão neces-

sária para mensuração dos objetivos. Para Raposo (2000, p. 84), “indicador é um fator ou
um conjunto de fatores que sinaliza ou demonstra a evolução, o avanço, o desenvolvi-
mento rumo aos objetivos e às metas do projeto”. Corroborando nesse mesmo sentido
e ampliando a discussão, Buvinich (1999, p. 30) “Os indicadores, por outro lado, são as
134
medidas (quantitativas e/ou qualitativas) que permitem aferir o estado ou progresso
dos objetivos, metas e critérios (padrões) de um programa, projeto ou atividade”.
Segundo Assis et al. (2005), os indicadores, no contexto da avaliação são parâ-

metros quantificados e/ou qualitativamente elaborados que servem para detalhar se
objetivos de uma intervenção estão sendo adequadamente conduzidos (avaliação de
processo) ou foram alcançados (de resultados). Enfim, pode-se sintetizar afirmando
que são:
[...] uma espécie de sinalizadores que buscam expressar sinteticamente um aspecto da realidade
(variável). Contudo, nunca dão conta da totalidade do real. Por isso, mesmo quando não muito
potentes, eles assinalam determinadas tendências, mas não trazem certeza absoluta quanto aos
resultados de uma ação ou de um processo. No entanto, seu grande valor é possibilitar a construção
de meios de verificação dos rumos das mudanças que se quer produzir (ASSIS et al., 2005, p. 106).
Vejamos alguns exemplos da relação entre objetivos e indicadores de projetos/

programas sociais:
Exemplo 1 – Projeto na área educacional
Objetivo: elevar a qualidade da educação municipal do Ensino Fundamental

até atingir a média nacional, no período de três anos.
Indicadores:
– Resultado anual da prova nacional de rendimento escolar;
– Taxa de repetência;
– Taxa de evasão escolar.
Exemplo 2 – Projeto para geração de trabalho e renda
Objetivo: diminuir a taxa de desemprego para, no máximo, 15% da População

Economicamente Ativa (PEA).
Indicadores:
– Taxa de desemprego (relação entre população desempregada/população

economicamente ativa).
Exemplo 3 – Projeto de para melhorar o acesso a justiça (ASSIS et al., 2005)

Indicadores sociais
Objetivo: propiciar o acesso igualitário a justiça.
Indicadores:
135
– Porcentagem de cidadãos que dizem ter acesso ao sistema judiciário para
resolver problemas (segmentados analisados por gênero, etnia, região e ní-
vel de urbanização);
– Porcentagem de pessoas acusadas de crime legalmente representadas no

sistema de justiça (segmentados e analisados da mesma forma);
– Porcentagem de cidadãos que afirmam que a polícia não aceita suborno

quando solicitada para resolver problemas (segmentados e analisados da
mesma forma).
Classificação e tipologia de indicadores

de projetos sociais
Existem várias formas de classificar indicadores sociais apontados na literatura
sobre avaliação. A divisão mais comum é segundo a área temática da realidade social
a que se referem. Assim, existem indicadores de saúde (ex.: recorrência de viroses em
uma dada população etc.), indicadores educacionais (ex.: taxa de evasão escolar, es-
colaridade média etc.), indicadores de mercado de trabalho (ex.: renda média mensal,
percentual de empregabilidade formal etc.), indicadores demográficos (ex.: taxa de
natalidade, taxa de mortalidade etc.), indicadores de desenvolvimento (ex.: Índice
de Desenvolvimento Humano etc.), entre outros (JANNUZZI, 2001).
Uma classificação básica corresponde à divisão em indicadores quantitativos ou

objetivos e indicadores qualitativos ou subjetivos. Os indicadores objetivos “se referem
a ocorrências concretas ou entes empíricos da realidade social, construídos a partir de
estatísticas públicas disponíveis” (JANNUZZI, 2001, p. 20-21), por exemplo, a porcenta-
gem de domicílios com acesso à rede de água, taxa de desemprego etc. Os indicadores
subjetivos correspondem “a medidas construídas a partir da avaliação dos indivíduos
ou especialistas com relação a diferentes aspectos da realidade, levantadas em pesqui-
sas de opinião pública ou grupos de discussão” (Idem).
Nesta mesma linha da classificação, os indicadores podem ser classificados

quanto ao nível de tangibilidade dos aspectos que mensuram. Os indicadores tangíveis
são aqueles que mensuram os elementos facilmente observados como renda, escola-
ridade, forma de organização e gestão, legislação etc. Os intangíveis são aqueles que
136
mensuram os elementos que só podem ser captados indiretamente por meio de suas
formas de manifestação, por exemplo, a consciência social, autoestima, valores, atitu-
des, estilo de liderança, protagonismo, cidadania (ASSIS et al. 2005, p. 106).
Distingue-se ainda indicadores descritivos, que apenas descrevem aspectos da

realidade empírica, não sendo dotados de significado valorativo, dos indicadores nor-
mativos que, ao contrário, refletem juízos de valor e critérios normativos (JANNUZZI,
2001, p. 21).
No âmbito da avaliação dos projetos e programas sociais os indicadores são deno-

minados indicadores de desempenho, no sentido que por meio desses pode-se mensu-
rar impactos, efeitos, resultados ou produtos, processos e recursos de um projeto, para
avaliar se os objetivos e metas estão sendo alcançados ou não. A partir da definição de
indicadores é possível identificar as fontes de dados e fluxos de informação requeridos
para efetuar as verificações/mensurações necessárias (BUVINICH, 1999).
Pode-se classificar os indicadores de avaliação como (BUVINICH, 1999; RAPOSO, 2000):
Indicadores de insumos ou de recursos (input indicators)
Mensuram a quantidade e qualidade dos recursos fornecidos para um pro-

grama ou projeto. Correspondem às medidas associadas à disponibilidade de
recursos.
Ex.: quantidade de médicos por mil habitantes ou gasto monetário per capita em
saúde.
Indicadores de processo, fluxo ou de atividades (throughput indicators)
Mensuram as atividades implementadas no dia a dia do projeto/programa

para a implementação dos recursos e outros processos na tomada de decisão.
São intermediários, traduzem em medidas quantitativas o esforço operacional
de alocação de recursos para obtenção de melhorias efetivas.
Ex.: n.º de consultas ao mês por criança de até 1 ano.
Indicadores de produtos ou resultados (outcome ou output indicators)
Mensuram a quantidade e qualidade dos bens e serviços criados ou forneci-

dos através do uso dos insumos. São aqueles vinculados às dimensões empíri-
cas da realidade, referidos as variáveis resultantes de processo complexos.
Indicadores sociais
Ex.: Taxa de morbidade ou mortalidade infantil, crianças vacinadas, grupos cons-

tituídos e funcionando, clínicas e escolas construídas etc.
137
Indicadores de efeito e impacto (impact indicators)
Mensuram a qualidade e quantidade dos resultados alcançados através do

fornecimento e uso dos bens e serviços.
Ex.: mudanças na qualidade de vida, redução da incidência de doenças, incre-

mento de renda, redução da mortalidade infantil etc.
A utilização de indicadores sociais de modo isolado, principalmente, usando

apenas dados quantitativos podem servir para atender a interesses políticos de alguns
dos atores envolvidos nos projetos sociais, por representarem fonte de poder para im-
pressionar uma comunidade dos feitos ou não feitos no plano político.
Caracterização e utilização de indicadores

De modo geral, os indicadores são utilizados para justificar necessidades de inter-
venção em uma dada realidade social, bem como para avaliar resultados de programas
e projetos sociais em andamento ou concluídos.
Segundo Assis et al. (2005, p. 106), “os indicadores podem ser construídos para
medir ou revelar aspectos relacionados aos diversos planos em observação: nos níveis
individuais, coletivos, associativos, políticos, econômicos e culturais”. Podem, por
exemplo, mensurar a disponibilização e/ou o acesso aos bens públicos a serviços so-
ciais básicos, bem como, servir de parâmetro para avaliar se os objetivos de um projeto
foram alcançados ou não.
Campos, Abegão e Delamaro (2002, p. 18) apontam que a principal utilidade dos
indicadores é a de “serem usados para evitar – ou pelo menos diminuir – ambigui-
dades na comunicação”. Por outro lado, a utilização equivocada de indicadores pode
representar um grande problema para a formulação de políticas, programas e projetos
sociais.
De modo geral, os gestores de políticas e projetos sociais buscam indicadores

em fontes secundárias e terciárias confiáveis buscando contextualizar os problemas
sociais aos quais enfrentam. No caso dos projetos sociais, no nível micro, local, pontual,
“a definição de indicadores é uma tarefa quase artesanal, no sentido de que deve ser
feita ‘sob medida’ para cada projeto” (RAPOSO, 2000, p. 84). Daí surge a maior dificulda-
de para definição dos indicadores dos projetos sociais: a baixa clareza e precisão dos
objetivos, que comumente são amplos demais indo além do escopo e competência
institucional que se dispõe.
138
No nível dos projetos os indicadores servem para:
indicar exatamente os resultados de cada um dos níveis de objetivos;
fornecer as provas tangíveis de realização de cada nível;
fornecer uma descrição operacional (quantidade, qualidade, público-alvo,

tempo e localização dos objetivos e resultados);
permitir julgar a pertinência e a viabilidade do objetivo do projeto e de seus

produtos.
estabelecer critérios para a avaliação do projeto;
permitir acompanhar a realização do projeto.
Pensando na operacionalização para construção de indicadores, Raposo (2000)

enfatiza as ações desenvolvidas pela Interamerican Foundation (IAF), uma agência de
financiamento vinculada ao governo americano, que criou um modelo que permite
melhor visualizar o escopo das ações e favorece a definição dos indicadores. A figura a
seguir, do cone invertido, permite a compreensão de como a ação de um projeto pode
ter foco localizado, pontual, mas que dependendo das variáveis e do contexto, pode
ampliar seu impacto e, em alguns casos, atingir o nível das políticas públicas.
(RAPOSO In ÁVILA, 2000, p. 86)

Espaço cívico-social SOCIEDADE Normas sociais
Leis Local / Regional / Valores
Políticas Nacional Atitudes
Práticas Relações
Capacidade de gestão ORGANIZAÇÕES Cultura organizacional

Planejamento E REDES Visão
Gerência Estilo democrático
Recursos Autonomia
Alcance / Articulações Solidariedade
Nível de vida INDIVÍDUOS Capacidades pessoais

Necessidades básicas E FAMÍLIAS Autoestima
Conhecimento / habilidades Identidade cultural
Emprego / renda Criatividade
Patrimônio Reflexão crítica
Indicadores sociais
TANGÍVEIS INTANGÍVEIS
139
Diante da figura do cone invertido, a equipe gestora de um projeto social deve
responder às seguintes indagações: O que queremos avaliar? O que os meus parceiros
querem avaliar? Como podemos avaliar? Quem pode avaliar? Esse modelo contribui
para dimensionar a potencialidade de impactos do projeto, fazendo com que finan-
ciadores e executores, em consenso possam equilibrar suas expectativas, reduzindo
desentendimentos no que se refere à avaliação (RAPOSO, 2000).
Independente do nível de tangibilidade dos indicadores, esses devem ser:
Confiáveis, já que distintos avaliadores devem obter os mesmos resultados ao

analisar o mesmo programa/projeto com os indicadores propostos;
Válidos e adequados (relevantes) para medir precisamente aquilo que se deseja

medir;
Claros e precisos;
Úteis para mensurar mudanças que possam ser atribuídas ao resultado da exe-
cução das ações do programa/projeto (SANTOS et al. 2001).
Buvinich (1999) acrescenta outras características a essas:
Sensitivo – às mudanças da situação que é observada;
Aceitável – pela população em estudo e pelos que coletam a informação;
Específico – adaptado aos objetivos do programa/projeto;
Oportuno – que possa ser constituído e reportado em tempo hábil;
Tecnicamente viável – que os dados requeridos possam ser coletados e men-

suráveis (por exemplo, fácil de coletar através de amostragem, disponibilidade
de pessoal especializado, disponibilidade de transporte do equipamento ne-
cessário etc.); e
Custo-efetivo – que os dados requeridos possam ser coletados a um custo

razoável (i.e., custos de capital, pessoal, operacionais).
Jannuzzi (2001) destaca como propriedades desejáveis aos indicadores sociais:

relevância social, validade, confiabilidade, cobertura, sensibilidade, especificidade, in-
teligibilidade e sua construção, comunicabilidade, factibilidade para obtenção, perio-
dicidade na atualização, desagregabilidade, historicidade.
140
Formulação de indicadores
Na investigação avaliativa deve-se saber combinar adequadamente indicadores
quantitativos e qualitativos, tangíveis e intangíveis, diretos e indiretos. Para isso, Va-
larelli apud Assis et al. (2005) aponta que é preciso criar sistemas de indicadores1 que
levem em conta:
concepções, interesses e enfoques das organizações e atores envolvidos, sur-

gidos por meio de processos de diálogo e negociação;
o contexto para criação de um sistema de indicadores específicos do projeto;
o modo de gestão da avaliação;
os recursos – o tempo, a duração do projeto de avaliação e os recursos

disponíveis.
Segundo Assis et al. (2005, p. 122), a importância de trabalhar com vários indi-
cadores complementares, para avaliar um mesmo objetivo/meta complexo, propicia
uma visão crítica dos resultados. O sucesso da avaliação está no equilíbrio do número
e significância dos indicadores: “nem excessivos que inviabilizem a análise dos dados e
nem insuficientes que impeçam o avaliador de tirar conclusões”.
Quando o objetivo de um programa tem mais de um indicador, deve ser estabele-

cida uma metodologia de ponderação levando-se em conta não apenas a relevância de
cada variável sobre o problema central, mas também as peculiaridades regionais, a impor-
tância dos atores relevantes, os macro-objetivos, as estratégias governamentais e outras.
Exemplo de ponderação de indicadores
Objetivo de impacto: elevar a qualidade da educação municipal em 30% até

atingir a média nacional.
Indicadores de impacto Peso
– Resultados da Prova Nacional de Rendimento Escolar 50%
– Taxa de repetência 30%
– Taxa de evasão escolar 20%

Indicadores sociais
1
No plano macro denomina-se como Sistema de Indicadores Sociais o “conjunto de indicadores sociais referidos a um determinado aspecto da realidade social
ou área de intervenção programática” (JANNUZZI, 2001, p. 17). Assim, são definidos alguns Sistemas de Indicadores por áreas temáticas pela OCDE (saúde, edu-
cação, emprego, acesso ao consumo, segurança pessoal, condições de habitação e do ambiente físico, lazer, participação social); pela ONU (população, saúde,
educação, atividade econômica, renda, patrimônio, uso do tempo, segurança pública, mobilidade social, cultura, comunicação, lazer), entre outros.
141
Muitas vezes, os indicadores que permitem medir diretamente os objetivos não são
encontrados. Nesse caso, devem ser estabelecidas “dimensões operacionais” (SANTOS
et al., 2001) para se construir os chamados indicadores indiretos, por exemplo:
Objetivo: aumentar a participação dos pais nos projetos de merenda escolar.
Dimensão operacional: aumento da participação dos pais representada pelo au-

mento das doações recebidas pelo programa.
Indicador indireto: taxa de crescimento do número de doações.
As fontes de dados e a metodologia aplicada devem ser especificadas para cada in-
dicador. Tais fontes podem ser primárias, internas ao programa (levantamento de campo
para o caso da avaliação ex-post), ou secundárias, a exemplo das estatísticas oficiais.
Os indicadores são, geralmente, apresentados como uma relação ou taxa entre

variáveis associadas ao fenômeno sobre o qual se pretende atuar e devem conter as
informações a seguir indicadas, conforme citado por Santos et al. (2001, p. 25):
a) Descrição – é a denominação do indicador selecionado;
b) Unidade de medida – é o padrão escolhido para mensurar a relação adotada do indicador;
c) Índice – é o valor da aferição de um indicador em um dado momento. Os índices combinam

múltiplos indicadores em medidas singulares;
d) Data de apuração – é a data mais recente da apuração do índice;
e) Índice (meta) desejado ao final do plano – é o valor que se deseja atingir com a execução do
programa, expresso pelo indicador, ao final do período de vigência do plano;
f) Fonte de apuração – é a instituição responsável pela apuração e acompanhamento do indica-

dor escolhido. A fonte pode ser uma instituição oficial ou privada. Exemplos: IBGE, FGV, Banco
Central, SEBRAE, órgãos integrantes da estrutura do Governo, que criem ou mantenham siste-
mas de coleta e tratamento de informações para essa finalidade;
g) Base geográfica de apuração do índice – é o menor nível de agregação geográfica da apura-

ção do índice. Pode ser municipal, distrital ou estadual;
h) Periodicidade da apuração – é a frequência com que o índice é apurado e divulgado, podendo

ser mensal, trimestral, semestral, anual ou outra;
i) Fórmula de cálculo – é a fórmula matemática e/ou outros esclarecimentos necessários para

a correta compreensão do significado do indicador e determinação da unida-
de de medida.
142
A seguir são apresentadas algumas perguntas definidas pelo Vera Institute of
Justice (2003), citadas por Assis et al. (2005, p. 113) que podem nortear a formulação de
indicadores. Estes deveriam responder às indagações sobre:
Validade/confiabilidade: têm a capacidade de captar mudanças em relação ao alcance dos

objetivos? Estão medindo resultados do programas e não apenas atividades das instituições?
Avaliadores distintos chegariam aos mesmos resultados se utilizassem os mesmos critérios?
Equilíbrio: existe uma “cesta balanceada de indicadores” para medir o progresso de cada
objetivo? A ambiguidade inerente a um critério específico se reduz mediante à presença de
outros?
Sensibilidade: cada um deles e todos no seu conjunto são suficientemente sensíveis para
captar os tipos de mudanças que provavelmente ocorrerão ao longo da avaliação?
Igualdade: captam experiências de pessoas ou de grupos minoritários? A experiência do conjunto

do grupo avaliado poderia ser desagregada para isolar a experiência de grupos particulares?
Motivação: permitem identificar antecipadamente situações que mudam comportamento

de gestores e cidadãos?
Questões práticas: existem mecanismos viáveis de coleta de dados que sejam regulares,
continuados, simples e não muito caros? Os indicadores coletados são confiáveis?
Propriedade: pessoas e instituições cujas mudanças serão avaliadas participam na sua defi-
nição e nos critérios de seu desenvolvimento? Existe confiança dos que estão sendo avalia-
dos na qualidade e na adequação dos critérios?
Clareza: são compreendidos e fazem sentido para todos os atores envolvidos na investiga-
ção, incluindo as pessoas com maiores dificuldades de compreensão teórica. As medidas
expressam unidades compreensíveis para a maioria dos cidadãos?
Principais fontes de informação

e indicadores no Brasil
Para a formulação de políticas públicas ou mesmo de projetos e programas so-
ciais, as fontes oficiais de indicadores sociais tais como as informações fornecidas pelo
Instituto Brasileiro de Geografia e Estatítica (IBGE), ONU, Unicef, Organização Interna-
cional do Trabalho (OIT), Organização Mundial de Saúde (OMS), Banco Mundial, entre
outras, são essenciais. Essas organizações produzem periodicamente relatórios de in-
Indicadores sociais
dicadores sociais, tais como:
143
(JANUZZI, 2001, p. 60. Adaptado.)
Principais publicações regulares de indicadores sociais
Instituição Publicação
Instituto Brasileiro de Geografia www.ibge.gov.br Anuário Estatístico do Brasil
e Estatística (IBGE) Relatório de Indicadores Sociais
Brasil em Números
Comissão Econômica para Amé- www.cepal.org/brasil/ Panorama Social da América La-
rica Latina e Caribe (CEPAL) tina
Anuário Estatístico da América
Latina
Centro Latinoamericano y Cari- www.cepal.org/celade/cela- Boletim Demográfico
beño de Demografía (CELADE) de50/
Banco Mundial (World Bank) www.bancomundial.org.br Relatório sobre o Desenvolvi-
mento Mundial
Organização das Nações Unidas www.fao.org.br/ The State of Food Insecurity in
para a Agricultura e Alimentação The World
(FAO)
Fundo de População das Nações www.unfpa.org.br Situação da População no Mun-
Unidas (FNUAP) do
Organização Internacional do www.oit.org.br Yearbook of Labor Statistics
Trabalho (OIT)
Organização Mundial de Saúde www.oms.org World Health Report
(OMS)
Organização das Nações Unidas www.onu-brasil.org.br Demographic Yearbook
(ONU)
Programa das Nações Unidas www.pnud.org.br Relatório de Desenvolvimento
para o Desenvolvimento (PNUD) Humano
Organização das Nações Unidas www.brasilia.unesco.org World Education Report
para a Educação, a Ciência e a Statically Yearbook
Cultura (UNESCO)
Fundo das Nações Unidas para a www.unicef.org.br Situação da Infância no Mundo
Infância (UNICEF)
Na atualidade, graças à internet, a maior parte dos relatórios, bases de dados e

outras publicações sobre indicadores sociais estão disponíveis para a população. A ra-
pidez de acesso às estatísticas públicas permite agilidade para análise e cruzamento de
dados, para poder fazer comparações e conseguir acompanhar a possível eficácia das
políticas sociais. Em vários sites oficiais do governo federal, governos estaduais, insti-
tutos de pesquisa e análise e organismos internacionais podem-se acessar estatísticas,
indicadores, relatórios sociais e base de dados que permitem visualizar indicadores
sociais fundamentais para a avaliação e planejamento de políticas e projetos sociais.
A seguir listamos alguns dos principais sites com estatísticas, indicadores e relató-
rios sociais no nível nacional, a partir das indicações feitas por Jannuzzi (2001, p. 62-63)
e outras mais recentes:
144
(JANNUZZI, 2001, p. 62-63. Adaptado.)
Instituição Site
Dados Estatísticos na Esfera Federal
Instituto Brasileiro de Geografia e Estatítica (IBGE) www.ibge.gov.br
Instituto Nacional de Estudos e Pesquisas Anísio www.inep.gov.br
Teixeira (INEP)
DATASUS http://w3.datasus.gov.br/datasus/datasus.php
Ministério do Desenvolvimento Social e Combate www.mds.gov.br
a Fome
Sistema Único de Assistência Social (SUAS) www.mds.gov.br/ascom/hot_suas/suas.htm
Ministério do Trabalho e Emprego www.mte.gov.br
Ministério da Justiça www.justiça.gov.br
Ministério da Saúde www.saude.gov.br
Ministério do Planejamento www.planejamento.gov.br
Conselho Nacional de Desenvolvimento Científico www.cnpq.br
e Tecnológico (CNPq)
Coordenação de Aperfeiçoamento de Pessoal de www.capes.gov.br
Nível Superior (CAPES)
Agências Estaduais de Estatísticas
Fundação CIDE (Centro de Informações e Dados do www.cide.rj.gov.br
Rio de Janeiro)
Companhia de Planejamento do Distrito Federal www.codeplan.df.gov.br
(CODEPLAN)
Fundação João Pinheiro (MG) www.fjp.gov.br
Agência Estadual de Planejamento e Pesquisas de www2.condepefidem.pe.gov.br/web/condepeFi-
Pernambuco (CONDEPE) dem
Fundação de Economia e Estatística do Rio Grande www.fee.rs.gov.br
do Sul (FEE) www.fee.tche.br
Instituto Paranaense de Desenvolvimento Econô- www.ipardes.gov.br
mico e Social (IPARDES)
Superintendência de Estudos Econômicos e So- www.sei.ba.gov.br
ciais da Bahia (SEI)
Fundação Sistema Estadual de Análise de Dados www.seade.gov.br
de São Paulo (SEADE)
Instituto de Pesquisa e Estratégia Econômica do www.ipece.gov.br
Ceará (IPECE)
Institutos de Pesquisa e Análise
Centro Brasileiro de Análise e Planejamento www.cebrap.org.br
(CEBRAP)
Indicadores sociais
Departamento Intersindical de Estatísticas e Estu- www.dieese.org.br

dos Socioeconômicos (DIEESE)
Centro de Desenvolvimento e Planejamento Re- www.cedeplar.ufmg.br/
gional de Minas Gerais (CEDEPLAR)
Fundação Prefeito Faria Lima – Centro de Estudos e www.cepam.sp.gov.br
Pesquisa em Administração Municipal (CEPAM)
145
Fundação Joaquim Nabuco www.fundaj.br
Fundação de Desenvolvimento Administrativo www.fundap.sp.gov.br
(FUNDAP)
Fundação Joaquim Nabuco (FUNDAJ) www.fundaj.br
Fundação Carlos Chagas (FCC) www.fcc.org.br
Fundação Getúlio Vargas (FGV) www.fgv.br
Instituto de Pesquisa Econômica Aplicada (IPEA) www.ipea.gov.br
Instituto Pólis www.polis.org.br
Instituto Brasileiro de Informação em Ciência e www.ibict.br
Tecnologia (IBICT)
Núcleo de Estudos de População (NEPO) www.nepo.unicamp.br
Dentre os muitos indicadores sociais usados por instituições governamentais na-

cionais e internacionais, Jannuzzi (2001) destaca alguns principais:
1. Indicadores demográficos e de saúde
a) Taxa de natalidade;
b) Taxa de crescimento demográfico;
c) Carga de dependência de crianças e idosos;
d) Taxa de urbanização;
e) Taxa de mortalidade infantil;
f ) Esperança de vida ao nascer;
g) Indicadores de morbidade e atendimento à saúde;
h) Indicadores de desnutrição;
i) Coeficientes técnicos de recursos;
j) Indicadores-insumo e de processos nas políticas de saúde: gasto públi-

co per capita com atendimento a saúde, gasto público com saúde como
porcentagem do PIB, enfermeiros por mil habitantes, médicos por mil ha-
bitantes, leitos hospitalares por mil habitantes, dias/horas de espera por
internação.
2. Indicadores educacionais e culturais
a) Taxa de analfabetismo;
b) Escolaridade média;
146
c) Taxa de atendimento escolar;
d) Taxas de desempenho no sistema escolar;
e) Coeficientes técnicos de recursos;
f ) Indicadores-insumo e processo na política educacional: gasto público per

capita na educação, gasto público com educação como porcentagem do
PIB, razão alunos por professor, professores por mil habitantes, percentual
de professores com formação universitária, número médio de horas-aula;
g) Indicadores de acesso à informação e cultura: tiragem de jornal por mil

habitantes; títulos de livros lançados por mil habitantes, percentual de do-
micílios com TV, rádio ou telefone; percentual de domicílios com acesso à
internet, estações de rádio por 100 mil habitantes.
3. Indicadores de ciência e tecnologia
a) Produtividade em pesquisa, ciência e tecnologia;
b) Número de patentes registradas;
c) Números de bolsas para pesquisadores.
4. Indicadores de mercado de trabalho
a) Taxa de participação;
b) Taxa de desemprego aberto e oculto;
c) Rendimento médio no trabalho.
5. Indicadores de renda e pobreza
a) Renda ou PIB per capita;
b) Renda familiar média;
c) Índice de Gini para a distribuição de renda (coeficiente geralmente utiliza-

do para calcular a desigualdade de distribuição de renda);
d) Parcela da massa apropriada de famílias (é um indicador do grau de renda

em uma sociedade, menos citado do que o índice de Gini. Trata-se do cál-
Indicadores sociais
culo do montante de renda das famílias mais pobres pelo montante total
de renda);
e) Posse de bens duráveis e classe socioeconômica;
147
f ) Indicadores de pobreza como insuficiência de renda (proporção de indi-
gentes ou pobres, linha de indigência, linha de pobreza);
g) Indicadores de pobreza como carências múltiplas (proporção da popula-

ção com necessidades básicas insatisfeitas – acesso à educação, à saúde,
ao trabalho regular etc.);
h) Índices de custo de vida.
6. Indicadores habitacionais e de infraestrutura urbana
a) Proporção de domicílios adequados;
b) Taxa de cobertura dos serviços urbanos;
c) Indicador de infraestrutura de transporte.
7. Indicadores de qualidade de vida e meio ambiente
a) Indicadores subjetivos de qualidade de vida: satisfação com a moradia; satisfa-

ção com o bairro, vizinhança, cidade; intenção de mudar-se de domicílio ou cida-
de; atendimento às necessidades básicas, atendimento às aspirações culturais;
b) Indicadores de criminalidade e homicídios;
c) Indicadores de alocação de tempo;
d) indicadores ambientais.
8. Indicadores político-sociais e de opinião pública
a) Indicadores de acesso a direitos;
b) Taxa de sindicalização e associativismo;

c) Indicadores de opinião pública: principais problemas da sociedade, nível de

corrupção da Administração Pública etc.
9. Índices de Desenvolvimento e Pobreza Humana
a) IDH – Índice de Desenvolvimento Humano;
b) IPH – Índice de Pobreza Humana.
Esses são, entre outros, os vários indicadores sociais que servem como balizado-
res na tomada de decisão quando se pretende planejar e avaliar um projeto ou política
social. Tais indicadores secundários atrelados a informações primárias, num nível micro
do desenvolvimento de um projeto, servem como base para aferir níveis de eficiência,
eficácia e efetividade das ações sociais implementadas em uma dada realidade.
148
Texto complementar
Educação e participação: coordenadora geral do Cenpec

fala sobre indicadores
Para entender o que são os indicadores de ação socioeducativa, o Educação & Participação
procurou a coordenadora geral do Cenpec, Maria do Carmo Brant de Carvalho, para uma entrevista
(EDUCAÇÃO E PARTICIPAÇÃO, 2009)
E&P – O que são os indicadores?
Carminha – Indicadores são sinais. Os sinalizadores de uma realidade. Por

exemplo: quando eu falo no indicador “evasão escolar” ele é um sinal de que
a educação não vai bem. Se as crianças saem da escola e a evasão é alta,
o indicador está me sinalizando que alguma coisa não vai bem na educa-
ção. É por isso que um indicador é um sinalizador que pode orientar tanto
a comunidade a monitorar melhor e a perseguir junto uma melhoria, como
também para políticas públicas, para os governos dizerem aprimorarem a
política em uma linha mais precisa.
E&P – Quando eles são usados?
Carminha – Eles são usados exatamente para sinalizar. Especialmente na

política pública você precisa de indicadores. O indicador de mortalidade
infantil é mais um exemplo. Quando eu digo que estão morrendo trinta a
cada mil crianças antes de completar um ano, eu estou dizendo um dado de
realidade de um país ou de um município. Isso vai orientar política pública
em termos de política de redução da mortalidade infantil.
Junto com um indicador, eu tenho também o que a gente chama de parâ-

metros ou ideais a alcançar. Na mortalidade infantil, se eu tenho hoje 30 a
cada mil crianças que estão morrendo antes de um ano, eu também tenho
que ter um parâmetro para um número ideal. Nesse parâmetro bom, no má-
ximo oito ou cinco crianças morrerão antes de um ano.
Indicadores sociais
Eu tenho um sinalizador que é o indicador e eu tenho um parâmetro, ou

um ideal, um padrão a alcançar, que me permite dizer “eu ainda tenho que
avançar tanto”. Isso serve também para a comunidade, ou para a ONG.
“Estou aqui e preciso chegar lá”.
149
E&P – Quem faz os parâmetros?
Carminha – Vamos pegar um exemplo: o MEC criou o IDEB que é o Índice

de Desenvolvimento da Educação Básica, por município e por escola. Então,
misturando vários dados de evasão escolar, de reprovação escolar, de ren-
dimento escolar, as provas Brasil, como é que a criança está em termos de
rendimento escolar, é possível concluir que muitos municípios no Nordeste
estão com um índice de desenvolvimento da educação, de 3.2 ou 2.9, em
uma escala que vai de 0 a 10. O idealíssimo seria o 10, mas posso pensar que
o ideal para eu atingir entre 5 e 10 anos é que esse município que está em
2.9 chegue a 6. Por que 6? Porque 6 é o que já atingiram os países desen-
volvidos. Os que estão melhores em educação estão por volta do 6, como
índice ideal.
Quem define são os próprios estudos de realidade. No Brasil, já se tem esse

índice de 6 em alguns municípios, mas poucos. Nós temos isso como parâ-
metros para atingir com os outros.
E&P – O que são os indicadores de ação socioeducativa?
Carminha – Acho que para falar em indicadores de ação socioeducativa,

nós precisamos começar a entender que as ações educativas não ocorrem
só na escola. Elas atravessam ou estão presentes em várias políticas sociais.
Na política de cultura, eu tenho a produção das ações socioeducativas, na
política de assistência social eu também tenho produção de ações socio-
educativas, no esporte, na saúde. Agora, recentemente nós temos falado
muito na importância das ações socioeducativas, na existência e na realiza-
ção plena delas porque elas produzem aprendizagens, que são importantes
para a criança viver no mundo, em sociedade, e para inclusive melhorar em
seu rendimento escolar.
Mas é, sobretudo, para produzir aquilo que são objetivos da educação como
um todo. Produzir a coesão social, a melhor convivência, a participação na
vida pública, apropriar-se do universo cultural, das riquezas culturais que
têm na sociedade. Tudo isso caminha muitas vezes menos pela escola e
mais por essas atividades socioeducativas.
E&P – Explicado isso, por que indicadores socioeducativos?
Carminha – Porque também chegou um ponto de que eu não posso ver

essa malha tão grande de projetos socioeducativos existente no país e fei-
150
tos por ONGs, por organizações comunitárias e serviços públicos como a
biblioteca, o centro cultural, o telecentro, a quadra de esporte, o centro des-
portivo, sem me perguntar: “o que é uma boa ação socioeducativa?”, “o que
é uma boa oferta de atividade socioeducativa?”, “o que são boas oportunida-
des de aprendizagem socioeducativa?”.
Aqui no Cenpec nós passamos a pensar essas questões. E não só o Cenpec, o

Unicef está interessado nisso, outras organizações brasileiras estão interes-
sadas nisso, outras fundações empresariais e o próprio estado, mais interes-
sado do que nunca, que a gente pensasse um pouco: o que seriam indica-
dores, ou melhor, sinalizadores, de uma prática socioeducativa competente
ou pertinente para aquela comunidade? Foi aí que nós no Cenpec fizemos
todo um esforço de sentar melhor e estudar esses 10 anos de Prêmio Itaú-
-Unicef com tantas ONGs e com tantos trabalhos que também a gente faz
via Prêmio Cultura Viva e outras áreas de ação.
Nós criamos aqui uma série de indicadores de boas oportunidades. Primeiro

esses indicadores vão levantar o leque de possibilidade de aprendizagens
socioeducativas. Não só a convivência, mas se ampliou ou não o universo
cultural, se a criança e o adolescente circulam mais pelos espaços socioe-
ducativos e outros da cidade. Não é caso de apontar cada um dos indica-
dores formulados, mas dizer que eles são sinalizadores para as ONGs e para
o próprio governo municipal e o próprio projeto de cultura e de esportes
pensarem quais oportunidades de aprendizagem deve-se desenvolver com
crianças e adolescentes fora do espaço escolar, mas que conjuguem no sen-
tido de desenvolver crianças, adolescentes e jovens.
É esse o sentido. Também como esta atividade socioeducativa é desenvol-

vida no geral pelo Terceiro Setor, portanto, por organizações não governa-
mentais, nós incluímos também o que estamos chamando de indicadores
de gestão, mas que não servem só para ONGs. Na realidade eles também
podem ser apropriados por organizações públicas, porque são os indica-
dores de gestão que me permitem dizer qual é o desenvolvimento da com-
petência gestora que essas organizações tem que conquistar para ofertar
melhores oportunidades de aprendizagem para crianças e adolescentes.
Indicadores sociais
E&P – O que motivou a formulação dos indicadores da ação socioedu-

cativa no escopo do processo seletivo do Prêmio Itaú-Unicef?
Carminha – Porque era o momento politicamente correto. O Prêmio Itaú-
151
-Unicef mobiliza mais de 2 mil organizações. Nesse processo, a gente traba-
lha com muitos avaliadores locais, regionais, ou seja, secretários municipais
de educação, assistência, professores de universidade, conselheiros muni-
cipais e estaduais de políticas públicas. Quando se junta todos esses ava-
liadores se tem uma grande oportunidade para trabalhar com indicadores.
Lançar no escopo do Prêmio permite maior visibilidade e maior indução ao
seu uso. E permite, inclusive, testar se eles são bons indicadores porque será
um grande público trabalhando com eles.
E&P – Para além da premiação, como é que as outras organizações liga-

das a educação vão poder usar esses indicadores?
Carminha – Nós temos ambições maiores na hora que a gente produz esses
indicadores e os quer aplicar, que é exatamente que na prática socioedu-
cativa desenvolvida por essas organizações; por outras organizações; por
secretarias municipais, estaduais e nacional de assistência social; pelas se-
cretarias de educação e pelas secretarias de cultura, elas tenham subsídios e
parâmetros inclusive para começar a olhar avaliativamente seus projetos, a
sua oferta socioeducativa. Assim, elas começarão a construir algo mais rico
e mais potente para as próprias crianças e adolescentes brasileiras.
E&P – Você começa explicando os indicadores e dando exemplo de in-

dicadores de política educacional, por exemplo, taxa de evasão escolar.
Esses indicadores formulados já podem ser considerados como indica-
dores de uma política? Isso quer dizer, validados e reconhecidos pelos
segmentos da sociedade?
Carminha – Eu acho que sim. Esse é o propósito: que ele seja apropriado
pela política pública. Mas se nós vamos conquistar isso e se conquistaremos
será muito bom. Ainda ontem eu estava pensando que se você tem hoje
uma base de dados que permite avaliar resultados e impactos no campo da
educação formal, mas nós não temos no campo dessa chamada educação
informal que é tão importante quanto a formal. Ou melhor, elas caminham
juntas, entrelaçadas. Então, propiciar isso é muito bom.
152
Atividades
1. Para o PNUD, o desenvolvimento humano deve ser entendido como um pro-

cesso dinâmico e permanente de ampliação de oportunidades dos indivíduos
para a conquista de níveis crescentes de bem-estar. Nesse sentido, desde os
anos 1990, calcula-se o Índice de Desenvolvimento Humano (IDH). Pesquise
como é realizado o cálculo do IDH e identifique o IDH do Brasil e do seu municí-
pio comparando-o com o de outros países e cidades que você julga que possui
um bom desenvolvimento.
2. As estatísticas oficiais e indicadores são utilizados como forma de justificar ob-

jetivos de políticas e projetos, legitimar posturas e ações de interveção social.
Considere que em uma você está preocupado com a situação educacional do
seu município e pretende desenvolver um projeto cujo objetivo central seja
voltado para melhorar a qualidade educacional básica do município. Que fon-
tes secundárias de informação poderiam ser utilizadas para justificar seu pro-
jeto? Quais indicadores poderiam ser utilizados para aferir possíveis objetivos
e metas?
Indicadores sociais
153
3. O Banco Mundial calcula a linha da pobreza tendo por base o critério econômi-
co daqueles que vivem com menos de 1 dólar por dia. Outros órgãos calculam
esse indicador com base no custo da cesta de alimentos, custo de transporte
coletivo e material escolar; alguns, ainda, baseiam-se no acesso aos serviços
sociais básicos; outros propõem medidas mais subjetivas como a autodeclara-
ção de pobreza, e as mediadas de pobreza relativa. Existem discussões meto-
dológicas bastante acaloradas e questões substantivas ainda não plenamente
resolvidas com relação ao conteúdo e à forma sobre como alguns indicadores
sociais são calculados, como no caso dos indicadores de pobreza. Consideran-
do a necessidade da utilização de sistemas de indicadores sociais, tal discussão
é importante para:
a) criar indicadores que permitam a políticos e administradores públicos con-

tar vantagens ou alardear desgraças referentes às políticas e aos programas
de governo que desenvolvem para combater a pobreza.
b) avaliar contextualmente a situação de maior ou menor pobreza em um dado

território, buscando aplicar diferentes indicadores para diferentes situações.
c) evitar a utilização de indicadores sociais de modo isolado, principalmente,

usando apenas dados quantitativos, buscando leituras tendenciosas para
atender a interesses apenas políticos de alguns dos atores envolvidos nos
projetos e políticas sociais.
d) utilizar indicadores reais de pobreza que privilegiam as questões qualitati-

vas, identificando precisamente os níveis de efetividade dos programas e
políticas sociais para a diminuição da pobreza.
4. Ao se elaborar um projeto social, é necessário que se disponha de indicadores

levantados com certa regularidade e periodicidade e, que, além de serem confi-
áveis, sejam relevantes, claros, precisos e úteis. A importância de utilizar indica-

dores com tais requisitos para a avaliação de um projeto social se dá porque:
a) servem como instrumento de controle social e transparência, buscando

acompanhar a mudança social, avaliar o efeito de projetos sociais imple-
mentados, corrigir eventuais distorções de implementação.
b) servem como mecanismo de supervisão para corrigir possíveis problemas

que ocorram durante a implementação de uma ação em um projeto social
já definido, possibilitando que esta seja mais eficiente.
154
c) devem ser relevantes e factíveis com a realidade social, buscando aferir ape-
nas a efetividade na implementação das ações planejadas no âmbito de um
projeto social.
d) devem ser específicos e confiáveis, obtidos com o mínimo custo possível

para que o projeto demonstre eficiência e consiga medir o nível de mudan-
ça social.
Indicadores sociais
155
Agregação de indicadores
e índices de desenvolvimento
Introdução
Vídeo O uso de indicadores em avaliação e monitoramento de projetos
sociais vem sendo cada vez mais frequente. Eles buscam traduzir rea-
lidades complexas em variáveis mais simples, de modo a tipificar tais
realidades, deixá-las mais claras ou ainda indicar direções de desenvol-
vimento dos objetos avaliados.
Cada indicador carrega consigo uma relação causal, que indica alguma coisa, um
estado ou uma direção. Não por acaso, o termo indicador tem origem no verbo latino
indicare, que significa apontar, descobrir, anunciar, estimar. Também não é por acaso
que alguns autores ressaltam a peculiaridade dos indicadores se colocarem um pouco
à frente do seu próprio tempo, detendo a capacidade de revelar tendências ou, como
define o IBGE, de alertar sobre um problema antes que o mesmo atinja um alto pata-
mar de gravidade, podendo ainda apontar algumas direções para a solução dos tais
problemas (IBGE, 2002).
Algumas realidades sociais, porém, são tão complexas que suas características
não são suficientemente traduzidas pelos chamados indicadores simples (por exem-
plo, número de famílias atendidas por um programa, número de crianças na escola
etc.), necessitando da agregação de alguns deles. Essa agregação normalmente pres-
supõe algum tipo de ponderação entre os indicadores simples que utiliza – em outras
palavras, nem todos os indicadores possuem a mesma importância na construção de
um índice. Na prática, um índice pode ser visto como um conjunto articulado de indi-
cadores simples, cuja agregação é realizada em prol da sintetização de um significado
único e complexo. Acredita-se que, dessa forma, possam traduzir com maior precisão
realidades sociais complexas, sobretudo para o público de não especialistas, além de
permitir a comparação entre tais realidades. A agregação de indicadores vem, portan-
to, tornando-se uma ferramenta aliada dos tomadores de decisão, preocupados, so-
157
bretudo, com a comunicação com um público maior, que não se detém nos detalhes
dos agregadores simples.
Há muitos índices disponíveis na literatura especializada em avaliação, sejam de

origem econômica, social ou ambiental, e todos eles vêm sendo cada vez mais uti-
lizados na avaliação de programas e projetos sociais. Alguns autores defendem que
o seu uso frequente é político, pois um indicador agregado consegue dar uma ideia
aproximada, mas razoável, da realidade onde o programa ou projeto atua ou atuará,
mas não consegue ir além disso. Por exemplo, é muito comum encontrarmos entre as
justificativas para a implementação de um projeto social que a sua população-alvo
situa-se em uma das áreas de menor índice de desenvolvimento humano (IDH) do país.
Com um único indicador agregado, o projeto em questão fornece uma rápida leitura
da sua população-alvo em relação a um contexto territorial ou populacional maior,
“comprovando” o estado de vulnerabilidade social de tal população.
Neste capítulo, você conhecerá alguns dos principais índices usados em avaliação
de programas e projetos sociais. Procure refletir sobre a finalidade de cada um deles,
sobre os seus limites cognitivos e de uso, assim como suas possibilidade de aplicação
e comparação.
Índices de desenvolvimento econômico

O desenvolvimento econômico é um conceito extremamente controvertido na
literatura. Uma das suas possíveis interpretações refere-se ao aumento contínuo dos
níveis de vida, incluindo o consumo de bens, produtos e serviços básicos para o con-
junto da população. Uma outra interpretação bastante difundida relaciona o desenvol-
vimento econômico ao progressivo enriquecimento dos países e dos seus habitantes
(sobretudo daqueles que participam da vida econômica do país), contribuindo para a
acumulação de ativos públicos e privados. Mas o objetivo deste capítulo não é discutir
as muitas teorias sobre o desenvolvimento econômico, mas sim apresentar os princi-

pais índices que se propõem a mensurá-lo.
Os índices de desenvolvimento econômico se popularizaram nos anos 1970.

Muitos autores acreditam que os índices de desenvolvimento econômico estão posi-
tivamente correlacionados a algumas melhorias sociais, tais como educação em geral
e educação infantil. Mas tal correlação positiva (ou seja, o crescimento de um atrai o
crescimento do outro) não é observada em todas as dimensões socais. Por exemplo,
essa mesma correlação não é percebida entre o aumento de renda e o aumento das
liberdades políticas individuais, como nos mostra o caso da China. Se os índices têm a
capacidade de representação da realidade social, podem também ocultar ou deformar
sua representação, se não forem utilizados corretamente.
158
Produto Interno Bruto/Líquido
O Produto Interno Bruto, ou simplesmente PIB, é um índice macroeconômico que
mensura a atividade econômica de uma determinada área geográfica (região, cidade,
estado, país etc.) durante um intervalo de tempo determinado (mês, trimestre, ano,
década etc.). A sua metodologia de cálculo requer alguns cuidados pois agrega dife-
rentes indicadores, de acordo com esta fórmula clássica:
PIB = C + I + G + X – M
Onde PIB = Produto Interno Bruto
C = Consumo privado
I = Investimentos Realizados – composto pela Formação Bruta de Capital Fixo

(FBCF) + Variação nos Estoques (EST)
G = Gastos Governamentais
X = Volume de Exportações
M = Volume de Importações
Observe que a fórmula é uma soma simples do consumo privado, investimentos

(realizados depurados da FBCF e atualizado com o EST), dos gastos governamentais e
do saldo do volume das exortações. Além dessa clássica leitura do PIB, nós podemos
ainda encontrar variações, tais como:
Quadro 1: Variações do PIB
Agregação de indicadores e índices de desenvolvimento

O autor.
Sigla Nome Descrição
PIB real Produto Interno Bruto Real Valor do PIB calculado sobre o
valor corrente do ano em que o
produto foi produzido.
PIB nominal Produto Interno Bruto nominal Valor do PIB calculado sobre o
valor constante (preço constan-
te) dos produtos, eliminado a
variação inflacionária.
PIL Produto Interno Líquido Valor do PIB subtraindo as depre-
ciações de capital.
PNB Produto Nacional Bruto Calculado somando ou subtrain-
do do PIB a Renda Líquida Envia-
da ao Exterior (RLEE). No caso do
Brasil o PIB é maior do que o PNB
pois enviamos mais recursos ao
exterior do que recebemos, ao
contrário, por exemplo, dos EUA.
159
PIB per capita Produco Interno Bruto per capita O cálculo divide o PIB pelo nú-
mero de componentes da po-
pulação total. Esse foi o primeiro
índice a calcular a qualidade de
vida de uma dada população.
A cada ano, diferentes Agências Internacionais calculam e classificam os países

quanto aos seus PIBs, fortalecendo muitas vezes a ideia equivocada que correlaciona a
renda de um país à qualidade de vida da sua população. Nos últimos anos, esse cálculo
tem, porém, levado em consideração um fator de correção dos valores, fazendo uso
de um método alternativo para equiparar os valores, substituído a antiga fórmula da
taxa cambial (todos os valores eram simplesmente convertidos para o dólar). Hoje o
método mais utilizado é a Paridade do Poder de Compra (PPC) ou Paridade do Poder
Aquisitivo (PPA). A PPC calcula quanto uma determinada moeda (o real, por exemplo)
pode comprar, tomando como parâmetro uma dada moeda (geralmente o dólar), já
que os bens e serviços variam de valor de país a país. Em outras palavras, procura ajus-
tar o poder de compra de uma população aos seus valores de custo de vida. Às vezes a
diferença é enorme entre a taxa cambial e o PPC.
As principais agências que calculam e publicam os seus índices e listas de clas-

sificação são o Fundo Monetário Internacional, o Banco Mundial e a CIA/EUA. Esses
índices são frequentemente utilizados para justificar financiamentos internacionais a
projetos e programas sociais em países em via de desenvolvimento, como é o caso
do Brasil. Observe a tabela abaixo e veja as classificações publicadas por importantes
agências internacionais, cujas diferenças de cálculo resultam de pequenas diferenças
de ponderações entre os indicadores simples usados, além do ano-base de cálculo.
Tabela 1: Comparação entre as classificações de diferentes agências
O autor.
Fundo Monetá- Banco Mundial CIA Wolrd Fact-
rio Internacional (2007) Book (2008)
Posição (2007)
quanto País
PNB per PNB per PNB per

ao PNB capita capita capita
PNB PNB PNB
(Posi- (Posi- (Posi-
ção) ção) ção)
1.º EUA 13,843,825 47,025 13,811,200 45,790 14,580,000 48,000
(6.º) (4.º) (8.º)
2.º China 7,034,838 5,943 7,055,079 5,345 7,800,000 6,100
(97.º) (90.º) (105.º)
3.º Japão 4,292,198 34,501 4,283,529 33,525 4,487,000 35,300
(22.º) (17.º) (35.º)
4.º Índia 2,996,588 2,787 3,092,126 2,753 3,319,000 2,900
(126.º) (115.º) (136.º)
160
5.º Alemanha 2,812,255 35,552 2,727,514 33,154 2,863,000 34,800
(21.º) (19.º) (26.º)
9.º Brasil 1,837,149 10,298 1,843,601 9,57(66.º) 2,030,000 10,300
(77.º) (82.o)
Índice de Desenvolvimento Humano (IDH)

O Índice de Desenvolvimento Humano (IDH), ou Human Development Index (HDI),
foi criado em 1990 pelo economista paquistanês Mahbub ul Haq1, com a colaboração
do economista indiano Amartya Sem, com o objetivo de mensurar e classificar o grau
de bem-estar e crescimento econômico de uma população. A partir de 1993, as Nações
Unidas passaram a adotar, calcular e publicar esse índice em um documento anual cha-
mado Relatório de Desenvolvimento Humano, para todos os países do mundo. Além
disso, ele foi recalculado para os anos anteriores a partir de 1975.
O IDH nasceu para se contrapor a outro indicador agregado: o PIB. Na perspectiva

do IDH, ao contrário do PIB, para auferir o grau de desenvolvimento de uma nação
ou população não basta analisar apenas a dimensão econômica do desenvolvimento,
é preciso levar em consideração outras dimensões. Como o próprio site das Nações
Unidas recorda, o IDH não mensura a “felicidade” de um povo, assim como não clas-
sifica os “melhores lugares para viver”, mas pretende ser uma medida geral, sintética,
de desenvolvimento humano. O IDH vem sendo cada vez mais utilizado na constru-
ção de políticas públicas, sobretudo depois que as Nações Unidas decidiram adotá-lo
como referência para os Objetivos de Desenvolvimento do Milênio2. Além disso, o IDH
é muito usado para classificar a posição de uma população em relação às demais, para
classificar o seu grau de desenvolvimento e para justificar a necessidade de programas
sociais em uma determinada população.

O IDH agrega as três dimensões do desenvolvimento humano: riqueza, educação
e esperança média de vida. A sua escala varia de 0 (zero; nenhum desenvolvimento
humano) a 1 (um; total desenvolvimento humano) e se divide em três grandes blocos:
IDH Classificação
Menor que 0,499 Populações com baixo desenvolvimento humano
Entre 0,500 e 0,799 Populações com desenvolvimento humano médio
Maior que 0,800 Populações com alto desenvolvimento humano
1
Mahbub ul Haq (1934-1998) foi um influente economista paquistanês na ONU, corresponsável pela Teoria do Desenvolvimento Humano, junto à Amartya
Sem, economista indiano e prêmio Nobel de Economia (1990), e corresponsável pela Relatório do Desenvolvimento Humano, publicado pela ONU desde 1990.
2
Até 2015, todos os 191 Estados-membros das Nações Unidas se comprometeram a alcançar os objetivos de: erradicar a extrema pobreza e a fome; atingir o
ensino básico universal; promover a igualdade entre os sexos e a autonomia das mulheres; reduzir a mortalidade infantil; melhorar a saúde materna; combater
o HIV/Aids, a malária e outras doenças; garantir a sustentabilidade ambiental e estabelecer uma parceria mundial para o desenvolvimento.
161
Observe que o IDH pode ser calculado para diferentes escalas territoriais. Pode
ser calculado, por exemplo, para um povoado, uma aldeia indígena, uma cidade, uma
região metropolitana, um estado federativo, uma nação ou outra qualquer unidade
territorial que possua os indicadores desagregados calculados. No Brasil, por exemplo,
tem sido muito utilizado pelo governo Federal o Índice de Desenvolvimento Humano
Municipal (IDH-M) que pode se consultado através do Atlas do Desenvolvimento
Humano publicado eletronicamente pelo Governo Federal, com informações sobre
todos os municípios brasileiros, assim como os seus Estados e Distrito Federal.
O cálculo do IDH é realizado a partir dos dados extraídos das estatísticas oficiais de
cada país, levando em consideração três dimensões: longevidade (IDHL), educação (IDHE)
e renda (IDHR). O cálculo final do IDH é a média aritmética simples dos três subíndices:
IDHL + IDHE + IDHR

IDHL =
3
Para cada uma dessas dimensões há um ou mais indicadores que são agregados,
conforme a tabela abaixo.
Quadro 2 – Composição dos indicadores que conformam o Índice de Desen-
volvimento Humano
O autor
Descrição
Dimensão Indicadores Peso
do indicador
Longevidade Esperança de vida ao Número médio de Peso 1
(IDHL) nascer anos que um indivíduo
pode esperar viver, se
submetido, desde o
nascimento, às taxas de
mortalidade observa-
das no momento (ano
de observação).
Educação Taxa de analfabetismo Calculada sobre a Peso 2

(IDHE) população acima de 15
anos. Mensurado em
percentual.
Taxa bruta de frequên- Somatório das pessoas,

cia à escola independentemente
da idade que frequen-
tam a escola (ensino
elementar, médio e
superior), dividido
pelo total de pessoas
entre 7 e 22 anos da
localidade.
162
Renda Renda por paridade do A renda é calculada Peso 1
(IDHR) poder de compra tendo como base o
PIB per capita do país.
Como existem diferen-
ças entre o custo de
vida de um país para o
outro, a renda medida
pelo IDH é em dólar
PPC (Paridade do Poder
de Compra), que elimi-
na essas diferenças
A partir de 2006 o IDH passou também a ser calculado levando em considera-

ção os critérios de gênero e de participação do gênero em seu cálculo. Surgiu assim o
Índice de Desenvolvimento Ajustado ao Gênero (IDG), que leva em conta as mesmas
dimensões do IDH, mas considera as desigualdades entre homens e mulheres. Essa in-
clusão foi fruto de uma grande batalha teórica e da articulação e pressão de movimen-
tos sociais. O IDG defende que a igualdade e o equilíbrio entre os gêneros são aspectos
fundamentais do desenvolvimento humano de qualquer população.
O Brasil tem mostrado um constante aumento em seu IDH. De acordo com o Rela-
tório de Desenvolvimento Humano 2007/2008 do Programa das Nações Unidas para o De-
senvolvimento (PNUD3), em 2005 o Brasil passou a fazer parte do grupo de países com
elevado desenvolvimento humano, com um índice medido em 0,800 para aquele ano.
Em 2006, obteve uma melhora no índice de 0,007, tendo obtido a pontuação de 0,807.
Atualmente encontra-se na 70.ª colocação mundial, posição que já mantinha no ano
anterior, pois houve uma melhora também dos países com índices próximos aos seus.
Mesmo com essa melhora, alguns pesquisadores brasileiros acreditam que o resultado
foi impreciso, pois as Nações Unidas não teriam utilizado os dados mais atualizados do
país. Mesmo propondo a correção desse cálculo, o que implicaria uma alteração real-
mente mínima, o Brasil continua sendo um das sociedades mais desiguais do planeta,

com forte concentração de renda nas mãos de uma pequena parcela da população.
Gráfico 1: Evolução do IDH no Brasil
Evolução do IDH do Brasil
O autor.
Ano IDH 0,85

1980 0,69
0,8
1985 0,70
0,75
1990 0,72
IDH
1995 0,75 0,7
2000 0,79 0,65

2005 0,80 0,6
1980 1985 1990 1995 2000 2005 2006
2006 0,81
Ano
3
O relatório bem como outros documentos podem estão disponíveis em: <www.pnud.org.br>.
163
Tabela 2: IDH – Índice de Desenvolvimento Humano 2007/2008
O autor.
Classifi- Posição Classifi- Posição
País IDH País IDH
cação cação
Alto 1.o Islândia 0,968 Médio 71.o Dominica 0,798
Desenvol- Desenvol-
vimento 2. Noruega 0,968 vimento 74. Venezuela 0,792
o o
Humano 3.o Austrália 0,962 Humano 81.o China 0,777

4. o
Canadá 0,961 87.
o
Peru 0,773
5. o
Irlanda 0,959 95.
o
Paraguai 0,755
6.o Suécia 0,956 117.o Bolívia 0,695
7.o Suíça 0,955 144.o Camarões 0,532
8. o
Japão 0,953 146. o
Haiti 0,529
9. o
Holanda 0,953 148. o
Quênia 0,521
10.o França 0,952 150.o Timor Les- 0,514
te
11.o Finlândia 0,952
155.o Gâmbia 0,502
12. o
EUA 0,951 Baixo 156. o
Senegal 0,499
Desenvol-
29. o
Portugal 0,897 vimento 158.
o
Nigéria 0,470
38.o Argentina 0,869 Humano 162.o Angola 0,446
40.o Chile 0,867 169.o Etiópia 0,406
51. O
Cuba 0,838 172. o
Moçambi- 0,384
que
52. o
México 0,829
70.o Brasil 0,800 175.o Níger 0,374
177.o Serra Leoa 0,336
O índice Gini de desenvolvimento

O índice Gini é um indicador agregado que mensura o grau de desigualdade de

um determinado critério (chamada variável) em uma determinada população (chama-
da domínio), a partir do cálculo do Coeficiente Gini
Índice Gini – Coeficiente Gini . 100
A sua aplicação mais comum refere-se à mensuração da desigualdade de renda

de uma população. O índice Gini foi criado por Corrado Gini, estatístico italiano que em
1912 publicou a sua metodologia de cálculo em um documento chamado “Variedade
e Mutabilidade” (Varietà e Mutabilità). Segundo a sua proposta, o Coeficiente Gini varia
164
de 0 a 1, onde zero corresponde a completa igualdade de renda (situação em que todos
os componentes da população estudada possuiriam a mesma renda) e um correspon-
de ao total desigualdade de renda (ou seja, um indivíduo da população concentraria
em si a renda total da população e os demais indivíduos não possuiriam nada).
O cálculo do Coeficiente é feito a partir da curva de Lorenz. A curva de Lorenz foi

criada em 1905 pelo matemático estadunidense Max O. Lorenz para calcular a distri-
buição de renda de uma população. Ele imaginou que para uma população em que
todos os indivíduos possuíssem a mesma renda, a medida que fossem contabilizados
os indivíduos dessa população, a renda cresceria de modo constante (Figura 2/a), re-
sultando em um vetor a 45 graus, perfeitamente equidistante dos eixos das ordenadas
e das abscissas. Assim, somando a renda de 50% da população, ter-se-ia 50% da renda
total daquela população, em uma situação de equilíbrio perfeito da renda naquela po-
pulação estudada (chamada de domínio).
As populações que apresentassem alto grau de concentração da renda nas mãos

de poucos indivíduos, teriam curvas cada vez mais acentuadas (Figura 2/b e 2/c). Para
compreender melhor, observe os três gráficos: no caso (a) 80% da população total
detém 80% da renda total; no caso (b), essa mesma população possui somente 60% da
renda, ou seja, os outros 40% da renda estão concentrados nas mãos do demais 20%
da população; e no caso (c) os mesmos 80% da população possui somente 30% da
renda total, enquanto que todo o restante da renda, ou seja, 70%, estão absurdamente
concentradas em somente 20% da população. Quanto maior a concentração de renda,
mais acentuada seria a curva, como no caso da Figura 2/c em que 80% da população
possui somente 30% da renda total da população total.
Gráfico 2 – Exemplos de estados da Curva de Lorenz
O autor.

Renda (0 a 100%)
Renda (0 a 100%)
Renda (0 a 100%)
(a) (b) (c)
População (0 a 100%) População (0 a 100%) População (0 a 100%)
Corrado Gini estudou a curva de Lorenz e propôs um Coeficiente a partir da razão

das áreas presentes em tal diagrama. A primeira área é aquela circunscrita entre o vetor
a 45 graus (em prática, uma abstração, visto que inexiste uma situação de equilíbrio
total de renda) e a curva de renda da população em estudo. A segunda é a área que
resta abaixo da curva nos limites do diagrama construído. A figura 3 esquematiza essas
duas áreas, onde (a) é a primeira descrita; e (b), a segunda. A razão utilizada para o cál-
A
culo do Coeficiente é: . 100, expresso em percentual.
A+B
165
O autor.
A
Renda (0 – 100%)
População (0 – 100%)
Gráfico 3 – Curva de Lorenz usada pelo índice Gini
Nações Unidas – Human Development Report 2007/2008.

Figura 1 – Classificação mundial segundo o índice Gini.
166
Indicadores agregados ambientais
O uso de indicadores ambientais começou a se difundir nas décadas de 1970 e
1980, sobretudo na esteira das previsões catastróficas feitas pelo Clube de Roma em
1970, quando foi publicado o famoso relatório “Os limites do crescimento”, no qual
se propunha, entre outras medidas, crescimento zero para as regiões subdesenvolvi-
das do planeta. Não obstante tantas advertências, o governo holandês foi o primeiro
governo nacional a adotar um sistema de indicadores ambientais para avaliar os re-
sultados do Plano Nacional de Política Ambiental. A partir de então, os indicadores
ambientais se sofisticaram bastante, resultando na criação de complexos sistemas de
indicadores ambientais ou indicadores ambientais agregados.
Poucos anos depois, o World Resources Institute (WRI – ou Instituto Mundial de

recursos, em português)4 propôs um sistema relativamente simples de indicadores
agregados que levou em consideração a interação entre o homem e o ambiente (de-
pleção de recursos, poluição, risco para os ecossistemas, além de impacto ambiental
sobre o bem-estar humano). Mas o grande mérito do WRI não foi nem mesmo lançar
a ideia da mensuração das interações entre o homem e o seu meio, mas sim, de criar
um modo de sistematizar as informações com uma lógica de perguntas e respostas, de
fácil compreensão e implementação. Em outras palavras, a estrutura de organização da
informação ambiental.
A partir dessas considerações, a Organização para a Cooperação e Desenvolvimen-

to Econômico (OCDE)5 propôs o modelo analítico conhecido como Pressão-Estado-Res-
posta (PER ou, em inglês, PSR - Pressure-State-Response), uma agregação de indicadores
que busca traduzir em uma fórmula simples uma compreensão complexa da realidade.
Esse indicador, em tese, é capaz de avaliar a pressão que as atividades humanas exer-

cem sobre o meio ambiente, o que poderia inclusive afetar o seu estado, e assim im-
plementar ações para redução ou prevenção dos eventuais impactos negativos. O PER
estrutura o conjunto de questões que resultam em indicadores do seguinte modo:
Indicadores de estado – O que está acontecendo com o meio ambiente e com

a base de recursos naturais?
Indicadores de pressão – Por que está acontecendo?
Indicadores de resposta – O que está se fazendo a respeito?
Devido ao sucesso desse indicador agregado para a avaliação de projetos socio-

-ambientais, a OECD publicou em 1991 uma nova recomendação sobre indicadores e
informações ambientais alertando sobre a necessidade do desenvolvimento de novos
4
Informações sobre o instituto estão disponíveis em: <www.wri.org/>.
5
Tradução do inglês Organization for Economic Cooperation and Development (OCED), que possui um interessante site: <www.oecd.org>.
167
“núcleos de indicadores ambientais com características de confiabilidade, facilidade de
entendimento e mensuração, e relevância para a avaliação de políticas” (OECD, 1994, p.
44). Como resultado, surgiu uma nova adaptação ao modelo anterior, que se mostrou,
porém, de difícil utilização.
Assim, a ONU, por meio da Comissão em Desenvolvimento Sustentável (UNCSD),

organizou um grupo de trabalho em 1995 para tornar tais indicadores acessíveis ao
grande e culturalmente diversificado público de nações desenvolvidas e em desen-
volvimento. Foram propostos 134 indicadores, estruturados segundo a classificação
proposta pela Agenda 21 (que propõe quatro tipologias (ou categorias): social, econô-
mica, ambiental e institucional).
O PER foi, desse modo, substituído pelo modelo “Força Motriz-Estado-Resposta”

(DSR – Drive force-State-Response), que ampliava o anterior para as demais questões
relacionadas ao desenvolvimento sustentável local, detalhadamente explicado no
chamado Livro Azul da ONU, cujo titulo é Indicadores de Desenvolvimento Sustentável:
framework e metodologias. O Brasil e muitos outros países testaram os indicadores
mais pertinentes às suas respectivas realidades socioambientais, chegando a uma lista
de 57 indicadores agregados em 15 temas. O Instituto Brasileiro de Geografia e Estatís-
ticas (IBGE) adotou 50 dos 57 propostos em nível mundial.
Conclusão
Os indicadores agregados, ou índices, possuem uma função eminentemente polí-
tica, pois podem ser capazes de revelar a situação de um território (país, estado, cidade,
região etc.) com uma informação rápida e facilmente compreensível. Essa capacidade
de síntese esconde, naturalmente, grandes variações que podem ocorrer internamen-
te em tais territórios, mas, por outro lado, conseguem estabelecer critérios para relacio-
ná-los a outras realidades territoriais semelhantes. De fato, é muito comum encontrar
listas de classificação de territórios, sobretudo tratando-se de países, a partir de índices

de desenvolvimento social, econômico, ambiental ou misto.
Outro efeito da aplicação desses índices é a produção de leituras panorâmicas

sobre diferentes realidades que compõem um vasto território. Quando o IBGE passou a
mensurar o Índice de Desenvolvimento Humano das cidades brasileiras ofereceu à so-
ciedade uma visão panorâmica das tendências de desenvolvimento e subdesenvolvi-
mento no país. Hoje são raras as avaliações de políticas sociais (e de seus instrumentos,
tais como programas e projetos) que não levam em consideração índices de desenvol-
vimento reconhecidos pela comunidade científica.
168
Texto complementar
O Recife versus outros territórios – o que revelam

os índices de desenvolvimento humano
(BITOUN, 2009)1
As condições gerais de desenvolvimento medidas pelos valores do Índice de

Desenvolvimento Humano resultam dos processos passados de acumulação e dis-
tribuição, entre os habitantes de um determinado território, de capacidades básicas
(acesso ao conhecimento, direito a uma vida longa e saudável e direito a um padrão
de vida digno). No presente, os valores desiguais do Índice de Desenvolvimento
Humano alcançados por diversos territórios revelam para os habitantes desses terri-
tórios condições desiguais de escolhas e de acesso a diversas oportunidades.
O Atlas do Desenvolvimento Humano no Brasil permite comparar os Índices de

Desenvolvimento Humano do Recife e de outros municípios brasileiros, conquan-
to o Atlas do Desenvolvimento Humano no Recife faculte essa comparação entre
os territórios situados dentro da própria cidade. Com efeito, a desigualdade ocorre
entre países, regiões, estados, municípios, mas é dentro desses últimos, entes fe-
derativos básicos da Nação, que se pode constatar a desigualdade mais vivida no
cotidiano entre os membros da mesma comunidade política. Essa constatação será
objeto da segunda etapa deste trabalho. [...]

O Recife e algumas metrópoles
A Tabela 1 apresenta os Índices de Desenvolvimento Humano alcançados em
1991 e 2000 por algumas capitais, situadas em diversas regiões do país, e pelo
Brasil, no seu conjunto. Constata-se que, em todas essas capitais, núcleos de regi-
ões metropolitanas e polos de influência de grandes regiões econômicas, os valo-
res do IDH superam o do Brasil, confirmando que o Brasil urbano e, especialmente,
as grandes capitais concentram maiores oportunidades para o desenvolvimento
do que o Brasil rural.
1
Trecho extraído do Atlas Municipal do Desenvolvimento Humano no Recife (PNUD, 2006). Para o ler o texto completo e consultar as tabelas, acesse o
link: <www.recife.pe.gov.br/pr/secplanejamento/pnud2006/doc/analiticos/O%20que%20revelam%20os%20%C3%8Dndices%20de%20Desenvolvimen-
to%20Humano%20(IDH).pdf>.
169
Tabela 1
PNUD; IPEA; FJP. Atlas do Desenvolvimento Humano no Brasil. 2003. CD-ROM.

Índice de Desenvolvimento Humano Municipal –
IDHM, segundo as metrópoles brasileiras | 1991 e 2000
IDHM
Capitais 1991 2000
valor ranking valor ranking
Porto Alegre 0,824 1.° 0,865 1.°
Curitiba 0,799 4.° 0,856 2.°
Brasília 0,799 3.° 0,844 3.°
Rio de Janeiro 0,798 5.° 0,842 4.°
São Paulo 0,805 2.° 0,841 5.°
Belo Horizonte 0,791 6.° 0,839 6.°
Goiânia 0,778 7.° 0,832 7.°
Belém 0,767 8.° 0,806 8.°
Salvador 0,751 9.° 0,805 9.°
Recife 0,740 10.° 0,797 10.°
Fortaleza 0,717 11.° 0,786 11.°
Brasil 0,696 0,766
Os valores do IDH alcançados por essas capitais podem ser comparados aos va-
lores que caracterizam as nações de desenvolvimento humano alto, segundo o crité-
rio estabelecido pelas Nações Unidas (0,800 e mais) e as nações de desenvolvimento
médio (0,500 a 0,800) [...]
Verifica-se, nos dois anos censitários, que é inferior a posição das metrópoles do
Nordeste (Salvador, Recife e Fortaleza) e do Norte (Belém) em relação às capitais das
demais regiões do país, expressando a tradicional divisão entre o Centro-Sul, mais
170
próspero, e o Norte e o Nordeste, menos desenvolvidos. No Nordeste, as grandes aglo-
merações urbanas representam ilhas de relativa concentração de riqueza, no meio de
uma região marcada pela pobreza rural, conquanto, na Amazônia, as baixas densida-
des populacional e econômica, além das grandes distâncias entre os centros urbanos,
limitem o papel polarizador das grandes aglomerações. No Centro-Sul, observa-se uma
queda na posição de São Paulo, que passa da 2.ª para a 5.ª posição (com o valor do IDH
quase igual ao alcançado pelo Rio de Janeiro), e uma melhora na posição de Curitiba,
da 4.ª para a 2.ª posição. Essas mudanças remetem à conjuntura econômica da década
de 90, marcada pelo baixo crescimento e por uma tendência à descentralização das
atividades industriais em direção a cidades do estado de São Paulo e a Curitiba. Assim,
os valores do IDH parecem estar vinculados ao movimento geral da economia, verifi-
cando-se a importância dessa dimensão na composição do índice.
Os valores dos subíndices IDH Renda, Longevidade e Educação, apresentados na

Tabela 3, confirmam esse peso da economia. É no IDH Renda que se pode verificar a
maior amplitude (diferença entre o valor mais alto e o valor mais baixo) em 2000: 0,140
(Porto Alegre vs. Fortaleza), conquanto as amplitudes sejam bem inferiores nos casos
do IDH Longevidade, 0,049 (Curitiba vs. Recife) e IDH Educação, 0,067 (Porto Alegre
vs. Fortaleza). Observa-se ainda que, se entre 1991 e 2000 há redução das amplitudes
dos IDH Educação (de 0,123 para 0,067) e Longevidade (de 0,072 para 0,049), cresce
um pouco a amplitude do IDH Renda (de 0,137 para 0,140). Síntese dos IDH Renda,
Longevidade e Educação, o IDHM, cujos valores constam da Tabela 1, apresenta, em
2000, uma amplitude (Porto Alegre vs. Fortaleza) de 0,079, inferior à amplitude de 1991
(0,107). Mas essa redução da desigualdade entre as capitais analisadas deve-se aos ín-
dices de natureza social (Longevidade e Educação), conquanto o índice representando
a dimensão econômica (Renda), tenha havido um leve crescimento da desigualdade.
Nessa dimensão econômica (IDH Renda), está muito evidente a diferença entre os

núcleos das aglomerações metropolitanas do Centro-Sul e do Norte e Nordeste, dentre
os quais se destaca positivamente o Recife, em 8.ª posição no ranking, e negativamente
Fortaleza, cujo valor do IDH Renda é apenas um pouco superior ao valor do Brasil.
171
172
Tabela 3
IDHM – Renda, Longevidade e Educação, segundo as metrópoles brasileiras | 1991 e 2000

IDHM Renda IDHM Logenvidade IDHM Educação
Capitais 1991 2000 1991 2000 1991 2000
valor Ranking valor Ranking valor Ranking valor Ranking valor Ranking valor Ranking
Porto Alegre 0,818 2.° 0,869 1.° 0,748 1.° 0,775 2.° 0,907 1.° 0,951 1.°
Curitiba 0,793 5.° 0,846 2.° 0,728 3.° 0,776 1.° 0,875 4.° 0,946 2.°
Brasília 0,801 3.° 0,842 4.° 0,731 2.° 0,756 6.° 0,864 7.° 0,935 3.°
Rio de Janeiro 0,794 4.° 0,840 5.° 0,714 7.° 0,754 7.° 0,887 2.° 0,933 4.°
São Paulo 0,822 1.° 0,843 3.° 0,726 5.° 0,761 3.° 0,868 5.° 0,919 9.°
Belo Horizonte 0,779 6.° 0,828 6.° 0,727 4.° 0,759 4.° 0,866 6.° 0,929 6.°
Goiânia 0,755 7.° 0,813 7.° 0,718 6.° 0,751 8.° 0,862 8.° 0,933 5.°
Belém 0,708 10.° 0,732 10.° 0,710 8.° 0,758 5.° 0,883 3.° 0,928 7.°
Salvador 0,719 9.° 0,746 9.° 0,679 10.° 0,744 10.° 0,856 9.° 0,924 8.°
Recife 0,727 8.° 0,770 8.° 0,676 11.° 0,727 11.° 0,818 10.° 0,894 10.°
Fortaleza 0,685 11.° 0,729 11.° 0,683 9.° 0,744 9.° 0,784 11.° 0,884 11.°
Brasil 0,681 0,723 0,662 0,727 0,745 0,849
As posições da capital pernambucana são bem menos favoráveis no tocante às
dimensões sociais: última e penúltima posição no ranking dos valores dos IDH Longe-
vidade e Educação, respectivamente em ambos os anos censitários, sugerindo a difi-
culdade de transferência para essas dimensões da situação relativamente favorável da
renda, o que se pode relacionar com a intensidade da desigualdade social na cidade e
o caráter socialmente concentrado da riqueza.
Os gráficos 1, 2 e 3, a seguir, referentes ao ritmo de crescimento dos valores do

IDH alcançados pelas capitais em apreço e pelo Brasil, revelam novamente a diferença
existente entre a dimensão econômica (IDH Renda) e os demais subíndices compo-
nentes do IDHM (IDH Longevidade e IDH Educação): as capitais metropolitanas apre-
sentam um crescimento igual ou inferior ao crescimento do país no tocante às dimen-
sões sociais, expressando uma redução da distância existente entre essas capitais e o
Brasil como um todo. Essa redução relaciona-se ao caráter generalizado dos impactos
da transição demográfica e da implantação das políticas de saúde, propiciando uma
relativa redução das desigualdades de Longevidade, confirmada pelo crescimento
maior das capitais do Norte e Nordeste, em situação mais desfavorável em 1991 (Sal-
vador, Fortaleza, Recife e Belém, essa com um valor menor) em relação às capitais do
Centro-Sul. Os impactos da política de educação também apontam para a redução das
desigualdades entre o país como um todo e as capitais metropolitanas, havendo um
destaque para Fortaleza, cujo crescimento acompanha mais do que o Recife o cres-
cimento do Brasil, conquanto nas demais o crescimento é bem inferior, permitindo a
redução dos contrastes socioterritoriais.
O comportamento do IDH Renda é muito diferente. O crescimento desse índice é

maior ou igual ao do país em 8 das 11 metrópoles, demonstrando, no mínimo, a manu-
tenção da concentração da riqueza em grandes capitais, excetuando-se Belém, Salva-
dor e São Paulo, que reduzem sua posição em relação ao resto do país. No que se refere

à dimensão regional, vem se acentuando a diferença entre as capitais metropolitanas
do Sul (Porto Alegre e Curitiba), algumas do Sudeste (Rio de Janeiro e Belo Horizonte)
e do Centro Oeste (Goiânia), cujo crescimento é bem maior que o do país, e as capitais
nordestinas (Recife e Fortaleza), cujo IDH Renda cresce apenas no ritmo do país.
No conjunto, o IDHM sintetiza os subíndices IDH Renda, Longevidade e Educação

e revela que entre as capitais metrópoles do Norte e Nordeste, somente Fortaleza –
cujo destaque no campo da educação foi ressaltado – acompanhou o ritmo de cresci-
mento do índice do país, recuperando, em relação às outras capitais, parte do atraso,
evidenciado nas Tabelas 1 e 3. A posição de Belém demonstra um relativo declínio,
menos acentuado no Recife e Salvador. Mas, se a redução das desigualdades entre o
IDH do país e das capitais metrópoles e o IDH das capitais situadas no Centro-Sul e no
Norte/Nordeste é um fato, é também um fato o contraste entre a manutenção ou o
acirramento das desigualdades existentes na dimensão econômica, expressa pela evo-
lução dos valores do IDH Renda, e a diminuição dessas desigualdades nas dimensões
sociais, expressas pelos valores dos IDHs Longevidade e Educação [...].
173
Gráfico 1 – Crescimento do IDHM Longevidade nas metrópoles brasileiras | 1991-2000

Brasil 0,065
Salvador 0,065
Fortaleza 0,061
Recife 0,051
Belém 0,048
Curitiba 0,048
Rio de Janeiro 0,040
São Paulo 0,035
Goiânia 0,033
Belo Horizonte 0,032
Porto Alegre 0,027
Brasília 0,025
0,000 0,020 0,040 0,060 0,080 0,100 0,120
Gráfico 2 – Crescimento do IDHM Educação nas metrópoles brasileiras | 1991 – 2000

Brasil 0,104
Fortaleza 0,100
Recife 0,076
Goiânia 0,071
Brasília 0,071
Curitiba 0,071
Salvador 0,068
São Paulo 0,051
Belém 0,045
Porto Alegre 0,044
0,000 0,020 0,040 0,060 0,080 0,100 0,120

174
Gráfico 3 – Crescimento do IDHM Renda nas metrópoles brasileiras | 1991 – 2000

Brasil 0,042
Goiânia 0,058
Curitiba 0,053
Porto Alegre 0,051
Fortaleza 0,044
Recife 0,041
Brasília 0,043
Salvador 0,027
Belém 0,024
São Paulo 0,021
0,000 0,020 0,040 0,060 0,080 0,100 0,120
Atividades
1. Você acredita que o PIB é capaz de mensurar a qualidade de vida de uma popu-

lação? Justifique a sua resposta.
2. Qual a importância do índice Gini e o que ele mensura?
175
3. Você conhece o Atlas de Desenvolvimento Humano do Brasil? Acesse o site
<www.pnud.org.br/atlas> , instale o programa que lhe permite acessar esse ban-
co de dados eletrônico e consulte o Índice de Desenvolvimento Humano do seu
estado, da sua região e da cidade onde você mora. Aproveite para observar e
registrar seus comentários sobre a posição do seu estado no ranking nacional.
4. Acesse o relatório IBGE 2008 sobre os indicadores de desenvolvimento susten-

tável disponível em: <www.ibge.gov.br/home/geociencias/recursosnaturais/
ids/default.shtm> e observe a importância que eles estão adquirindo para a
formulação e implementação de políticas sociais e de seus principais instru-
mentos (programas e projetos). Observe em especial a dimensão social desses
indicadores e registre sua opinião aqui.
176
Monitoramento de projetos sociais
Introdução
Vídeo Tradicionalmente, é comum ver o empenho dos gestores e finan-
ciadores de projetos e programas sociais para gerar bons diagnósticos e
avaliações de resultados, em detrimento de ações de gestão e monito-
ramento. Gradativamente, percebe-se que há mudanças na cultura ava-
liativa que exige uma nova postura frente às exigências por eficiência,
efetividade e sustentabilidade dos projetos e organizações sociais, fa-
zendo com que haja uma maior preocupação com a criação/adaptação dos processos
e instrumentos de gestão.
Com a ampliação do uso da internet e a valorização do uso dos sistemas de infor-

mações gerenciais, cada vez mais se dá importância aos sistemas de monitoramento
e avaliação (M&A) como mecanismos de apoio à tomada de decisões. Financiadores
privados e governos têm investido constantemente em ações voltadas para a criação
desses sistemas, de modo a permitir a tomada de decisões de modo mais tempestivo
e efetivo, bem como garantir maior transparência para beneficiários, parceiros e socie-
dade em geral.
Nota-se, por exemplo, que, quando uma organização da sociedade civil preten-
de executar um projeto social, busca captar recursos dentro de uma chamada para
financiamento de projetos. Nos roteiros para elaboração destes, sempre há como item
obrigatório: sistema (ou mecanismos) de acompanhamento, monitoramento e avaliação.
Muitas vezes, pede-se que já sejam incluídos e descritos nos projetos alguns indicado-
res de monitoramento.
Considera-se aqui o monitoramento como uma das atividades da avaliação, que

ocorre durante o processo de implementação do projeto, sendo responsável pela
coleta de informações que subsidiem a gestão deste. Assim, entende-se aqui que mo-
nitoramento e avaliação são atividades complementares. O monitoramento consiste,
portanto, na avaliação de processo, de progresso, intermediária ou in itinere.
179
Neste capítulo busca-se analisar conceitos e tipos de monitoramento, destacan-
do como este subsidia a gestão dos projetos. São também demonstradas as relações
existentes entre sistemas e instrumentos de monitoramento e sistemas de informação,
destacando algumas dificuldades e desafios para implementação destes.
Monitoramento e acompanhamento:
conceitos e distinções
Alguns autores não fazem distinção quanto ao uso dos conceitos de avaliação, mo-
nitoramento e acompanhamento. Embora alguns autores não façam distinção quanto
ao uso dos conceitos de monitoramento e acompanhamento (reconhecendo que um
esteja contido no outro ou que ambos possuam íntima vinculação e complementari-
dade) pode-se afirmar que há consenso em considerar o monitoramento (monitoring)
como uma fase ou tipo de avaliação que ocorre durante a execução de um projeto ou
programa social. A importância dessa fase avaliativa se dá, principalmente, por forne-
cer informações fundamentais sobre possíveis problemas e desvios no desempenho
do projeto, permitindo tomar decisões que corrijam o rumo deste.
Numa abordagem mais tradicional, o monitoramento é geralmente visto como

um mecanismo financeiro, tradicionalmente orientado para a prestação de contas e au-
ditoria, e não para gerenciamento. Não necessariamente se avalia a vinculação do bom
uso dos recursos como a eficácia no cumprimento dos objetivos maiores ou missão
institucional. A preocupação se dá mais com os aspectos formais e burocráticos, como
a prestação de contas e os procedimentos de licitação de um determinado programa
social, que, por exemplo, com os benefícios, podem ter sido apropriados por grupos
e/ou regiões não contempladas originalmente no programa (BUVINICH, 1999).
Por outro lado, uma visão mais abrangente compreende o monitoramento como
um processo de acompanhamento sistemático e contínuo sobre o desenvolvimento

e desempenho do projeto ou programa social, visando sempre seu aperfeiçoamento.
Assim, essa etapa de avaliação também pode ser voltada para a verificação da conti-
nuidade da validade da hipótese sobre a qual o projeto/programa foi construído. Cor-
roborando nessa mesma direção, Rua (2008) afirma acerca do monitoramento:
Também conhecido como avaliação em processo, trata-se da utilização de um conjunto de estratégias
destinadas a realizar o acompanhamento de uma política, programa ou projeto. É uma ferramenta
utilizada para intervir no curso de um programa, corrigindo sua concepção. É o exame contínuo
dos processos, produtos, resultados e os impactos das ações realizadas. O monitoramento permite
identificar tempestivamente as vantagens e os pontos frágeis na execução de um programa e efetuar
os ajustes necessários à maximização dos seus resultados e impactos.
180
Guandalini (1994, apud LUSTOSA, 1997, p. 25) destaca que monitoramento diz res-
peito ao “processo contínuo de análise e comparação do estado da execução das diver-
sas ações contempladas no projeto com relação àquilo que havia sido projetado”. O mo-
nitoramento busca identificar oportunamente desvios, dificuldades e acontecimentos
que possam afetar a entrega ou o uso dos insumos, a execução das tarefas projetadas, a
geração dos produtos e, por fim, o alcance dos objetivos propostos. Caracteriza-se, por-
tanto, pela sua função “de retroalimentação de informações, que permite a tomada de
decisões oportunas e da adoção de medidas corretivas que permitam que se garanta o
alcance dos objetivos projetados” (GUANDALINI, 1994 apud LUSTOSA, 1997, p. 25).
Duas características sobre monitoramento podem ser retiradas dos conceitos

apresentados:
é uma etapa da avaliação que se realiza durante a formulação e implementa-

ção dos programas e projetos, com o objetivo principal de conhecer os resul-
tados da gestão, possíveis desvios nas ações e definir possíveis reprograma-
ções que se façam necessárias;
é uma atividade realizada internamente pelos gestores e executores do proje-

to, possuindo assim forte caráter gerencial.
Ao monitorar um projeto, o gestor faz uma análise “intraprojeto” de modo “longi-

tudinal” tendo por base para comparação o plano do projeto e o controle físico e finan-
ceiro (COHEN; MARTINEZ, s.d.). Ou seja, o gestor deve estabelecer um olhar crítico para
o seu próprio trabalho interno desenvolvido no projeto, de modo a analisar as ações
que desenvolve desde o início do processo. Na atualidade, outros elementos devem
também ser considerados no processo de monitoramento, principalmente no que diz
respeito às especificidades de cada contexto em que se insere o projeto/programa,
cabendo assim uma leitura qualitativa ampliada das questões.
Monitoramento e acompanhamento caminham juntos, não havendo na literatura

especializada muitas distinções. Porém, alguns autores, com base nas práticas e nas
relações sobre gestão e controle das ações, fazem algumas distinções entre monitorar
e acompanhar. Carvalho (2000, p. 68) afirma que: Monitoramento de projetos sociais
[...] o monitoramento acompanha processos e ações previstas no plano de ação, com vistas ao ajuste
e correções imediatas no desempenho do projeto; o acompanhamento avaliativo não se propõe a
correções imediatas, e sim investigar o processo com coleta de dados específicos, para identificar
fatores programáticos que devem ser aprimorados (posteriormente) ou que são explicativos dos
sucessos obtidos pelo projeto.
Para Guandalini (1994, apud LUSTOSA, 1997) o que diferencia o monitoramento

do acompanhamento seria o fato de que o ato de acompanhar não demanda, neces-
sariamente, a existência de programação ou planejamento prévio para se estabelecer
uma correlação entre o que havia sido previsto e o que foi efetivamente realizado. Um
181
relatório de acompanhamento pode, se assim for conveniente, dedicar-se exclusiva-
mente a informar a situação encontrada, sem qualquer juízo de valor sobre seu desem-
penho ou daqueles responsáveis pela sua gestão.
A partir da observação das diferentes práticas e, principalmente, das discussões

sobre o controle, Rua (2007, apud ANTERO, 2008) faz as seguintes distinções entre mo-
nitoramento e acompanhamento:
Quadro 1 – Diferenças entre monitoramento e acompanhamento
RUA, 2005 apud ANTERO, 2008, p. 806)

Acompanhamento Monitoramento
Não é um processo interativo. É uma ferramenta de gestão interativa e proativa.
As informações são superficiais e nem sempre são Utiliza informações com profundidade necessária
analisadas. e os dados são sempre analisados.
Os resultados são compartilhados e são pouco Divulga descobertas feitas e fornece insumos
utilizados. qualificados para o planejamento.
É realizado de forma mecânica, para cumprir exi- Os resultados são utilizados para o aperfeiçoa-
gências. mento do trabalho de equipe e para tomada de
decisões.
Visto como controle, fiscalização. Gera aprendizagem organizacional.
Autores como Tenório et al. (1995, p. 28), numa abordagem sobre avaliação de pro-
jetos comunitários, conceituam acompanhamento e monitoramento como sinônimos,
ao afirmarem que o acompanhamento é a segunda fase avaliativa e que pode ser en-
tendido como “a etapa da avaliação do projeto que levanta dados durante a execução
do mesmo permitindo uma comparação simultânea com os padrões definidos”. Salien-
tam ainda que “procura verificar as ações e medir desempenhos com a finalidade básica
de auxiliar a tomada de decisão e corrigir eventuais desvios na programação, durante a
execução do projeto, assegurando que os objetivos estabelecidos sejam alcançados”.
Entendemos, aqui, que as distinções feitas entre os conceitos de acompanhar e

monitorar residem no fato do primeiro ficar restrito a analisar fatores técnico-instru-
mentais (como por exemplo, a execução financeira ou cumprimento do cronograma

das ações previstas), funções geralmente exercidas por alguns gestores do projeto e
que funcionam dentro de uma lógica muito mais operativa e de supervisão do que
de apoio à gestão. No caso do monitoramento, há um processo mais complexo que
envolve o estabelecimento de indicadores desde a formulação do projeto, que vai ser
subsidiado e alimentado por um sistema de informações gerenciais que permita de-
senvolver uma visão gerencial da implementação e evolução das ações previstas.
182
Monitoramento como processo
de gestão de projetos sociais
Conforme descrito anteriormente, o monitoramento é uma importante e impres-
cindível ferramenta e processo de gestão. Gerenciar um projeto, nesse sentido, com-
preende monitorar, acompanhar, avaliar e tomar as decisões necessárias para atingir e
fazer atingir os objetivos esperados da forma mais eficiente e eficaz possível (SANTOS
et al. 2001). Significa fazer o melhor uso dos recursos humanos, financeiros e materiais
disponíveis, para alcançar os objetivos dos programas/projetos, dentro dos limites de
tempo, qualidade e custos estabelecidos (GUANDALINI, 1994 apud LUSTOSA, 1997).
O monitoramento deve ser utilizado como processo para alcançar a eficiência e

efetividade na gestão dos projetos, mas, para isso, o próprio sistema de monitoring
deve ser efetivo e funcional. Isso só ocorrerá se quem planejar o projeto se preocupe
em garantir meios que permitam ocorrer tais atividades. Ou seja, só se consegue es-
truturar um sistema de M&A se houver um compromisso com a boa gestão por parte
dos que elaboram e planejam um projeto/programa, buscando responder como gerir
e avaliar. A comparação entre o programado e o realizado só é possível de acontecer
se houver uma formulação adequada que permita uma programação realista e idônea
dos diferentes produtos, processos, atividades e insumos requeridos na operação. Se
a programação de um projeto é arbitrária, monitorar não tem sentido (COHEN; MAR-
TINEZ, s.d.).
Pode-se ainda afirmar que o monitoramento é um processo sistemático de com-

paração entre o programado e o realizado, buscando explicações para as diferenças
entre o que havia sido previsto e o que efetivamente vem acontecendo durante o pro-
cesso de implementação das ações do projeto, analisando criticamente as incongru-
ências e estabelecendo meios alternativos para corrigi-las. Nesse caso, pode-se dizer
que o monitoramento é a própria gestão em si. Assim, conforme apontam Santos et al.
(2001) os fatores condicionantes para que ocorra o monitoramento e gestão de pro-
jetos/programas sociais e a tomada de decisões podem ser divididos em: sistemática,
comparação e análise (SANTOS et al., 2001). A seguir, com base em Santos et al. (2001)
serão feitos comentários sobre cada um desses condicionantes.
183
Sistemática
A gestão de projetos se inicia desde seu planejamento percorrendo todo seu ciclo
de vida. Como consequência, as atividades de gestão, de monitoramento e de avalia-
ção devem ser sistematizadas e organizadas de forma sistêmica. As metodologias de
gestão e monitoramento devem ser claras e estáveis, estabelecendo dentro do plano
estratégico e operativo as atribuições e responsabilidades, prazos e periodicidade para
alcançar os objetivos programados. Sem respeitar essa sistemática, essas atividades
acabam por perder qualquer utilidade prática e, perdendo sua serventia, acabam por
ser desestimuladas e desconsideradas pelos diversos atores envolvidos na implemen-
tação e operação dos projetos. Em suma, jamais serão realizadas.
Comparação
Avaliar é comparar, monitorar é comparar. Não se pode conceber um sistema
de M&A que não se baseie em uma metodologia comparativa claramente definida.
A dificuldade talvez seja definir o que se deve comparar. À luz de que referencial de-
veremos avaliar os resultados alcançados ou o desempenho das suas operações?
Esta deve ser uma indagação norteadora do processo de monitoramento e avaliação.
Embora as metodologias de avaliação possam variar para cada situação ou tipo de
projeto, alguns passos parecem óbvios e gerais:
o estudo prévio, os indicadores e índices que o projeto apresenta devem ser os

primeiros referenciais que devemos utilizar para comparar os resultados.
pode-se adotar, agora para fins de avaliação do desempenho e dos resultados

alcançados, indicadores extraídos de outros projetos ou ainda, parâmetros e
médias de desempenho setorial (benchmarking).
Análise
Apenas com uma análise de qualidade, que indique com clareza as causas gerado-
ras das eventuais deficiências ou dificuldades encontradas, é que será possível extrair
conclusões que subsidiem eficientemente o processo de tomada de decisão. Embora
esse terceiro condicionante possa parecer óbvio, sua realização demanda tempo e
conhecimento de causa, além de um tratamento metodológico específico, que nem
sempre as pessoas envolvidas no processo estão aptas a realizar.
Muitas vezes encontramos relatórios de M&A apresentando os mais diversos

dados, gráficos e índices variados, porém, sem quaisquer análises ou indicações que
184
efetivamente venham a contribuir com a tomada de decisão e com uma gestão de
melhor qualidade. Esse esforço analítico pode ser representado pela desarticulação
da gestão – ou das informações levantadas – em uma série de aspectos e abordagens
que, sempre apoiada pelos métodos e parâmetros previamente definidos, permitirão
ao avaliador emitir um juízo de valor sobre o projeto em questão e produzir explica-
ções que gerem possibilidades de solução e melhoria para as dificuldades e deficiên-
cias encontradas (SANTOS et al., 2001)
A boa aplicação dessas palavras-chave e o compromisso ético com a busca da

melhoria constante nos projetos e seus instrumentos são as regras fundamentais
para gerir e monitorar qualquer tipo de projeto. Desse modo, o monitoramento pode
ser encarado como um processo e ferramenta de gestão, conforme a sua utilização
estratégica.
Tipos ou modelos de monitoramento

O modelo de gestão da organização que executa o projeto, bem como as exigên-
cias dos financiadores, influenciam diretamente no tipo de monitoramento adotado.
Muitas vezes, adotam-se modelos de monitoramento impostos pelos financiadores e
geram-se uma série de conflitos internos e externos, devido à falta de conhecimentos e
mesmo da cultura organizacional para tal (normalmente, esses tipos de financiadores
chegam a ofertar capacitações para os gestores e executores dos projetos para que
operacionalizem tais sistemas). Se por um lado os modelos externos de monitoramen-
to são importantes para as organizações sociais executoras de projetos, por propiciar
visões mais gerenciais e profissionalizadas, por outro, podem interferir e enviesar os
processos de aprendizagem nas organizações executoras dos projetos.
Não existe modelo único ou o melhor tipo de monitoramento. O que se deve

buscar é desenhar modelos consistentes e condizentes com as diferentes realidades.
Assim, é fundamental que haja um esforço das organizações para criar seus próprios
modelos de monitoramento, mesmo que adaptando modelos já existentes ou exigi-
dos, levando-se em conta as necessidades locais e organizacionais.
Gómez (2006), numa perspectiva de tipificar monitoramento, lembra que é pre-

ciso vigiar para que o programa ou projeto não se deteriore integralmente ou par-
cialmente e que se cumpra. Assim, afirma que existem três áreas básicas a monitorar:
financeira, administrativa e de sistemas de entrega.
O monitoramento financeiro implica a boa utilização do orçamento do projeto e

deve ser visto não apenas como instrumento burocrático, mas como ferramenta ge-
rencial que deve ser acompanhado por fluxos de caixa e desembolso, receitas e despe-
185
sas mensais. Para que o monitoramento financeiro ocorra adequadamente, deve haver
capacidade de resposta e adaptação a quatro critérios principais:
Existência de dados – deve-se valer do orçamento compilado e aprovado para o

projeto, bem como das cotações feitas inicialmente para gerar tal documento.
Periodicidade – o monitoramento financeiro deve expressar as receitas e des-

pesas com base nas contas diárias, mensais e anuais do projeto.
Tipos de dados – informações de caráter secundário, registradas com fins ad-

ministrativos, centradas, por exemplo, no controle de caixa, nos desembolsos
realizados pelo projeto.
Influência na tomada de decisões – sabe-se que o monitoramento financeiro é

um dos que mais influencia na tomada de decisões, já que há uma dependên-
cia central do programa/projeto com a disponibilidade oportuna de recursos.
O monitoramento administrativo ou gerencial diz respeito a avaliar o contexto ins-

titucional e das regulações ou trâmites da organização executora do projeto/progra-
ma. Assim, é importante levar em conta os critérios administrativos já utilizados pela
organização para verificar seu desempenho, quando estes existem. Esse monitoramen-
to permite identificar necessidades de mudanças organizacionais. Normalmente, são
registrados dados que descrevem cargos e funções no projeto, a execução física das
ações, as tarefas realizadas, a execução do cronograma físico etc. Deve-se atentar para
que as atividades de monitoramento gerencial não representem meramente ações de
fiscalização, mas que assumam um papel estratégico no processo de implementação
de um projeto.
O monitoramento dos sistemas de entrega diz respeito à organização formal dos

processos de interação que possuem uma dinâmica específica nem sempre bem pre-
vista na formulação do projeto. Nesse caso, busca-se monitorar as relações entre to-
madores de decisão, equipe técnica, pessoal de apoio e beneficiários, verificando os
fluxos de entrega dos produtos finais e intermediários previstos no projeto. Essas rela-
ções que influenciam diretamente os sistemas de entrega podem ser analisadas pelos
processos de liderança, motivação e comunicação. Geralmente, são feitas verificações
mensais ou anuais, utilizando técnicas e instrumentos qualitativos (entrevistas, reuniões
etc.) (GÓMEZ, 2006).
Destaca-se ainda a necessidade do monitoramento técnico do projeto. Este deve

ser feito por especialistas na área de atuação do projeto, já que prevê uma avaliação
técnica e institucional sobre os conceitos, valores, atitudes e práticas que se pretende
implantar em uma dada realidade social. Assim, ao se implantar um projeto educa-
cional ou de melhoria das condições de saúde em uma dada população, por exem-
plo, a linha ideológica e política deve estar clara, bem como a metodologia que se
186
deverá seguir e quais indicadores são os mais pertinentes para avaliar qualitativamen-
te se as ações estão sendo implantadas de modo eficiente e efetivo. É com esse tipo
de monitoramento que se pode identificar possíveis conflitos de papéis, estereótipos
profissionais, estilos de gestão, comprometimento das equipes, adequações metodo-
lógicas etc. Muitas vezes, consegue-se perceber que uma dada metodologia, mesmo
que adaptada, não se adéqua à determinada realidade social, podendo ser necessário
mudar completamente as ações projetadas.
A classificação aqui apresentada é meramente didática, pois o monitoramento

deve ser integral e sistêmico, envolvendo e correlacionando aspectos financeiros, ad-
ministrativos, técnicos, e de sistemas de entrega, atrelados à sensibilidade dos gesto-
res para tomar decisões.
Sistemas de informação
e sistemas de monitoramento
Passamos por um processo de mudança paradigmática no campo do M&A, resul-
tante de transformações na maneira dos cidadãos se comportarem com relação aos
seus governantes, às ONGs e às empresas privadas que executam projetos de caráter
social. Há uma ampla mudança na função desses atores, havendo cobranças por in-
formações válidas e confiáveis, garantindo, assim, uma maior transparência nos atos
praticados por esses agentes.
A revolução informacional1 atinge diretamente os processos de gestão e monito-

ramento dos projetos, exigindo novos desenhos de sistemas de informação que sejam
realmente úteis para gestores, financiadores e sociedade em geral. Essa revolução vem
colaborando para criação de novas concepções gerenciais dos projetos e tem gerado
uma série de propostas e ações destinadas ao desenvolvimento de sistemas de M&A,
principalmente das ações governamentais, que propiciem o aperfeiçoamento dos sis-
temas gerenciais dos projetos e programas. Monitoramento de projetos sociais
Busca-se, assim, suprimir, ou pelo menos minimizar, uma das principais deficiên-
cias de alguns governos e organizações sociais no que se refere ao baixo desempenho
operacional, em grande parte decorrente da falta de conhecimento da realidade social
e da falta de transparência sobre os resultados de suas ações, por meio dos investi-
mentos em sistemas de informação e sistemas de monitoramento e avaliação (SANTOS
et al., 2001).
1
Segundo José Vicente Tavares dos Santos (2001, p. 116), que parte de contribuições de Adam Schaff e Mark Poster, a sociedade da informação seria definida
por uma nova configuração dos sistemas de informação, em que, devido aos avanços tecnológicos, na informática, computação e inteligência artificial, o inter-
câmbio das comunicações entre os indivíduos passa a ser cada vez menos sujeito às limitações do tempo e do espaço. Tais fenômenos implicam modificações
não apenas nas comunicações, mas também nas relações sociais e em suas implicações políticas.
187
Os sistemas de informações e sistemas de M&A são utilizados para designar o
mesmo objeto que é o ato de gerir, como processo complexo que implica uma série de
ações e atividades associadas à sistematização e à utilização de determinadas informa-
ções. Como afirma Santos et al. (2001, p. 28):
[...] não há como discutir gestão sem considerar a informação necessária para tais atividades; como
também não se pode levar a sério um processo de avaliação que não esteja comprometido com um
esforço de sistematização e organização dessas informações.
Os maiores desafios no campo da gestão/monitoramento voltam-se não mais

para os tradicionais sistemas de avaliação de resultados e impacto, mas para a testa-
gem e formatação de sistemas de monitoramento que sejam mais eficientes e efica-
zes. Para isso, cada vez mais se investe em ações que unifiquem bases de dados sobre
beneficiários de projetos e programas sociais, evitando assim que haja sobreposição
ou insuficiência de ações voltadas para um determinado público, bem como definindo
melhor os critérios de focalização das ações para determinados grupos.
Surgem assim, por exemplo, os sistemas de monitoramento dos “cadastros únicos”

vinculados aos sistemas públicos unificados como, por exemplo, o da Assistência Social
(Sistema Único de Assistência Social – Suas2) e o Bolsa Família3. Além de servir de cri-
térios para apoio a projetos por parte dos governos, muitos financiadores privados
também têm se utilizado dos sistemas de monitoramento público para definir ações e
beneficiários nos projetos que venham a apoiar.
Tais sistemas têm demandado alto nível de sofisticação com relação à coleta, tra-
tamento e análise de dados, usando programas informatizados, geralmente disponí-
veis em intranet ou mesmo na internet, quando abertos à toda população.
Embora na atualidade a maioria dos sistemas de informações sejam informati-

zados ou computadorizados, não necessariamente tais sistemas precisam ser de tal
forma. Ao se utilizar um sistema gerencial de informações, este deve ter por finalidade
dar organicidade e sistemática aos processos de monitoramento e avaliação, tomada
de decisão e gestão. Se ele será informatizado ou não é uma discussão de meios e não
de fins (SANTOS et al. 2001). Nos dois casos, é preciso haver investimentos para a capa-
citação dos usuários do sistema (gestores e executores).
De modo simplificado, pode-se enxergar o fluxo de um sistema de informação,

integrado ao sistema de monitoramento, da seguinte maneira:
2
O Suas consiste “num sistema que integra uma política pactuada nacionalmente, que prevê uma organização participativa e descentralizada da assistência
social, com ações voltadas para o fortalecimento da família. Baseado em critérios e procedimentos transparentes, o sistema altera fundamentalmente opera-
ções como o repasse de recursos federais para estados, municípios e Distrito Federal, a prestação de contas e a maneira como serviços e municípios estão hoje
organizados” (MDS, 2009). Para mais informações consulte: <www.mds.gov.br/suas>.
3
O Programa Bolsa Família (PBF) é “um programa de transferência direta de renda com condicionalidades, que beneficia famílias em situação de pobreza (com
renda mensal por pessoa de R$69,01 a R$137,00) e extrema pobreza (com renda mensal por pessoa de até R$69,00), de acordo com a Lei 10.836, de 09/01/2004
e o Decreto 5.209, de 17/09/2004” (MDS, 2009). Mais informações: <www.mds.gov.br/bolsafamilia/o_programa_bolsa_familia/o-que-e>.
188
(TENÓRIO et al., 1995. Adaptado.)
Comparar e
Planejar o Coletar e Produzir novas
interpretar com
monitoramento registrar dados informações
padrões
Tomar
decisões
Planejar o monitoramento significa escolher os dados e informações que servirão

como critério para acompanhar a consecução dos objetivos por meio da realização das
ações. Durante a implementação do projeto, podem-se coletar muitas informações, mas
cabe selecionar as mais pertinentes e acessíveis do ponto de vista técnico e de custos.
Na coleta e registro de dados é que se sintetiza a percepção dos executores do

projeto sobre o desenvolvimento deste, de modo bastante objetivo. Consiste da de-
finição dos indicadores e parâmetros que conformarão o sistema; dos dados e infor-
mações que o alimentarão, assim como as suas fontes de informação; e a sistemática
que deverá ser adotada para se proceder aos levantamentos e pesquisas (SANTOS et
al., 2001). Os dados deverão ser classificados e categorizados, constituindo o sistema
de informações do projeto, de modo que esse sistema permita comparar resultados
parciais com os padrões preestabelecidos. Padrões são aqui entendidos como “carac-
terísticas das ações e eventos, como intensidade, duração, qualidade etc. consideradas
como desejáveis” (TENÓRIO et al., 1995, p. 48).
Por exemplo, em um projeto de melhoria da qualidade das escolas, espera-se im-

plementar uma gestão participativa com a efetiva presença de 100% dos pais em todos
os processos de planejamento escolar. Esse seria o padrão desejável, estabelecido em
forma de meta do projeto. Se durante a execução das ações de planejamento os dados
coletados revelarem que apenas 30% dos pais participaram efetivamente de duas das
cinco ações projetadas para o planejamento escolar, cabe aos gestores e executores do
projeto rever as ações, gerando novas estratégias para alcançar o padrão desejado. Monitoramento de projetos sociais
Ao comparar e interpretar com padrões, busca-se confrontar o previsto com o rea-

lizado. Esse julgamento deve ser feito criteriosamente, analisando os dados coletados
dentro do contexto e cenário vivenciado no projeto. Muitas vezes, têm-se resultados
aquém ou além dos desejados apenas por influências contextuais do projeto. Nesse
sentido, a interpretação é produto da observação atenta e sistêmica da execução do
projeto. Conforme lembram Tenório et al. (1995), os dados isolados, sem conexão,
podem ter pouco ou nenhum significado. Dados são elementos isolados e informa-
ções são o conjunto de dados reunidos e interpretados.
189
A partir da etapa descrita anteriormente, os dados coletados, registrados, com-
parados, observados e interpretados, são processados e transformados em novas in-
formações que subsidiam a tomada de decisões. Essas informações, normalmente, são
utilizadas na avaliação de resultados do projeto e servem de diagnósticos para novos
projetos.
As fontes de informação que alimentam um sistema de M&A, segundo Santos et

al. (2001), podem ser as mais diferenciadas:
Beneficiários – podem prover informações que nenhuma outra fonte dispõe,

uma vez que não apenas sofrem ou se beneficiam dos efeitos do projeto, como
também tendem a participar e acompanhar o projeto de forma mais direta que
qualquer outro agente envolvido. Geralmente, a coleta de informações junto
aos usuários pode ser pouco dispendiosa no sentido de coletar dados mais téc-
nicos. Assim, são mais úteis para avaliações voltadas para medir o grau de satis-
fação dos usuários, a qualidade dos produtos, dos serviços e do atendimento.
Produtos – são muito frequentemente utilizadas, graças à facilidade de se es-

tabelecer mecanismos que meçam a qualidade e a quantidade de produtos
entregues e ao baixo custo marginal dessa atividade.
Indicadores externos – alguns sistemas de M&A precisam levar em conta in-

dicadores e índices produzidos por outras agências e entidades. Assim, indi-
cadores globais ou regionais – como renda per capita, produto interno bruto,
índice de analfabetismo, taxa de desemprego etc. –, calculados por outras en-
tidades, podem ser a base de dados utilizada para avaliar um determinado
projeto. Nesses casos, é recomendável que a pessoa responsável pelo sistema
de M&A tenha conhecimento da metodologia adotada para cálculo desses ín-
dices para saber se o que se está medindo interessa efetivamente ao projeto,
se os índices podem ser afetados por variáveis externas a ele e quais efeitos
poderiam comprometer sua avaliação final.
Pessoal envolvido no projeto – o monitoramento de um projeto é, em última

análise, uma avaliação do desempenho dessas pessoas. Os colaboradores que
estão executando as atividades previstas no planejamento são excelentes
fontes de informações para conhecer o funcionamento do projeto.
Dados coletados primariamente por meio de instrumentos próprios – consis-

te no levantamento e uso de dados gerados pela própria execução do pro-
jeto. Os registros e arquivos dos gestores deverão conter dados relativos às
características dos beneficiários; aos custos de operação; aos tipos de serviços
prestados; à quantidade de produtos entregues; ou ao pessoal envolvido em
cada atividade, que podem ser coletados com alguma facilidade nas “fichas” e
registros do projeto.
190
Observadores – o observador externo, contratado para essa finalidade, nor-
malmente é um “expert” que, com base na observação do funcionamento do
projeto, pode emitir pareceres e coletar dados fundamentais para a avaliação.
Pode-se recorrer a observadores treinados, que, se fazendo passar por usu-
ários dos serviços e dos produtos que o projeto oferece, podem subsidiar o
trabalho de avaliação.
Recomenda-se, de modo geral, que os sistemas de monitoramento possuam mais

de um tipo de fontes de informação. A definição de quais fontes são as mais adequadas
depende, segundo Guadalini (apud LUSTOSA, 1997; LUSTOSA, 2003):
do custo de se obter a informação – sempre é bom lembrar que a avaliação do

projeto não pode custar mais caro que o próprio projeto, nem comprometer
sua eficiência;
do tipo de decisão que se pretende tomar com base nas informações levantadas;
em função do tamanho do projeto;
do tempo disponível para se realizar a avaliação.
Ao analisar fatores para definir os sistemas de M&A, deve-se buscar responder às

seguintes questões (COHEN; MARTINEZ, s.d.):
Quem são os destinatários das informações que proporcionam o monitoramento?
Que informações requerem esses destinatários?
Que indicadores devem ser considerados?
Que instrumentos devem ser utilizados? Com qual periodicidade?
Qual o nível de precisão necessária?
Quais e quantas unidades vão se observar por vez (atores, beneficiários,

executores)?
Que tipo de informação se quer?

Como serão processados e analisados os dados?
Enfim, para a montagem de sistemas de informação que sejam operativos e ge-

renciais, úteis aos processos de monitoramento e de qualidade, é preciso atentar para
as seguintes condições e características (CARVALHO, 2000, p. 68; SANTOS et al., 2001):
ter objetivos e resultados esperados claros, bem como a sequência de passos/

ações e as relações causais que supostamente conduzem dos insumos para
191
os produtos do projeto, indicando os processos por meio dos quais o resulta-
do é obtido.
possuir um sistema de informação que permita acompanhar/monitorar o se-

guimento do projeto;
utilizar-se de poucos indicadores, porém que sejam chaves, fundamentais;
voltar-se para a gestão, muito mais do que para o controle;
incentivar a ampla participação e o envolvimento dos usuários no desenvolvi-

mento e operação do sistema;
capacitar os envolvidos no processo de monitoramento para saber utilizar e

aproveitar o sistema;
cuidar tanto do processo como dos resultados;
orientar-se para o compromisso com a eficiência econômica do processo de

acompanhamento e avaliação (economicidade);
comprometer-se com uma maior vinculação entre as atividades de planeja-

mento e avaliação das ações;
tempestividade e oportunidade, ou seja, sistemas que operem dentro de um

tempo hábil para tomar decisões para correções de processos e aproveitar
oportunidades que surjam no decorrer destes.
Instrumentos de gestão e monitoramento

A definição dos instrumentos mais adequados para cada sistema de gestão e mo-
nitoramento de projetos é fundamental, levando-se em conta sua economicidade e
suas peculiaridades. A partir da definição desse cenário é que se determina a metodo-

logia e instrumentos mais adequados para compor o sistema.
Normalmente, adota-se mais de um instrumento de coleta de dados, principalmen-

te os questionários de averiguação, padrões de relato de observações e roteiros de en-
trevistas. Os dados coletados por esses instrumentos são analisados por meio de outros
instrumentos (planilhas, gráficos, tabelas, quadros) que permitem gerar informações.
A observação, o registro de fatos significativos, as reuniões com equipes de ges-

tores e executores do projeto com usuários, beneficiários e parceiros são meios usuais
que subsidiam o monitoramento. Roteiros de entrevista e de reuniões, padrões para
192
registrar e sistematizar relatos e atas de reuniões, diários de campo, são instrumentos
básicos para coleta e registro de informações (CARVALHO, 2000)
Os instrumentos mais tradicionais de coleta de dados utilizados são de ordem

quantitativa, tais como os orçamentos, cronograma físico-financeiro, cronograma de
desembolso, fluxo de caixa etc. Atrelados a estes, devem existir instrumentos que co-
letem informações qualitativas, tais como fichas de registro de entrevistas e fichas de
registros de situações (TENÓRIO et al., 1995).
A escolha dos instrumentos para coleta e análise dos dados será feita de modo a se
adequar ao método escolhido, bem como a capacidade de aplicação do instrumento pela
pessoa que estará fazendo o monitoramento. Os tipos de instrumentos mais usuais são:
pesquisas feitas junto a publicações e registros do projeto, por meio de ques-

tionários aplicados a beneficiários e colaboradores, caixas de sugestões, folhe-
tos, enquetes via intranet etc.;
“checklists”, testes ou sumários de dados catalogados;
estudos de diagnóstico e consultas ao próprio projeto, que sempre servem

como parâmetro inicial;
indicadores gerais e específicos do projeto monitorado;
gráficos para resumir e demonstrar o desempenho e os resultados alcançados

(ex.: fluxogramas de processos, Gantt, Rede Pert, gráficos estatísticos etc.)
Percebe-se que cada vez mais os órgãos públicos, agências multilaterais de coo-
peração e empresas privadas têm investido na construção de sistemas de M&A mais
completos em termos de integração e cruzamento de informações e de variáveis que
permitem maior precisão na gestão e tomada de decisões. Esses sistemas, muitas
vezes, estão compilados em softwares sofisticados que exigem maior qualificação e
capacitação dos que os executam.
Desafios para implantação

de sistemas de monitoramento
Pelo descrito até aqui neste capítulo, pode-se perceber quantos desafios existem
para criação e implementação de um sistema de M&A. Vários são os problemas enfren-
tados que vão, desde questões culturais, até a disponibilidade de recursos financeiros
necessários para construção de sistemas mais complexos.
193
Subrandt (apud CARVALHO, 2000, p. 67), ressalta, porém, que:
O mais frequente dos problemas apontados é o distanciamento do programa em relação aos seus
objetivos iniciais em decorrência, geralmente, de distorções de sua implementação e, em alguns
casos, pela forma como os benefícios são apropriados pela população.
Conforme pesquisa de vários relatos e avaliações sobre sistemas de M&A, Posavac

e Carey (1995 apud SANTOS et al. 2001) afirmam que existem fatores políticos e psico-
lógicos que comprometem ou inviabilizam um processo de monitoramento e avalia-
ção de projetos:
receio de que a avaliação iniba inovações;
receio de que o projeto venha a ser encerrado em virtude dos resultados par-
ciais que obtenha;
receio de que as informações sejam mal utilizadas;
receio de que a metodologia de avaliação não leve em conta aspectos

qualitativos;
receio de que o monitoramento ocupe, de forma não produtiva, os recursos

do projeto, bem como muito tempo daqueles que executam o processo;
receio de perder o controle do projeto;
receio de que a avaliação tenha pouco impacto para o projeto.
Cohen e Martinez (s.d.) e Santos et al. (2001) destacam ainda que relatórios que
analisam experiências de implantação desses tipos de sistemas de informação/mo-
nitoramento possuem uma série de obstáculos enfrentados pelos responsáveis pelo
processo:
a tendência de evasão, por parte dos avaliados, do processo de avaliação;

a dificuldade de se estabelecer parâmetros e critérios de avaliação, notada-

mente nos projetos de natureza social;
a “falta de charme” da atividade de avaliar, em contraposição à de planejar;
a necessidade de se estabelecer instrumentos de monitoramento e avaliação

que satisfaçam as exigências quanto ao processo de coleta e sistematização
das informações, notadamente quanto à sua tempestividade e à capacitação
das pessoas que estão envolvidas no processo;
as deficiências da própria fase de planejamento, normalmente pouco com-

promissada com a etapa seguinte de monitoramento e avaliação dos resulta-
dos atingidos;
194
os altos custos do processo de monitoramento e avaliação;
as restrições legais, que eventualmente dificultam o processo de avaliação e

monitoramento.
Enfim, deve-se compreender e enfrentar tais desafios conhecendo bem a causa,

cenário, contexto, objetivos e metas do projeto a ser monitorado, para que tenha êxito
neste. Pelos aspectos levantados neste capítulo, pudemos analisar os conceitos e tipos
de monitoramento, destacando como este subsidia a gestão dos projetos. De modo
geral, podemos entender a importância do monitoramento enquanto processo sub-
sidiador da gestão e avaliação dos projetos. Para isso, ainda existem vários desafios a
serem vencidos, principalmente no que diz respeito às mudanças de posturas dos ges-
tores, financiadores e executores diretos dos projetos para incorporarem uma cultura
de monitoramento mais eficiente e eficaz.
Texto complementar
Experiência: O sistema de avaliação e monitoramento

das políticas e programas do MDS –
Ministério do Desenvolvimento Social e Combate a Fome
(SOUSA, 2008)
Resumo da experiência
O MDS foi formado em janeiro de 2004, a partir da fusão dos Ministérios da Assis-
tência Social, MAS, do Ministério Extraordinário de Segurança Alimentar e Combate à
Fome, Mesa, e da Secretaria Executiva do Programa Bolsa Família, a qual era vinculada
diretamente à Presidência da República. O MDS passa a responder pelas políticas na-

cionais de desenvolvimento social, de segurança alimentar e nutricional, de assistên-
cia social e de renda e cidadania, que ficaram a cargo, respectivamente, das secretarias
finalísticas que se originaram dos antigos órgãos: Secretaria Nacional de Segurança
Alimentar, Sesan; Secretaria Nacional de Assistência Social, SNAS; Secretaria Nacional
de Renda de Cidadania, Senarc. Foram também criadas duas secretarias para o desen-
volvimento de atividades-meio: a Secretaria de Articulação Institucional e Parcerias,
Saip e a Secretaria de Avaliação e Gestão da Informação, Sagi.
195
Coube à Sagi as funções de avaliação e monitoramento das políticas e progra-
mas de desenvolvimento social do MDS. Isso significou uma inovação na gestão
pública brasileira, uma vez que, até então, não existia, em nenhum ministério, uma
secretaria com essa finalidade exclusiva; sobretudo, uma unidade localizada, hori-
zontalmente, em relação às secretarias finalísticas, e não verticalmente, como costu-
ma ocorrer com unidades de avaliação e monitoramento.
Ao se estabelecer as funções de avaliação e monitoramento, definir di-

retrizes básicas de uma política para essas funções, garantir recursos físicos,
humanos e financeiros para suas atividades, o MDS criou as condições orga-
nizacionais e institucionais para a construção e implementação do sistema de
avaliação e monitoramento.
Descrição da experiência
Objetivos propostos e resultados visados
O principal objetivo da Sagi foi institucionalizar a função avaliação e monitora-

mento no MDS, incorporando-a à gestão de seus programas e políticas. Visou-se, como
principal resultado, à construção de um sistema de avaliação e monitoramento (SAM)
que viabilizasse, por um lado, o acompanhamento contínuo do desempenho dos pro-
gramas, por meio de indicadores de monitoramento; e, por outro, a incorporação dos
resultados obtidos por estudos de avaliação aos programas e políticas do MDS.
Ações realizadas
Diante da inexistência de qualquer sistema de avaliação e monitoramento

dos programas e políticas que ficaram sob a responsabilidade do MDS, as primeiras
ações necessárias para a construção do SAM visaram a construção de uma base con-
ceitual e tecnológica. Entre elas, destacamos:
Definição do arcabouço conceitual mínimo sobre avaliação e monitoramento
Com uma equipe recém-formada e sem experiência direta na área de avaliação

e monitoramento, foi necessária a definição, e o acordo, sobre o que se estava enten-
dendo por monitoramento e avaliação e como essas funções deveriam ser condu-
zidas, enquanto parte do ciclo de formulação e avaliação de políticas e programas.
Estabeleceu-se, com base na literatura do campo da avaliação de políticas, um arca-
bouço conceitual mínimo sobre monitoramento e avaliação (estrutura, processos,
resultados e impactos).
196
Levantamento da arquitetura informacional
Foram levantados, com as secretarias finalísticas, os dados disponíveis para

todos os programas do MDS, os responsáveis por sua produção e gestão, bem como
seus fluxos e principais usuários. Procedeu-se também o levantamento de ferramen-
tas e sistemas de informação existentes no MDS. O objetivo foi verificar a sua utili-
dade, que tipos de dados eram produzidos e a sua inserção nos processos de gestão
dos programas.
Levantamento das variáveis dos programas do MDS
Com o propósito de preparar uma base de dados para a construção de indi-

cadores de monitoramento dos programas do MDS, foram levantadas as variáveis
existentes nos bancos e sistemas de informação do MDS, bem como as rotinas de
recebimento dos dados.
Criação de instâncias colegiadas
A fim de estabelecer a cooperação entre os diferentes setores do MDS para a

execução das ações de avaliação e monitoramento, foram instituídas pela secretaria
executiva duas instâncias compostas por membros de todas as secretarias do MDS:
o grupo de trabalho de avaliação e monitoramento, encarregado de elaborar a po-
lítica de monitoramento e avaliação do MDS, bem como o plano anual de monito-
ramento e avaliação; o comitê gestor de tecnologia e informação, responsável pela
política de informação, que estabeleceu regras e padrões em relação aos sistemas
de informações gerenciais e executivos, às tecnologias utilizadas, às bases de dados
e à infraestrutura.
[...]
Caracterização da situação atual

Resultados quantitativos e qualitativos concretamente mensurados
O resultado desse processo de implementação das funções de monitoramento

e avaliação, iniciado em 2004, foi a construção de um sistema de avaliação e monito-
ramento composto de dois subsistemas: monitoramento e avaliação. Esses subsiste-
mas estão integrados quanto à forma de utilização das bases de dados, indicadores
e ferramentas informacionais que, em conjunto, possibilitam seu funcionamento.
197
Mecanismos de avaliação de resultados e indicadores utilizados
Subsistema de monitoramento
Esta estrutura permite acompanhar o desempenho dos programas do MDS a

partir de dados gerenciais, os quais também são utilizados para a construção de
indicadores. Como parte do subsistema de monitoramento, duas ferramentas para
o tratamento da informação foram desenvolvidas: Dicionário de Variáveis e Indica-
dores de Programas, DICI-VIP e a Matriz de Informações Sociais, MI Social.
O DICI-VIP é uma ferramenta desenvolvida para ser acessada via internet, que
armazena informações de variáveis, programas e indicadores de todos os progra-
mas do MDS. Com essas informações é possível recuperar a memória dos dados uti-
lizados para o cálculo de indicadores de monitoramento.
No DICI-VIP estão cadastradas variáveis originárias de várias fontes, bem como

indicadores que podem ser formulados a partir dessas variáveis, as quais são recu-
peradas a partir de bases de dados e dos instrumentos de coleta relacionados aos
programas do MDS. Nele também estão armazenadas as fórmulas matemáticas dos
indicadores compostos a partir das variáveis incluídas no dicionário.
A MI Social é uma ferramenta computacional que disponibiliza informações

gerenciais sob a forma de indicadores. As informações podem ser visualizadas em
vários níveis de desagregação, incluindo as unidades da federação, microrregiões,
municípios e territórios especiais. Estão disponíveis, por exemplo, dados relativos à
população rural e urbana, fundos constitucionais, dados socioeconômicos de todos
os territórios.
Além dos indicadores e informações básicas dos programas sociais do MDS,

estão disponíveis para consulta na ferramenta, informações demográficas e sócio-
econômicas em diferentes níveis de agregação territorial. As informações produzi-
das podem também ser obtidas em vários formatos: planilhas eletrônicas, relatórios,
tabelas, gráficos, mapas estatísticos e mapas temáticos. Essas informações são dis-
ponibilizadas com o propósito de dar transparência à gestão das políticas públicas,
bem como para a tomada de decisões no âmbito do MDS.
Os indicadores apresentados no MI Social são derivados a partir das variáveis e

indicadores dos programas armazenados no DICI-VIP. Os cálculos são realizados em
linha e refletem a atualização frequente dos dados dos programas. Foram construí-
dos e calculados 60 indicadores relativos aos programas, classificados em estrutura,
processos e resultados. Além disso, há mais 25 indicadores definidos, embora ainda
não calculados.
198
Subsistema de Avaliação
Definiu-se, como estratégia de avaliação, a contratação de estudos de diferentes

tipos, desenhos, abordagens e métodos, desde grandes pesquisas nacionais em con-
junto com o IBGE, avaliações de impacto com desenho quase-experimental, passan-
do por avaliações de processos e estudos de caso, com abordagem antropológica.
(...)
Lições aprendidas
Soluções adotadas para a superação dos principais obstáculos
encontrados durante a implementação
A construção e implementação de um sistema de avaliação e monitoramento

requereu o esforço de muitos profissionais e a mobilização de recursos de diferentes
ordens. Várias lições foram aprendidas e incorporadas pela secretaria com o propó-
sito de melhorar sua atuação em um complexo processo, visando sua instituciona-
lização. Alguns pontos merecem destaque como experiências que devem ser regis-
tradas como aprendizado institucional:
1. O SAM não poderia ter sido construído sem a cooperação entre a SAGI e as
secretarias finalísticas, as quais detêm a gestão de um conjunto de bancos
de dados gerenciais sobre os programas, como cadastro de beneficiários,
dados físico-financeiros, além de informação, conhecimento sobre os pro-
gramas e contatos com municípios. Cooperação e entendimento devem,
portanto, ser buscados desde o início do processo com todo um trabalho
de sensibilização.
2. O convencimento dos membros da organização e, sobretudo, da cúpula de

dirigentes e gestores envolvidos diretamente nos programas, em relação
à função avaliação e monitoramento, possibilitou não apenas melhorar o
desempenho dos programas e verificar se os resultados previstos são alcan-
çados, mas também reformulá-los. Convencimento, e com isso a criação de

crenças, atitudes e comportamentos positivos em relação ao papel da ava-
liação e monitoramento, consiste em uma etapa necessária do processo de
institucionalização da avaliação e monitoramento.
3. A SAGI conseguiu, no papel prioritário de contratante, e não executora, de

estudos, pelo menos três tipos de ganho: de escala, tendo sido possível con-
tratar um grande número de pesquisas em tempo relativamente curto; de
199
diversidade, pois se definiu como estratégia de avaliação a contratação de
estudos de diferentes tipos, desenhos, abordagens e métodos; de qualida-
de, uma vez que foi possível selecionar as instituições mais adequadas para
a realização de cada tipo de estudo.
4. Outra lição importante foi a necessidade de criar mecanismos institucionais

para viabilizar não apenas a interação entre o conhecimento técnico e as
políticas, mas sua efetiva utilização na retroalimentação das políticas. A ins-
titucionalização da avaliação e monitoramento permite aproximar a dimen-
são técnica da gestão das políticas.
5. A autonomia e responsabilidade da equipe foram elementos decisivos para

a produção de um conjunto significativo de pesquisas, ferramentas, publica-
ções, cursos, em um período de tempo tão curto. Isso ressalta o papel de uma
gestão não burocrática, flexível e centrada no reconhecimento das capacida-
des individuais como elemento crucial para o desempenho organizacional.
6. A MI Sociais tornou-se um poderoso instrumento de gestão com informação

agregada em nível municipal, pela primeira vez, na área de proteção social; ao
mesmo tempo, induziu a resolução de pelo menos três tipos de problemas de
informação do MDS: a produção, padronização e atualização dos dados.
7. Quanto aos aspectos críticos, o fato dos dados primários serem alimentados
por fontes tão diversas e sobre as quais a Sagi, ou mesmo o MDS, muitas vezes
não tem qualquer governabilidade, consiste em um dos nós críticos da produ-
ção de indicadores confiáveis. Portanto, a busca pelos dados consiste numa
constante por padronização de estruturas de dados, sistemas, tecnologias e
registros formais dos indicadores e instrumentos usados para produzi-los.
Atividades
1. Afirma-se no texto que monitoramento e avaliação são atividades complemen-

tares. O monitoramento consiste, portanto, na avaliação de processo, de pro-
gresso, intermediária ou in itinere. Exemplifique uma situação que comprove essa
complementaridade entre o monitoramento e avaliação de projetos sociais.
200
2. Considere um projeto com as seguintes características:
Programa Pão Nosso – elevação da produção de grãos no estado do Pará
Objetivo do programa: reduzir a dependência do estado do Pará de grãos

produzidos fora do estado dos atuais 60% para 20%, no período de 3 anos.
Objetivos específicos:
1. aumentar a produtividade da produção agrícola;
2. ampliar a oferta de grãos produzidos no estado do Pará;
3. facilitar o acesso dos produtores a linhas de crédito para implantação

de sistemas de irrigação.
Ações referentes ao objetivo específico 1:
1.1. Assistência técnica e extensão rural;
1.2. Construção (ou ampliação) de laboratórios de análise de controle

de pragas; Monitoramento de projetos sociais
1.3. Distribuição de material com instruções para uso de pesticidas etc.
Você foi convidado para elaborar um sistema de monitoramento desse projeto.

Explique quais seriam os fatores condicionantes e quais as ações prioritárias
que devem ser encaminhadas para que seja possível o monitoramento das
ações do objetivo específico 1.
201
3. A produção de informações confiáveis é um dos componentes centrais para o
bom desempenho de qualquer metodologia de monitoramento de projetos so-
ciais. Atualmente, tem-se criado sistemas de informação com alto nível de sofis-
ticação com relação à coleta, ao tratamento e à análise de dados, usando progra-
mas informatizados, geralmente disponíveis em intranet ou mesmo na internet,
quando abertos à toda população. Sobre esses aspectos é correto afirmar que:
a) A confiabilidade dos dados de um sistema de monitoramento depende di-

retamente do nível de informatização que este possui.
b) A discussão sobre a informatização não é uma discussão fundamental para

a implementação de um sistema de informações gerenciais.
c) Só é necessário capacitar os gestores e executores dos projetos sociais para

a utilização dos processos de M&A quando estes são informatizados, pois
daí decorrem uma série de especificidades.
d) Os sistemas de monitoramento não têm necessariamente de ser informa-

tizados, mas devem ter por finalidade dar organicidade e sistemática aos
processos de monitoramento e avaliação, tomada de decisão e gestão.
202
203
Técnicas e instrumentos de avaliação
Introdução
Vídeo Um dos maiores desafios da avaliação e monitoramento de proje-
tos sociais reside na construção das informações que serão usadas em
tais processos. Dizemos que as informações são construídas e não sim-
plesmente coletadas porque cada uma delas é produto de um desejo,
de uma pergunta, de uma técnica que orientará a sua apreensão e com-
preensão. Assim, todas as informações que alimentam a pesquisa ava-
liatória são sempre ressignificadas pelo agente ou agentes da avaliação. A construção
da informação avaliatória depende do trabalho ativo e profundo da análise do objeto
de avaliação, compreendendo o seu universo de significados e de práticas.
O avaliador possui um vário repertório de técnicas e instrumentos para a cons-

trução de dados avaliatórios, ou seja, dados que alimentarão o processo de avaliação
a ser desencadeado. A escolha das técnicas está relacionada aos vínculos da avaliação,
que por sua vez guiam o planejamento da própria avaliação, incluindo o que chama-
mos de desenho da pesquisa avaliatória. Alguns desses vínculos são temporais, outros
são políticos, outros são atribuídos ao próprio objeto de avaliação, outros ainda são
econômicos ou contextuais. Por isso, frequentemente, as técnicas e instrumentos são
definidas quando a avaliação ainda está dando os seus primeiros passos. Apesar disso,
é importante observar que, às vezes, algumas das técnicas e/ou instrumentos dese-
nhados poderão necessitar de mudanças, adaptações ou mesmo substituição – não
podendo, portanto, serem vistas como camisas de força.
Neste capítulo você conhecerá algumas das principais técnicas e instrumentos

utilizados na construção de dados no campo da avaliação e monitoramento de proje-
tos e programas sociais. Cada uma dessas técnicas envolve os passos clássicos de iden-
tificação e seleção das fontes, coleta das informações, além da sua organização, análise
e apresentação. Algumas delas pressupõem uma abordagem mais quantitativa, outras
mais qualitativas, ainda que esse esquema seja, claramente, flexível.
205
Há diferentes formas de se classificar os dados em avaliação e monitoramento de
projetos sociais. A classificação mais difusa refere-se à distinção entre dados qualitati-
vos e dados quantitativos. Dados quantitativos são, via de regra, informações numéri-
cas sobre uma dada realidade, enquanto que dados qualitativos fornecem informações
relacionadas a categorias de tal realidade (cor, sexo, partido político etc.).
Outra distinção bastante usada refere-se aos dados subjetivos ou objetivos, os

primeiros extraídos de sensações, percepções e valores; e os segundos de fatos (que,
a rigor, também possuem algum grau de subjetividade) – ambos podem ser quan-
titativos ou qualitativos. A separação entre dados primários e secundários é outra
divisão clássica, sendo que os primeiros são originados diretamente das fontes da in-
formação e os segundos referem-se a fontes que já processaram e refletiram sobre as
informações colhidas na ocasião como primárias. Por último, uma outra classificação,
não muito usada, distingue os dados longitudinais dos transversais (cross-sectional
data): os primeiros são dados colhidos ao longo do tempo; os segundos, dados colhi-
dos ao mesmo tempo mas em entidades diferentes, como diferentes grupos, escolas,
hospitais etc.
Análise da literatura ou análise bibliográfica

A análise bibliográfica compreende a catalogação e compreensão da literatura
disponível sobre o objeto avaliado, em que a equipe de avaliação entra em contato
com todo o material já produzido sobre o tema, direta ou indiretamente, assim como
toda a documentação que foi produzida pelo próprio objeto de avaliação. Através da
análise da literatura, ou análise bibliográfica, é possível conhecer generalidades e es-
pecificidades do objeto avaliado, seja uma política, plano, programa, projeto ou ação
social. As grandes vantagens desse tipo de técnica de avaliação são a facilidade de
aplicação (já que estamos todos mais ou menos habituados a fazer isso), a aparente
economia de tempo (que depende um pouco da equipe de trabalho), além do baixo
custo que normalmente comporta. A grande desvantagem, naturalmente, é a susceti-

bilidade e fragilidade das avaliações que se apoiam demasiadamente em fontes secun-
dárias, elaboradas a partir de fontes primárias, colhidas em campo. Para evitar tais pro-
blemas, quando pairar dúvidas sobre a precisão dos dados secundários, vale sempre a
pena conferi-los com fontes primárias.
A literatura pode ser dividida em dois grandes grupos de documentos. No primei-

ro deles, encontram-se todos dos documentos relacionados diretamente ao programa,
tais como relatórios, artigos e livros sobre o programa, que ajudam o avaliador e a sua
equipe a explorar e a aprofundar teorias sobre o programa, além de novas questões,
hipóteses avaliatórias ou questões metodológicas ainda não levadas em consideração.
Em geral, são muito elucidativas na construção do desenho da avaliação. É preciso, en-
206
tretanto, levar em consideração que as informações ali presentes foram construídas em
um contexto provavelmente diferente do que o avaliador está no momento inserido.
O segundo grande grupo de documentos são aqueles relacionados à área de in-

teresse da pesquisa avaliatória, que podem incluir reflexões teóricas ou mesmo relató-
rios de avaliações já realizadas que tragam contribuições conceituais, metodológicas
ou práticas para a avaliação em curso. Normalmente esse tipo de análise necessita de
certa sistematização, a fim de que os dados colhidos possam ser socializados entre
os participantes da avaliação, sobretudo na fase de planejamento. Por exemplo, em
uma avaliação de impacto do programa “Leite pela vida”, pode ser interessante estudar
outras avaliações de programas semelhantes, colhendo importantes contribuições ou
considerações sobre metodologia, instrumentos, desenho em geral etc.
Pesquisa de arquivo
A pesquisa de arquivo é uma das melhores técnicas de avaliação existentes, ainda
que encontre muitas dificuldades como a habitual imprecisão e desorganização dos
arquivos (ou melhor, dos poucos arquivos existentes), assim como da necessidade de
mão de obra especializada e, quase sempre, do longo tempo demandado. Mas, supe-
radas essas dificuldades, essa forma de análise pode trazer enormes contribuições à
avaliação e monitoramento de programas e projetos sociais. Há muitos tipos de do-
cumentos que podem ser encontrados em arquivos, tais como documentos de ga-
binete, documentos administrativos, relativos aos beneficiários, participantes, custos
Técnicas e instrumentos de avaliação de programas e projetos sociais

do programa ou projeto, pontos críticos identificados, avaliações e monitoramentos
já realizados ou em curso de realização etc. Os arquivos podem ser tradicionais (em
papel), digitais ou mistos.
Os dados encontrados em arquivos podem constituir-se em uma inestimável fonte

de informação primária sobre o programa e o seu contexto, podendo ajudar o avaliador
e a sua equipe a compreender melhor os resultados do programa, assim como a verificar
e/ou ajustar as hipóteses avaliatórias. A pesquisa de arquivo pode ainda ajudar a produzir
um quadro referencial para novas prospecções de dados, como, por exemplo, o desenho
de entrevistas estruturadas ou a definição da amostra populacional que será utilizada em
uma pesquisa de survey (pesquisa por amostragem, ver tópicos seguintes).
Observação in loco
A técnica da observação em campo é um excelente modo de colher evidências
em pesquisas avaliatórias. As informações colhidas podem ser registradas de muitos
modos, como através de notas, diários de campo, fotografias, vídeo etc. Elas podem
207
ser usadas diretamente nos relatórios de avaliação como evidência da confirmação das
hipóteses apresentadas. A observação in loco é o coração da abordagem etnográfica
na pesquisa social.
A observação pode ser simples ou participante. A observação simples é quando a

posição do observador é externa ao processo observado. Já a participante, cujas raízes
remontam à Escola de Chicago dos anos 19501, teorizada e participante, é quando o
pesquisador faz literalmente uma imersão continuada em um projeto com o objetivo
de observá-lo em profundidade, conhecendo e se aproximando do seu universo (po-
dendo inclusive assumir ativamente algumas tarefas dentro do grupo observado). A
observação participante é um rico instrumento de compreensão de realidades com-
plexas, por atingir com mais precisão as peculiaridades do contexto, apesar de possuir
altos custos devido ao grande tempo exigido.
As técnicas de observação, seja simples ou participante, requerem, porém, compe-

tências específicas do avaliador e da sua equipe, que devem selecionar o que observar,
quando observar, como registrar as observações e principalmente a posição do obser-
vador em relação ao objeto ou evento observado. Em outras palavras, as condições e o
contexto da observação devem ser fruto do planejamento da pesquisa de avaliação e as
condições devem ainda ser negociadas com os coordenadores que demandaram a ava-
liação. Pode-se também estender essa negociação aos atores que estão envolvidos com
o programa e que serão observados em suas práticas de vida ou práticas profissionais.
No entanto, não é raro que os coordenadores de um programa autorizem a observação
direta, in loco, sem que os participantes saibam que estão sendo observados.
Os registros das informações e evidências colhidas com a técnica da observação

direta podem ser múltiplos, mas devem ser diretos, precisos e, sempre que possível, feitos
pouco tempo após a observação, evitando perdas de informações que poderiam vir a ser
importantes. É importante lembrar que, no caso de observação de práticas e rotinas de
um programa e projeto, a riqueza e o encadeamento na descrição dos procedimentos
podem ser fundamentais para a compreensão dos problemas que o tal programa ou pro-
jeto atravessa, pois podem revelar discrepâncias entre os procedimentos descritos pelos
documentos e os procedimentos realmente executados na prática organizacional.
Pesquisa de survey
Não há muita concordância na literatura sobre a pesquisa survey ou de tipo survey
quanto à sua classificação como técnica, abordagem ou mesmo instrumento de pes-
quisa social, largamente utilizada em avaliação e monitoramento de programas ou
1
A Escola de Chicago propôs nos anos 1950 uma abordagem de pesquisa centrada no estudo de caso, incentivando o mergulho do pesquisador na realidade pes-
quisada. Entre os pesquisadores que defendiam essa abordagem encontrava-se Robert Park, que ajudou a trazer a perspectiva empírica para a pesquisa social.
208
projetos sociais. Aqui a classificaremos como uma técnica usada para construir genera-
lizações sobre universos populacionais a partir de amostragens significativas de parte
dessa população. O instrumento característico das surveys é o questionário, que deve
ser cuidadosamente construído para dar credibilidade e confianças às generalizações
que serão realizadas.
As perguntas que formam os questionários devem ser claras, sem ambiguidades,

e devem levar em consideração o provável contexto em que serão respondidas, sendo
frequentemente necessária sua prévia validação em campo com uma pequena amos-
tra. Esse exercício de validação quase sempre resulta em ajustes no questionário, pois
o avaliador pode perceber que o modo como ele construiu a pergunta pode não levar
à natureza da informação que ele deseja receber.
Segundo a literatura (WORTHEN et al., 2004), as perguntas podem ser: pergun-

tas de classificação; perguntas factuais; ou perguntas de opinião. Em todos os casos
podem ser perguntas abertas, que dão maior liberdade ao respondedor, ou fechadas,
cujas opções são previamente definidas. Quase todos os tipos de questionários clas-
sificam e numeram as respostas de modo a facilitar a tabulação e análise dos dados
– esse trabalho chama-se codificação e permite a classificação em categorias analíticas
significativas ao processo de avaliação.
Questionários
As surveys (tradução literal: exame) se utilizam de diferentes tipos de questioná-

rios, desde os autoaplicáveis, aqueles cujos próprios pesquisados podem responder
sozinhos às informações solicitadas (muitas vezes são questionários por correspon-
dência), os questionários telefônicos, até os que devem ser aplicados por profissionais
especializados na técnica de coleta de dados.
Levando-se em consideração que os pesquisadores não terão nenhum contro-

le sobre o preenchimento dos questionários autoaplicáveis, eles devem ser sempre
testados para garantir que sejam claros, concisos e culturalmente compatíveis com
a população-alvo, além de serem de fácil leitura gráfica. Mesmo dando a chance às
pessoas de se expressarem anonimamente sobre um tema que pode ser do seu in-
teresse, o percentual de respostas obtido é geralmente muito baixo. As causas mais
prováveis são a falta de interesse no tema investigado, a falta de tempo para preencher
o questionário e o esforço demandado para o reenvio do mesmo por correio. Por outro
lado, os custos desse tipo de survey é relativamente baixo, pois não utiliza mão de obra
especializada para a coleta das informações.
As surveys telefônicas alcançaram um alto índice de popularidade nos EUA, mas

hoje já são reguladas por associações, que criaram listas de usuários que não querem
209
ser contatados telefonicamente (essas listas já possuem milhares de números de tele-
fones). As vantagens da rapidez e dos baixos custos desse tipo de survey se confron-
tam com a dificuldade em se construir amostras equilibradas de universos populacio-
nais mais abrangentes. Não é fácil e nem barato, por exemplo, definir uma amostra
populacional de jovens de alta vulnerabilidade social, que estudam em colégios com
determinadas características, que são interessados em determinadas coisas e querem
trabalhar em um programa social. Em outras palavras, quanto mais refinada a amostra,
mais difícil é a sua construção.
Aqui no Brasil as surveys telefônicas, por exemplo, acabam favorecendo as classes

econômicas mais altas, cujos indivíduos possuem telefone fixo em casa. Nos últimos
anos essa situação mudou, com a difusão de telefones celulares, assim como com o
desenvolvimento de novas tecnologias de comunicação que barateiam os custos das
ligações telefônicas, além de novos programas que eliminam o “tempo perdido” dos
entrevistadores em realizar eles mesmos as ligações telefônicas e esperar que o possí-
vel entrevistado responda à chamada telefônica. Os índices de resposta desse tipo de
pesquisa costumam ser mais altos do que das surveys por correspondência.
As surveys presenciais são as que apresentam maiores custos, pois requerem pro-
fissionais treinados e afinados com os objetivos da pesquisa de avaliação. Estudos de-
monstraram que os entrevistadores possuem uma forte influência sobre a qualidade
das informações colhidas. Outro ponto a se observar é que o avaliador não consegue
ter o controle total do tempo de cada entrevista, pois cada uma tem uma dinâmica
própria. Por isso, faz-se um cálculo médio e se determina quantos questionários cada
entrevistador deve realizar por dia. O índice de respostas, porém, costuma ser alto. Os
questionários aplicados dessa forma são equivalentes às entrevistas estruturadas (ver
tópico entrevista estruturada).
Entrevistas
As entrevistas são uma das técnicas de pesquisa social mais difundidas no campo
da avaliação de programas e projetos sociais. Ela pode ser compreendida como uma
conversação entre duas ou mais pessoas, na qual ao menos uma delas assume a posi-
ção de entrevistador, com o objetivo de abordar um ou mais tópicos, podendo fazer
uso de diferentes métodos de interação dialógica. Quando bem conduzidas, é possível
obter, extrair ou construir, a depender do ponto de vista do entrevistador, informações
importantes sobre valores, opiniões, posições, atitudes, costumes, experiências e sen-
timentos dos entrevistados.
Uma boa condução da entrevista pressupõe um bom domínio técnico, incluindo

seus diferentes métodos de conduzir entrevistas e analisar os dados, além de uma afi-
210
nada sensibilidade para compreender as limitações e potencialidades de cada experi-
ência de entrevista. Há muitas formas de classificar os métodos de entrevistas, sendo
que Tim May (2004), um dos mais importantes estudiosos das técnicas de pesquisa
social, propõe uma interessante classificação. Para ele, as entrevistas podem ser divi-
didas em quatro diferentes tipos (com a ressalva de que frequentemente utilizam-se
tipos mistos): entrevista estruturada, entrevista semiestruturada, entrevista não estru-
turada e entrevista em grupo. As entrevistas estruturadas são mais adequadas à abor-
dagem de tipo survey, enquanto que as semiestruturadas e não estruturadas são mais
utilizadas pela abordagem etnográfica.
Entrevista estruturada
As entrevistas estruturadas são bastante utilizadas em pesquisa de survey, ou seja,
em pesquisas que se utilizam de universo amostral para construir generalizações sobre
o universo populacional pesquisado. O principal instrumento de coleta de dados da
entrevista estruturada é o questionário, que deve ser aplicado por pesquisadores trei-
nados para influenciarem os resultados colhidos. Segundo os defensores desse tipo de
técnica, se as perguntas forem aplicadas igualmente e em contextos muito parecidos,
as diferenças de respostas obtidas são diferenças efetivas, reais, e não são vistas como
fruto do contexto da experiência na qual ocorreu a entrevista. A entrevista estruturada
permite, portanto, a comparação dos resultados obtidos dada a sua estrutura uniforme
(MAY, 2004).

Esses resultados são trabalhados dentro de uma abordagem quantitativa, extrain-
do-se da análise padrões de reposta, a partir de análises estatísticas, que buscam cons-
truir generalizações das respostas de um grupo menor (amostra) para um universo
maior (universo populacional). Essas entrevistas podem ser presenciais ou a distância
(telefone, internet, chat), mas são sempre síncronas.
Um dos grandes desafios da pesquisa de survey é a validação das respostas. Um

dos recursos mais utilizados para tal validação é a elaboração de diferentes formula-
ções de uma mesma pergunta, para que se verifiquem as respostas por elas obtidas.
Caso as respostas sejam iguais, considera-se que a pergunta está validada e que, por-
tanto, as repostas são reais.
A formação dos responsáveis pela aplicação do questionário, que devem ser de-
vidamente treinados para colherem diferenças reais entre os entrevistados, é também
um desafio da survey. Para enfatizar as posições neutrais dos entrevistadores em rela-
ção aos valores e opiniões do entrevistado, as pesquisas estruturadas adotam frequen-
temente explicações-padrão, diminuindo a possibilidade de ruído na comunicação
entre as partes e buscando delimitar o tipo de resposta desejada.
211
O pesquisador deve ainda, como recordam Fontana e Frey (1994), evitar inter-
pretar a reposta do entrevistado, assim como emitir qualquer tipo de juízo (verbaliza-
do ou não). Grande parte da literatura especializada em surveys, entretanto, começa a
defender uma maior semelhança cultural entre entrevistador e entrevistados, com o
objetivo de diminuir eventuais erros na coleta de dados provocados pelas diferenças
culturais entre ambas as partes.
Entrevista semiestruturada
A entrevista semiestruturada é uma técnica mista que, teoricamente, permite usu-
fruir das vantagens da padronização e da construção de generalizações da entrevista
estruturada e das possibilidades de aprofundamento ou esclarecimento da entrevista
não estruturada. Os avaliadores que adotam essa técnica defendem que a objetivida-
de dos resultados da entrevista estruturada pode ser enriquecida com alguma dose
controlada de subjetividade por parte dos entrevistados.
Na prática, em uma entrevista semiestruturada, as perguntas fechadas, cujas

opções de resposta são fornecidas ou precondicionadas pela estrutura do questioná-
rio, recebem espaços para que o entrevistador aprofunde o ponto de vista do entre-
vistado, podendo ainda solicitar esclarecimentos da resposta dada a tal questão. Nessa
técnica de entrevista, é o avaliador quem decide quais são as perguntas ou questões
que merecem esse tipo de desdobramento. A grande vantagem é que o entrevistado
acaba revelando um pouco da sua subjetividade, exprimindo opiniões, valores etc.,
que podem enriquecer ou mesmo ressignificar as respostas dadas. Normalmente essas
informações qualitativas são tratadas estatisticamente, buscando complementar os
padrões de resposta alcançados pela pesquisa avaliatória.
Entrevista não estruturada

A entrevista não estruturada é uma entrevista aberta, na qual o entrevistador

assume uma posição de ouvidor atento às informações dadas pelo entrevistado e cuja
estrutura se apoia na narração. Pode ser também chamada de entrevista focalizada,
informal ou não padronizada, dada a riqueza qualitativa dos seus resultados. O entre-
vistado possui a liberdade de usar a sua própria estrutura de referência, fazendo uso ou
explicitando os seus valores, crenças e opiniões sobre um ou mais temas tratados, ou,
até mesmo, incluindo ou alterando os temas propostos. Toda essa liberdade de refle-
xão acaba sendo o grande ponto de força dessa técnica de entrevista, ferramenta va-
liosa e muito utilizada sobretudo em pesquisas avaliatórias de abordagem qualitativa.
Serget e Ziegke (2000, apud MAY, 2004, p. 149) defendem que as entrevistas não
estruturadas podem revelar a “base subjetiva de mudanças sociais duradouras nos
212
padrões de percepção e comportamento de grupos sociais particulares”. De fato, tais
entrevistas possuem a capacidade de revelar tendências de comportamento a partir
da determinação de mudanças nos sistemas de valores dos entrevistados. Essa técni-
ca é frequentemente utilizada em avaliações que buscam trabalhar com histórias de
vida, entrevistas biográficas e/ou histórias orais, ainda que também possam ser usadas
entrevistas estruturadas para tal fim. Todavia, são as entrevistas não estruturadas (ou
entrevistas em profundidade) aquelas que conseguem colher a subjetividade interpre-
tativa dos entrevistados acerca dos temas sobre os quais discorrem com maior riqueza,
pois são sensíveis às informações reveladas nas entrelinhas dos discursos dos entrevis-
tados e favorecem a exploração e explicitação de seus valores e opiniões.
O maior desafio desse tipo de entrevista é a preparação do entrevistador. Longe de

ser apenas um receptor de informações, essa figura profissional deve dominar o instrumen-
tal que circunda essa técnica. Além disso, ele deve preparar-se para cada caso, aprendendo
ao máximo sobre o contexto no qual a entrevista será realizada, sobre o sistema cognitivo
do entrevistado, sobre os seus domínios de conhecimento profissional, sua história de vida,
além dos principais conceitos que permearão a entrevista. O quadro 1 reúne algumas das
técnicas mais utilizadas pelos profissionais que conduzem entrevistas não estruturadas.
Quadro 1 – quadro-síntese de técnicas utilizadas em entrevistas não estru-
turadas
O autor.
Técnica Nome em inglês Descrição
Ouvir de maneira Active listening A postura do entrevistador deve ser nitidamente atenta,
atenta fazendo anotações e concentrando-se no direcionamen-

to desejado para a entrevista, estabelecendo uma relação
de entendimento mútuo com o entrevistado;
Confirmação The Uh-uh prompt A postura do entrevistador deve deixar claro que está se-
guindo a lógica da entrevista, que está acompanhando a
linha de raciocínio do entrevistado, emitindo breves ex-
pressões de confirmação, tais como “Ah, sim?”, “Compre-
endo.”, “Continue...”;
Silêncio sensível Sensitive silence O entrevistador utiliza-se de um silêncio um pouco pro-
longado para incentivar o entrevistado a aprofundar o
argumento que vinha tratando, sugerindo que a infor-
mação ainda não está completa;
Feedback Repetition Feedback O entrevistador repete as últimas palavras, ou frase, do
entrevistado a fim de estimulá-lo a aprofundar o tema por
empatia ou feeling com o entrevistador; pode ser usado
também para confirmar que compreendeu a mensagem
emitida pelo entrevistado;
Resumo Summary Feedback O entrevistador resume brevemente o conteúdo da en-
trevista para que entrevistado se sinta seguro da compre-
ensão e aprofunde ou detalhe os temas abordados;
Ingenuidade Naïve questions O entrevistador faz perguntas sobre o campo de conheci-
mento do entrevistado para que ele se sinta seguro e “forte”,
deixando-o mais a vontade para discorrer sobre outros temas
que eventualmente pudesse se sentir menos confortável;
213
Armadilhas que devem ser evitadas:
perguntas tendenciosas (leading question) – evite fazer perguntas que possam

pré-conduzir o entrevistado a respostas que nem sempre são as que ele gos-
taria de dar, ou que não refletem a situação real;
perguntas muito longas – prefira perguntas curtas, sem tantos preâmbulos,

para que o entrevistado não se aborreça e nem divague por não ter compre-
endido bem a sua resposta. Perguntas longas só servem quando o entrevista-
dor deseja transmitir o seu ponto de vista ao entrevistado;
aceitar generalizações – procure desvendar as generalizações apresentadas

pelo entrevistado, insistindo para que ele a justifique melhor, pois quase
sempre há muita informação atrás das mesmas, sobretudo no que diz respeito
ao sistema de valores do entrevistado.
Grupos focais
Pesquisas sociais e pesquisas avaliatórias utilizam largamente diferentes técnicas
de entrevistas em grupo. Entre tais técnicas, uma vem se destacando desde os anos
noventa, sendo responsável não só por um aumento expressivo da literatura especiali-
zada sobre o tema, mas também pelo desuso de outras técnicas tão eficientes quanto
esta. Trata-se da chamada entrevista em grupo focais, ou simplesmente grupos focais
(focus group), uma ferramenta de pesquisa social extremamente difundida em diferen-
tes âmbitos de estudo e profissionais2 e consiste em um grupo de pessoas reunidas
com o propósito de produzir conjuntamente dados qualitativos sobre uma discussão
focalizada (KRUEGER, 1996), conduzida por um profissional. Essa produção conjunta é
uma das principais características dos grupos focais, cujo resultado é em grande parte
atribuído à qualidade da relação estabelecida no grupo.
Na literatura sobre focus group há quase unanimidade no que se refere ao tama-

nho do grupo ser entre 8 e 12 participantes, pois, para muitos autores, um grupo com
mais de 12 participantes pode inibir a participação e grupos com menos de oito parti-
cipantes aumentam a possibilidade de domínio dos resultados por uma pequena parte
deles, reduzindo as chances de riqueza desses resultados. Observadas essas limitações,
um dos maiores desafios é a formação desse grupo, que deve ser qualitativamente
expressivo em sua diversidade, mas, ao mesmo tempo, relativamente homogêneo em
pelo menos um dos seguintes critérios: faixa socioeconômica, faixa etária, sexo, esco-
laridade, percepção política etc. Pode-se aplicar previamente alguma técnica para a es-
colha final dos indivíduos que irão participar do grupo, como entrevistas estruturadas,
questionários simples etc.
2
Atribui-se a Ernest Dichter (1907-1991), psicólogo e expert em marketing (considerado o pai da pesquisa motivacional), o termo focus group, conceituando-o
como um tipo de pesquisa de grupo voltado à compreensão do comportamento do consumidor (cosumer behavior).
214
Também nesse tipo de técnica um dos grandes desafios é a formação do mode-
rador de discussão ou moderador de focus group. Esse moderador, que geralmente é
auxiliado por um observador e um operador de gravação (que pode ficar na sala de
observação), deve utilizar um roteiro de debates, além de promover a integração e
participação de todos os participantes.
O roteiro de debates é um guia flexível dos assuntos que devem ser abordados,
pois cada grupo apresenta a sua própria dinâmica e qualquer posicionamento exces-
sivamente rígido do mediador pode desencadear reações não desejáveis, mudança
de foco ou diminuição do interesse em participar por partes de alguns dos presentes
no grupo focal. A pauta do roteiro deve ser construída de acordo com os interesses da
avaliação, ou pode ser diretamente relacionada à hipótese de avaliação. O observador
é responsável por acompanhar e avaliar todo o processo, podendo ainda relacionar-se
diretamente, quando necessário mas sempre individualmente, com os participantes
(para, por exemplo, esclarecer algum ponto da metodologia). Sua avaliação é quase
sempre voltada à melhoria do processo desencadeado, assim como à superação de
eventuais dificuldades encontradas pelos participantes.
Há muitas formas diferentes de realizar grupos focais. Uma das mais tradicionais
adota salas espelhadas como locus das discussões dos grupos. Uma sala espelhada
consiste em uma sala fechada, aparentemente simples e sem personalidade, mas que
contém uma ou mais paredes com um espelho falso, que permite a visualização da sala
de discussão por outro grupo, situado em uma sala contígua chamada sala de observa-
ção, de modo a permitir que esse grupo de observadores possa observar o desenrolar

da discussão sem serem vistos3. Frequentemente essas reuniões são registradas em
áudio ou áudio e imagem, para posterior estudo. Esses registros, quase sempre trans-
crições, podem ser trabalhados com técnicas de pesquisa social ou podem servir como
subsídio para a elaboração de entrevistas estruturadas ou outras técnicas de coleta de
dados em avaliação.
Opinião de especialistas
A opinião de especialistas, ou painel de especialistas, pode ser uma interessan-
te técnica de produção de dados qualitativos sobre um determinado tema inerente à
avaliação, por utilizar-se de percepções e conhecimentos de um grupo de pessoas que
possuem o domínio daquele tema ou de parte dele.
A técnica pode ser aplicada de modo muito simples, perguntando aos especia-
listas a opinião dos mesmos sobre, por exemplo, os resultados e/ou impactos do pro-
3
Dado os custos para se construir estruturas desse tipo, frequentemente os grupos focais são realizados em salas apropriadas, disponíveis no mercado, em
prédios comerciais que oferecem tais espaços por períodos de duas ou três horas ou então por turnos.
215
grama. Nos casos em que o programa ou outro objeto de avaliação ainda não tenha
apresentado resultados, é possível perguntar aos especialistas sobre os prováveis re-
sultados ou impactos que eles imaginam que serão colhidos. Essa técnica é frequen-
temente utilizada dada a facilidade e rapidez em se obter dados prováveis, e supos-
tamente confiáveis, sobre o desempenho dos programas (sobretudo se comparada a
outros tipos de técnicas como survey de universos populacionais extensos).
No entanto, é preciso lembrar que a qualidade e acuidade das opiniões estão for-
temente relacionadas ao posicionamento político do especialista, assim como ao nível
de informação que ele tem sobre o programa ou outro objeto de avaliação. Por isso,
pode ser um problema formar um bom grupo de especialistas no tema do programa,
pois tal grupo deve apresentar um certo equilíbrio quanto aos posicionamentos políti-
cos e sobretudo quanto às diferenças de pontos de vista entre os mesmos, que podem
inclusive pertencer a diferentes campo de conhecimento. Para tecer generalizações
respaldadas pelas opiniões de especialistas pode ser necessário apoiar-se em algumas
inferências in loco a fim de validar as opiniões colhidas, lembrando que o público da
avaliação pode duvidar da credibilidade das mesmas.
Técnica delphi
A técnica delphi, criada por Norman Dalkey, em 1955, é uma técnica mista utiliza-
da para a construção de consensos de um grupo de pessoas, normalmente especialis-
tas em um determinado tema (peritos, cientistas, acadêmicos, empresários, executivos
etc.), que intercambiam e sistematizam opiniões sem uma interação presencial, apenas
sob a moderação de um coordenador (DALKEY, 1969). As opiniões emitidas são rein-
seridas no grupo sem identificação dos emissores (anonimamente) de modo a evitar
qualquer tipo de contaminação ou personificação de resultados. O número de par-
ticipantes entrevistados normalmente varia de 10 a 100, dependendo do escopo da
avaliação e da complexidade da pergunta avaliatória.
A técnica consiste no envio sucessivo de questionários às pessoas que formarão o

grupo, que deverão respondê-los e reenviá-los ao coordenador/moderador do grupo.
Assim, a primeira remessa do questionário solicita que as pessoas emitam uma opinião
sobre uma determinada questão. A segunda remessa de questionário elabora estatis-
ticamente as respostas anteriormente obtidas, informa aos participantes as suas res-
pectivas respostas anteriores e pode propor ou não novas questões (ou modificar le-
vemente a anterior). Cada participante pode mudar de reposta ou reafirmar e justificar
a anterior. Novas remessas são feitas até que restem apenas uma ou poucas opiniões
sobre o tema. Alguns autores, como Woudenberg (1991, apud WORTHEN et al., 2004),
recordam que a pressão subjacente a essa técnica para a formação de consenso pode
alterar o próprio consenso.
216
Apesar de manter a aplicação tradicional da técnica delphi (o anonimato, a inte-
ração com feedback controlado e as respostas estatísticas do grupo), elaborada com
papel e lápis e conhecida como “Exercício delphi”, versões eletrônicas vêm progressiva-
mente substituindo a técnica original por questionários on-line que agilizam o proces-
so e permitem uma certa interação midiática entre os intervenientes no processo.
Técnica delphi com q-sort

O q-sort pode ser visto como uma variação do delphi que não busca a formação
de consenso, mas, sim, a construção de um conjunto de opiniões sobre uma determi-
nada questão. Os participantes definem inicialmente quais questões são consideradas
importantes, pouco importantes ou irrelevantes ao programa ou projeto objeto de
avaliação. Após esse primeiro passo, os participantes emitem declarações, que são nu-
meradas, registradas em cartões, e passam por um processo progressivo de hierarqui-
zação, até a construção de uma hierarquia entre as opiniões a respeito de necessidades
e/ou objetivos do programa avaliado.
O q-sort pode ser estruturado ou não estruturado. No primeiro caso, os partici-

pantes são obrigados a selecionar um número específico de cartões e no segundo caso
eles podem selecionar quantos cartões queiram, não tendo nem um número máximo,
nem mínimo.
Análise de conteúdo

A técnica de análise de conteúdo pode ser usada tanto para análise de informa-
ções colhidas por outras modalidades quanto pode funcionar como uma interessante
técnica de coleta. No primeiro caso, ela pode ser aplicada sobre os dados colhidos de
entrevistas semiestruturadas e não estruturadas, grupos focais, pesquisa de arquivo,
análise de documentos, entre outras, com o objetivo de descrever, analisar e individuar
tendências observadas em tais fontes. No segundo caso, pode ser muito útil na organi-
zação e filtragem de dados qualitativos muito extensos, ajudando a reduzir e controlar
a complexidade e variabilidade dos mesmos.
Alguns autores, como Guba e Lincoln (1989), ressaltam a importância da explora-

ção da dimensão qualitativa dessa técnica; enquanto outros autores preferem utilizar
a técnica de análise do discurso para os casos qualitativos. Mas o fato é que a análi-
se de conteúdo ainda é predominantemente usada na sua versão quantitativa, que
consiste na contagem de alguns elementos (unidades de codificação) presentes nas
fontes, categorizados de acordo com as hipóteses e perguntas de avaliação. Pode-se,
por exemplo, quantificar a incidência, no discurso de determinado autor, de repetições
217
de palavras consideradas importantes para a construção dos objetivos do programa
avaliado a fim de verificar o seu grau de compreensão do mesmo.
Testes
A técnica do teste é muito usada em abordagens quantitativas, sobretudo na
área educacional, para a mensuração de aquisição de conhecimentos. Mesmo assim,
os testes começam a ganhar certa força entre as técnicas de avaliação de programas
e projetos sociais, sobretudo porque muitos deles possuem alguma dimensão educa-
cional. Basta pensar, por exemplo, nos programas de saúde da família, que se utilizam
de monitores que devem multiplicar os conhecimentos primordiais de saúde junto à
população-alvo. Nesses casos é possível verificar tanto a efetividade do aprendizado
dos monitores quanto a qualidade do serviço prestado ao público final.
Worthen et al. (2004) descrevem as quatro abordagens mais utilizadas em tais

testes:
testes pautados por normas, que comparam rendimentos entre os que se

submeteram aos testes e que seguem, teoricamente, os mesmos padrões de
referência;
testes pautados por critérios, que mensuram o rendimento em relação a um

critério particular, absoluto, sem comparações globais;
testes pautados por objetivos, voltados para os objetivos do processo de

aprendizagem desencadeado;
testes pautados pelo domínio, que mensuram o domínio de um indivíduo ou

grupo em relação a um certo conteúdo, como princípios básicos de saúde,
métodos de prevenção contra a proliferação do mosquito da dengue etc.
Conclusão
O uso das técnicas de coleta de dados oriundas do universo da pesquisa social e
organizacional em avaliação de projetos e programas sociais deve respeitar a natureza
da própria avaliação, assim como a cultura, particularidades e dinâmica dos objetos
avaliados. Infelizmente, não raro as técnicas são escolhidas somente em função do
custo final da avaliação ou até mesmo limitadas pelo domínio de competências profis-
sionais do avaliador e da sua equipe, excluindo possibilidades que poderiam enrique-
cer o inteiro processo avaliatório. Um bom avaliador, porém, deve conhecer, mesmo
218
que panoramicamente, grande parte das técnicas disponíveis, a fim de reconhecer as
mais adequadas aos limites e desafios do trabalho que está para iniciar – lembrando
que para muitas dessas técnicas há especialistas disponíveis no mercado, como é o
caso da técnica de grupo focal.
Para concluir, é preciso lembrar que as técnicas de construção de dados ou

informações (data collection methods) quase sempre se limitam à construção dos
dados. Estes, uma vez construídos (ou coletados, segundo alguns autores, como se
eles estivessem disponíveis na natureza), devem ser processados, analisados, com-
preendidos, trabalhados.
Texto complementar
Sugestões de Bourdieu para a realização

de entrevistas científicas
(BONI; QUARESMA, 2005)
Em primeiro lugar Bourdieu (1999) indica que a escolha do método não deve
ser rígida mas sim rigorosa, ou seja, o pesquisador não necessita seguir um método
só com rigidez, mas qualquer método ou conjunto de métodos que forem utilizados

devem ser aplicados com rigor.
Para se obter uma boa pesquisa é necessário escolher as pessoas que serão
investigadas, sendo que, na medida do possível, estas pessoas sejam já conhecidas
pelo pesquisador ou apresentadas a ele por outras pessoas da relação da investiga-
da. Dessa forma, quando existe uma certa familiaridade ou proximidade social entre
pesquisador e pesquisado as pessoas ficam mais à vontade e se sentem mais seguras
para colaborar.
O autor aconselha, na medida do possível, falar a mesma língua do pesquisado,

ou seja, o pesquisador deve descer do pedestal cultural e deixar de lado momenta-
neamente seu capital cultural para que ambos, pesquisador e pesquisado possam
se entender. Se isso não acontecer provavelmente o pesquisado se sentirá constran-
gido e a relação entre ambos se tornará difícil. O pesquisador deve fazer tudo para
diminuir a violência simbólica que é exercida através dele mesmo.
219
Em algumas pesquisas são utilizados os pesquisadores ocasionais. São pessoas
instruídas com técnicas de pesquisa e que têm acesso a certo grupo que se deseja
pesquisar; essas pessoas devem ter uma certa familiaridade com o grupo. Esta estra-
tégia pode ser utilizada, mas com cuidado, pois os pesquisadores ocasionais podem
deixar de fornecer instrumentos mais precisos para posterior análise. Portanto, na
medida do possível, o próprio pesquisador deve fazer a entrevista, afinal, é ele que
melhor sabe o que está procurando.
Durante a entrevista o pesquisador precisa estar sempre pronto a enviar sinais

de entendimento e de estímulo, como gestos, acenos de cabeça, olhares e também
sinais verbais como de agradecimento, de incentivo. Isto irá facilitar muito essa troca,
essa relação. O pesquisado deve notar que o pesquisador está atento escutando a
sua narrativa e ele deve procurar intervir o mínimo possível para não quebrar a se-
quência de pensamento do entrevistado.
A entrevista deve proporcionar ao pesquisado bem-estar para que ele possa

falar sem constrangimento de sua vida e de seus problemas e quando isso ocorre
surgem discursos extraordinários. Bourdieu (1999) cita que os pesquisados mais ca-
rentes geralmente aproveitam essa situação para se fazer ouvir, levar para os outros
sua experiência e muitas vezes é até uma ocasião para eles se explicarem, isto é,
construírem seu próprio ponto de vista sobre eles mesmos e sobre o mundo. Por
vezes esses discursos são densos, intensos e dolorosos e dão um certo alívio ao pes-
quisado. Alívio por falar e ao mesmo tempo refletir sobre um assunto que talvez
os reprimam. Neste caso pode-se até dizer que seja uma autoanálise provocada e
acompanhada.
O pesquisador deve levar em conta que no momento da entrevista ele estará

convivendo com sentimentos, afetos pessoais, fragilidades, por isso todo respeito à
pessoa pesquisada. O pesquisador não pode esquecer que cada um dos pesquisa-
dos faz parte de uma singularidade, cada um deles tem uma história de vida dife-
rente, tem uma existência singular. Portanto nada de distração durante a entrevista,
precisa-se estar atento e atencioso com o informante. Além disso, ao realizar o rela-
tório da pesquisa é dever do pesquisador se esforçar ao máximo para situar o leitor
de que lugar o entrevistado fala, qual o seu espaço social, sua condição social e quais
os condicionamentos dos quais o pesquisado é o produto. Tem que ficar claro para o
leitor a tomada de posição do pesquisado.
Durante todo o processo da pesquisa o pesquisador terá que ler nas entrelinhas,
ou seja, ele tem que ser capaz de reconhecer as estruturas invisíveis que organizam
o discurso do entrevistado. Dessa forma, durante a entrevista o pesquisador precisa
estar alerta, pois o pesquisado pode tentar impor sua definição de situação de forma
220
consciente ou inconsciente. Ele também poderá tentar passar uma imagem diferen-
te dele mesmo.
A presença do gravador, como instrumento de pesquisa, em alguns casos pode

causar inibição, constrangimento, aos entrevistados. Em outros casos o pesquisado
poderá assumir um papel que não é o seu, assumir um personagem que nada tem
a ver com ele, ou seja, ele pode incorporar o personagem que ele acha que o pes-
quisador quer ouvir. Sendo assim, consciente ou inconscientemente o pesquisado
estará tentando enganar o pesquisador.
Em relação à atuação ou postura do entrevistador no momento da entrevista,

este não deve ser nem muito austero nem muito efusivo, nem falante demais, nem
demasiadamente tímido. O ideal é deixar o informante à vontade, a fim de que não
se sinta constrangido e possa falar livremente.
Uma entrevista bem-sucedida depende muito do domínio do entrevistador

sobre as questões previstas no roteiro. O conhecimento ou familiaridade com o
tema evitará confusões e atrapalhadas por parte do entrevistador, além disso, per-
guntas claras favorecem respostas também claras e que respondem aos objetivos
da investigação.
Bourdieu (1999) também aponta algumas sugestões para com a transcrição da

entrevista que é parte integrante da metodologia do trabalho de pesquisa. Uma
transcrição de entrevista não é só aquele ato mecânico de passar para o papel o

discurso gravado do informante pois, de alguma forma o pesquisador tem que apre-
sentar os silêncios, os gestos, os risos, a entonação de voz do informante durante
a entrevista. Esses “sentimentos” que não passam pela fita do gravador são muito
importantes na hora da análise, eles mostram muita coisa do informante. O pesqui-
sador tem o dever de ser fiel, ter fidelidade quando transcrever tudo o que o pesqui-
sado falou e sentiu durante a entrevista.
O autor também considera como dever do pesquisador a legibilidade, ou seja,

aliviar o texto de certas frases confusas de redundâncias verbais ou tiques de lingua-
gem (né, bom, pois é etc). Esse autor também considera como um dever do pesqui-
sador tomar o cuidado de nunca trocar uma palavra por outra, nem mesmo mudar
a ordem das perguntas. Portanto considera-se ideal que o próprio pesquisador faça
a transcrição da entrevista.
Na visão de Bourdieu (1999), o sociólogo deve fazer às vezes do parteiro, na

maneira como ele ajuda o pesquisado a dar o seu depoimento, deixar o pesquisado
se livrar da sua verdade. Esse autor considera que a entrevista é um exercício espi-
221
ritual, é uma forma do pesquisador acolher os problemas do pesquisado como se
fossem seus. É olhar o outro e se colocar no lugar do outro. Portanto o sociólogo
deve ser rigoroso quanto ao seu ponto de vista, que não deixa de ser um ponto de
vista de um outro ponto de vista, o do entrevistado.
Goldenberg (1997) assinala que para se realizar uma entrevista bem-sucedida é

necessário criar uma atmosfera amistosa e de confiança, não discordar das opiniões
do entrevistado, tentar ser o mais neutro possível. Acima de tudo, a confiança pas-
sada ao entrevistado é fundamental para o êxito no trabalho de campo. Além disso,
existe um código de ética do sociólogo que deve ser respeitado.
Atividades
1. A literatura disponível sobre técnicas e instrumentos de avaliação é bastante

ampla, recheada de exemplos e aplicações de casos. Busque um exemplo de
avaliação, selecione quais as técnicas de coletas de dados utilizadas e procure
relacioná-las com o desenho da pesquisa avaliatória.
2. As entrevistas formam um subconjuntos de técnicas de coleta de dados mais

utilizados em pesquisas de avaliação. Quais as principais diferenças entre entre-
vistas estruturadas e entrevistas não estruturadas, sobretudo no que diz respeito
ao papel do entrevistador? Aproveite e cite dois exemplos para cada uma delas.
222
3. Provavelmente você já participou de uma survey ou, pelo menos, conhece al-
guém que já vivenciou essa experiência, respondendo a questionários apre-
sentados por pesquisadores que abordam prováveis respondentes nas ruas, ou
mesmo recebendo questionários em casa. Procure identificar os motivos que
levou você ou o seu conhecido a participar desse tipo de pesquisa por amostra-
gem e qual foi a sensação final ao responder a todas as questões. Descreva ain-
da se você recebeu algum feedback da equipe que organizava a tal pesquisa.
223
Avaliação e aprendizagem
Introdução
Vídeo O objetivo maior de toda avaliação pode ser compreendido como
fornecer juízos argumentados de valor sobre os objetos avaliados a fim
de desencadear processos de aprendizagem organizacional e social
(BOULLOSA, 2007). Todavia, pesquisas demonstram que raramente as
avaliações conseguem responder a esse propósito maior. Ou seja, ra-
ramente as avaliações são usadas como instrumentos de discussão e
de aprendizagem, assim como raramente conseguem provocar mudanças substan-
ciais em seus objetos de estudo. Em outras palavras, as avaliações deveriam, sempre
que possível, alimentar os objetos sociais que avaliam, desencadeando processos de
aprendizagem. Esse processo chama-se retroalimentação.
Uma das grandes evidências da lacuna de retroalimentação proporcionada por

avaliações é a pouca utilidade que estas gozam junto às reformas do setor público.
Mas esse não é um problema exclusivo do Brasil. O professor Jean-Claude Thoenig é
enfático ao afirmar que:
[...] um exame cuidado dos fatos demonstra que, na maior parte dos países, a avaliação, até o momento,
foi utilizada de maneira limitada e esporádica, e que muitas vezes mostrou ser ineficaz. Existem
razões para crer que a relutância em usar a avaliação amplamente não se deve necessariamente à
ignorância ou à má-vontade. Como resultado, muitas vezes, os governos afirmam publicamente a
necessidade de avaliação, porém falham em praticar o que pregam. (THOENIG, 2000, p. 54-55 )
Não obstante tantos problemas, sabemos também que muitas avaliações conse-
guem fugir da regra e alimentar processos significativos de melhorias em seus objetos
de estudo, quando não estendem tais benefícios a outros âmbitos organizacionais e
sociais. Neste capítulo, vamos conhecer as bases teóricas para a compreensão das re-
lações entre avaliação e aprendizagem, assim como discutir algumas das condições
que parecem mostrar-se mais adequadas aos propósitos de transformação que todo
processo de avaliação poderia desencadear.
225
As principais dificuldades de retroalimentação
Uma das principais dificuldades que a avaliação encontra para cumprir o seu
propósito de desencadeador de processos de aprendizagem reside na relutância de
experientes gestores em aceitar a sua utilidade, sob o argumento de que a história
recente tem mostrado que as avaliações estão desconectadas do mundo real, ou seja,
do mundo dos chamados problemas práticos. Em parte, eles têm razão, sobretudo no
que concerne às avaliações externas. A avaliação é um campo relativamente novo, em
constante reformulação, e parte das suas novidades metodológicas nascem de uma
forte crítica a metodologias já existentes e não mais satisfatórias (por exemplo, as ava-
liações quase-experimentais nasceram de críticas às limitações das avaliações experi-
mentais e assim por diante), que acabam afirmando a inutilidade de tais modelos.
Para reforçar a posição desses gestores, realmente encontramos poucas práticas

de avaliação que resultaram efetivamente em ganhos reais de melhoria dos seus pro-
dutos. Não raro, as avaliações acabam nas bibliotecas setoriais, quando não nas gave-
tas dos departamentos de marketing ou de gestores desinteressados. Combater essa
sorte de preconceito não é tarefa fácil, mas um dos caminhos possíveis é envolver os
gestores nos processos de avaliação, buscando construir com eles problemas avaliató-
rios que sejam realmente pertinentes às suas demandas.
A teórica Karen Marie Mokate utiliza ludicamente a expressão “monstro” para sin-
tetizar o sentimento que muitos gestores e implementadores de políticas e de seus ins-
trumentos possuiriam diante da obrigação de colaborar, ou mesmo realizar, avaliações
que não teriam “utilidade direta em seus processos gerenciais ou decisórios” (MOKATE,
2003, p. 1). Tal obrigação seria fruto de algum compromisso tomado por seus chefes,
de alguma exigência legislativa, de instâncias centrais do governo, das agências finan-
ciadoras ou mesmo dos vínculos contidos nos desenhos de formulação da política,
programas, projetos ou ações a serem avaliadas.
Não raro, também, essas pressões por avaliação acabam sendo lidas como meca-
nismos de controle da ação dos gestores e implementadores de políticas, que acredi-
tam ser objetos de ações de accountability, ou seja, de responsabilização de suas ações
gerenciais, sobretudo no que diz respeito ao alcance de objetivos e ao cumprimento
de metas. Contrapor-se a essa propensão negativa para com a avaliação também não
é tarefa fácil, mas é possível mostrar aos gestores que a avaliação pode ser uma ferra-
menta para ajudá-los a melhorar suas performances, a tomar melhores decisões, a com-
preender melhor os processos em que estão inseridos, aumentando, possivelmente,
a previsibilidade das consequências das suas decisões. E assim, dever-se-ia mostrar a
avaliação como uma aliada do processo decisional, que poderá lhe ajudar a desenhar
ajustes internos de curto, médio ou longo prazo, a depender do foco da avaliação.
226
Além desses obstáculos, podemos avançar com a contribuição de outros autores,
que alertam para as dificuldades enfrentadas pelos processos de avaliação na busca
de retroalimentar os seus objetos de avaliação, lembrando que tais objetos podem ser
compreendidos como processos de gestão ativados para solucionar ou tratar proble-
mas considerados de pública relevância (BOULLOSA, 2006). Entre muitos autores, vale
a pena citar Thoenig (2000), que sintetizou algumas das principais causas das dificulda-
des de retroalimentação das avaliações para com os seus objetos de estudo. São elas:
a resistência dos formuladores de políticas em serem submetidos a um olhar

externo de especialistas;
a irresistível tendência dos avaliadores em traçarem as metas e o conteúdo

das reformas como resultados dos seus trabalhos de avaliação, mesmo sem
conhecer suficientemente a estrutura organizacional e política que deveria
colocar tais reformas em prática;
o intervalo de tempo exigido pelas avaliações é frequentemente diferente do

ritmo da gestão dos objetos avaliados, sobretudo pela natural urgência na
tomada de decisões. Assim, frequentemente, as avaliações podem produzir
juízos e/ou informações obsoletas;
a crença dos gestores e público-alvo de que a avaliação foi solicitada com um

fim exclusivamente político e que, portanto, todas os seus resultados são en-
viesados e foram predeterminados pelos atores que a solicitaram;
medo dos gestores de alto nível hierárquico de serem envergonhados publi-

camente com o resultado das avaliações;
receio de que os resultados das avaliações tenham usos políticos pela mídia
ou pela oposição.
Aprendendo com a avaliação

As potencialidades de aprendizagem da avaliação começaram a ser mais aceitas
e exploradas a partir dos anos 1990, no bojo da reforma do Estado brasileiro, quando a
gestão pública passa a ser alvo de planejamento em vista de um aumento de eficiên-
cia. Mesmo assim, a abordagem neoliberal1 que propunha a diminuição do Estado, pri-
vatizando parcialmente algumas funções históricas, como educação e saúde, também
via na avaliação a justificativa para cortes racionais de investimento público.
1
Segundo o dicionário Houaiss, o neoliberalismo é “uma doutrina, desenvolvida a partir da década de 1970, que defende a absoluta liberdade de mercado e
uma restrição à intervenção estatal sobre a economia, só devendo esta ocorrer em setores imprescindíveis e ainda assim num grau mínimo”.
227
Se a ideia era gastar menos e gastar melhor, a avaliação também era vista como
mecanismo de seleção dos melhores investimentos públicos, limitando as potencia-
lidades e usos da avaliação. Weisner Duran (1993) chegou a chamar a avaliação de
“proxy” (variável) do mercado na administração pública, por considerá-la como uma
das grandes aliadas da modernização da administração pública2.
No Brasil, a reforma do Estado, implantada pelo então ministro da Administração

federal e reforma do Estado, Bresser-Pereira, durante governo Fernando Henrique Car-
doso, abraçou com afinco a ideia de trazer a avaliação para dentro da administração pú-
blica. Mesmo diante de tão declarada posição de apoio do setor público, as avaliações
acabaram não se incorporando ao quotidiano institucional como tinha sido desejado.
Aliás, grande parte do desejo ficou limitado aos esforços iniciais, pois nunca foram de
fato implantados processos horizontais de avaliação que abarcassem toda a adminis-
tração pública, sobretudo no que concerne às políticas sociais e seus instrumentos.
Em paralelo, o mercado e o Terceiro Setor começaram a desenvolver diferentes

metodologias de avaliação, impulsionadas pela influência, quando não exigência, de
organizações estrangeiras, principalmente quando assumiam o papel de únicas finan-
ciadoras de programas e projetos. Em algumas experiências de investimentos sociais,
sobretudo em programas, notava-se esforços de integrar os processos de formulação,
implementação e avaliação, consideradas as etapas clássicas do ciclo de vida de um
projeto. A superação dessas etapas poderia ser o primeiro passo para uma reinterpre-
tação substancial da avaliação, que não seria mais restrita à última etapa, mas faria
parte de todo o ciclo de vida do objeto avaliado. Mas, mesmo assim, as experiências
que buscavam tal compreensão acabavam apresentando resultados pontuais que não
eram difundidos em larga escala, restringindo o seu potencial de aprendizagem.
Não obstante tantos esforços, uma das maiores limitações para integrar a avalia-
ção aos processos de formulação e implementação pode estar justamente em romper
essa visão linear e sequencial do ciclo de vida de uma política ou programa. Aprender
com a avaliação significa superar essa visão fásica. Significa repensar o ciclo inteiro e
compreendê-lo de modo mais sistêmico, em que a avaliação é parte do processo intei-

ro. Essa revisão proposta deve estar alinhada a uma interpretação do próprio conceito
de avaliação como processo de aprendizagem. Entre os autores que assim o veem,
destacamos Boullosa (2007), para quem a:
[...] avaliação é o conjunto de atividades, nem sempre solidamente correlacionadas, voltado para a
Este juízo deve ser o máximo possível argumentado através de instrumentos e procedimentos
de pesquisa avaliatória (não somente pesquisa social aplicada), de modo a possibilitar a sua
reconstrução analítica e discussão dos resultados, juízo ou síntese avaliatória, pelas coletividades
interessadas em tal avaliação, desencadeando um processo de aprendizagem prático-institucional
2
Essa interpretação estava fortemente alinhada com os pressupostos da reforma da administração pública preconizada pelos autores David Osborne e Ted
Gaebler, no famoso e influente livro Reinventando o governo – como o espírito empreendedor está transformando o Setor Público (1992).
228
(relativo ao objeto de avaliação) e social (relativo à dimensão dialógico-cívica da sociedade em
geral. (BOULLOSA, 2006, p. 112).
Ao interpretar a avaliação como um processo de aprendizagem, nesse caso, tanto

prático-institucional quanto social, a autora considera que qualquer processo avalia-
tório só cumprirá a sua função se for pensado em sua dimensão relacional, forçando o
avaliador a entrar em contato com a equipe de avaliação (exceto em caso de avaliação
de impacto de programas já concluídos há muito tempo) e construir conjuntamente
um processo de avaliação que possa penetrar nos processo de gestão, incluído suas
dimensões decisionais e de implementação. Em tal perspectiva, a avaliação assume
características de pesquisa social aplicada, exigindo, além de uma dimensão metodo-
lógica, reflexões teóricas, epistemológicas e deontológicas (relacionadas aos deveres
profissionais da categoria do avaliador).
Assim, a avaliação passa a ser uma atividade necessariamente social, nunca exclu-
sivamente concentrada na figura demiúrgica do avaliador. Diversamente, a avaliação é
um processo complexo e social, em que dialogam diferentes atores, portadores de in-
teresses e preferências nem sempre convergentes, cujo público é, em última instância,
a sociedade democrática como um todo. Naturalmente, não existe uma receita mágica
que garanta à avaliação a prerrogativa de desencadear processos de aprendizagem
junto ao objeto avaliado, sobretudo quando tais processos concernem à organização
responsável por tal objeto (seja na formulação ou implementação). Não obstante tal
impossibilidade, vamos conhecer as premissas propostas por Boullosa (2008) que po-
deriam facilitar o desencadeamento de tais processos: a produção de conhecimento
útil pela avaliação, a sua orientação para a ação, e a internalização da avaliação.
A produção de conhecimento útil

Um dos possíveis caminhos para reforçar o caráter de aprendizagem da avaliação
é imaginá-la como uma excelente ocasião para a produção de conhecimento útil para
os seus destinatários (BOULLOSA, 2007). E isso é praticamente impossível sem reco-
nhecer esses destinatários como participantes do processo de avaliação.
Os atores que participam ou participaram do processo de formulação e/ou par-

ticipam do processo de implementação dos objetos avaliados (evaluee) possuem um
conhecimento desse objeto que dificilmente o avaliador isolado poderá alcançar. E
não se trata somente de conhecimento tácito, como as rotinas e complexas dinâmicas

do ambiente organizacional, mas trata-se também de conhecimento explícito, como
as adaptações normativas, os programas anteriores, os vínculos formais etc.
A produção de conhecimento útil para a ação nasce da problematização conjunta

do foco da avaliação. Em outras palavras, trata-se da construção negociada do proble-
ma avaliatório. Tal construção requer investimentos metodológicos, materiais e orga-
229
nizacionais. Vale a pena empreender algumas “rodadas de diálogo” para compreender
quais informações e juízos são realmente importante para os atores efetivamente en-
volvidos com o objeto de avaliação. Tais informações e juízos provavelmente estarão
relacionados aos problemas práticos que esses atores vêm enfrentando no seu dia a
dia organizacional.
Isso não significa que o avaliador e sua equipe devam aceitar passivamente tal
demanda. Pelo contrário, devem participar ativamente de tal negociação, buscando
construir pontes entre as diferentes leituras e oferecendo cenários alternativos de
problematizações. É preciso compreender que os problemas são sempre “construí-
dos”, pois dependem fundamentalmente do olhar de quem os individualiza e observa.
Quando se passa a problematizações coletivas, esse caráter de “construção” se reforça,
pois pressupõe-se que o problema final seja resultante de negociação de uma qual-
quer coletividade. Assim, ao se chegar ao problema de avaliação construído coletiva-
mente, seria interessante prolongar os esforços já realizados nesse sentido e buscar
associar ao problema (e aos seus derivados) possíveis hipóteses de avaliação.
Além disso, é fundamental que se discuta a importância prática dos juízos de valo-
res que serão emitidos pela avaliação. Eles não devem ser apresentados como verdades
únicas, demiúrgicas. Diversamente, devem ser constantemente lembrados como verdades
argumentadas a partir de um ponto de vista claro, pensado e construído como informação
qualitativa e ponderada entre os envolvidos ou interessados nos objetos de avaliação.
Desse modo, é provável que fruidores da avaliação se sintam parte do processo,

se interessem pelos resultados apresentados, desencadeando processos de aprendiza-
gem individual e organizacional. Quando, pelo contrário, os conhecimentos produzidos
pela avaliação, incluindo o seu juízo argumentado, não são vistos como apropriáveis
pelos atores, considerando os seus diferentes níveis de poder decisional, a avaliação e
os seus resultados podem facilmente ser considerados a priori como inúteis, não exer-
cendo nenhuma curiosidade aos potenciais interessados.
Voltadas para as ações (action orientated)

Outro possível caminho para aumentar as chances de a avaliação desencadear
processos de aprendizagem, passando a retroalimentar a formulação e implementação
dos seus objetos de avaliação, consiste em direcioná-la à ação transformadora de tal
objeto. Para isso, também é necessário que os destinatários da avaliação sejam vistos
como participantes da avaliação, ou seja, como coavaliadores. Direcionar a avaliação
para a ação transformadora significa buscar compreender não somente os problemas
do objeto da avaliação, mas também o contexto no qual eles estão inseridos. Desse
modo, torna-se mais viável oferecer direções de ações plausíveis para aqueles que po-
derão reformular ou transformar as práticas de avaliação.
230
É preciso reconhecer que nem sempre todos os problemas apresentados ou ex-
traídos em conjunto com o grupo interno do projeto ou programa avaliado possuem
o mesmo grau de governabilidade. A governabilidade de um problema depende da
capacidade de tratamento de tal problema por um dado ator ou por um conjunto de
atores. Esse exercício é fundamental. Há problemas cuja governabilidade pode ser re-
almente muito baixa, como, por exemplo, a governabilidade de uma prefeitura sobre
os passos metodológicos de um projeto pensado em nível federal. A prefeitura pode
até discordar, enviar sugestões de alterações etc., mas não poderá sozinha mudar a
metodologia do projeto.
Ao reconhecer tais limitações, o avaliador e sua equipe podem se concentrar nos

problemas que gozam de maior grau de governabilidade para o público interno da
avaliação. Vamos, por exemplo, imaginar um projeto social implantado pelo município
“X” que deve necessariamente seguir as diretrizes do financiador nacional. O município
possui baixo grau de governabilidade sobre tais diretrizes, caso queira transformá-las.
Claro que sempre é possível contestar a racionalidade dessas diretrizes e a avaliação
pode inclusive ser uma boa ferramenta argumentativa, mas a mudança deve aconte-
cer em um outro nível de governo, ou seja, deve ser realizada por atores que não estão
diretamente envolvidos com a implementação e os resultados do objeto avaliado.
No entanto, além de identificar os problemas originados pelas diretrizes nacionais e
propor modificações (que provavelmente requererão mais tempo), a avaliação poderia
concentrar-se nos problemas com maiores graus de governabilidade.
Nessa perspectiva, a avaliação deve ser interpretada como um conjunto de ativi-

dades realmente direcionado a fornecer juízos argumentados de valor, que apontam
para possíveis encaminhamentos práticos de revisão e aperfeiçoamento do seu objeto
de avaliação (política, plano, programa, projeto e/ou ação social). Quando os resulta-
dos da avaliação são já direcionados para a ação transformadora do objeto avaliado,
ela já carrega consigo o gérmen da aprendizagem.
Avaliações mistas e inovadoras

O terceiro caminho possível para a aprendizagem pode ser ainda mais fecundo:
buscar construir espaços de avaliação que tentem mesclar positivamente o melhor do
que as avaliações internas e externas podem oferecer. No caso das internas, vale a pena
citar, acompanhando Boullosa (2008):
o profundo conhecimento das rotinas organizacionais por parte das equipes

que implementam os programas e projetos sociais;
competência para avaliar a governabilidade das ações de transformação;
redes de contato relativamente consolidadas;
231
criatividade de eventuais ou potenciais comunidades de prática.
Para as externas, é possível citar:
capacidade de introduzir um repertório novo (ou, no mínimo, algumas varia-

ções) de conhecimentos e práticas ao campo de atuação da organização for-
muladora e/ou implementadora do objeto avaliado;
competência para propor metodologias de construção de diagnósticos e de

situações que reequilibrem a estrutura de poder da organização;
competência para argumentar os juízos de valor resultantes de seu proces-

so com critérios claros que possam ser compreendidos pelo seu público, de
modo a desencadear um processo de discussão fundamentada em pareceres
compreensíveis e, consequentemente, contra-argumentáveis.
A busca pela síntese dessas qualidades poderia ser fruto de pesquisa metodoló-
gica e resultar em avaliações que mais facilmente alcançassem algumas das vantagens
acima expostas.
Não obstante as características positivas elencadas por Boullosa para as diferen-

tes abordagens de avaliação, interna e externa, não são raras as avaliações que não
conseguem aprofundar nem mesmo uma dessas potenciais características ou dimen-
sões. Por isso, o conhecimento que acabam produzindo, infelizmente, não encontra
utilidade prática para os formuladores das políticas e/ou dos seus instrumentos, nem
para os seus implementadores, nem para os beneficiários de tais iniciativas, que muito
frequentemente não chegam a ter acesso aos resultados das avaliações.
Diante de tal desalentadora perspectiva, não seria um exagero considerar tais ava-
liações como obtusas, fechadas em si mesmas, não geradoras de processos de apren-
dizagem. Mas, e por que isso acontece? Seguramente a resposta não é fácil e nem
única. Boullosa (2008) apresenta algumas possibilidades, que ajudam em tal reflexão.
As avaliações internas das intervenções nos chamados setores sociais (sobretudo em

educação) estão entre aquelas que mais abraçaram a dicotômica divisão interna e ex-
terna, gerando uma natural dificuldade em se propor modelos mistos. Por sua vez, tais
modelos são muito mais complexos de serem pensados e implementados e acabam
sendo considerados por muitos como mais lentos. Esse eventual prolongamento no
tempo pode parecer, sobretudo aos olhos de quem demandou a avaliação, falta de
controle, do avaliador e da sua equipe, do processo de avaliação como um todo. Em
parte tal sequência argumentativa tem a sua lógica, mas, infelizmente, calcada mais
no senso comum do que na experiência acumulada em avaliação, pois somente agora
estamos vendo mais incursões teóricas e práticas de modelos mistos.
232
Modelos mistos devem ser calcados na compreensão de corresponsabilização
dos processos avaliatórios, onde, a princípio, o avaliador pode assumir diferentes
papéis no equilíbrio entre avaliações internas e externas. A variabilidade de tais papéis
está diretamente relacionada à experiência e disponibilidade do avaliador, responsá-
vel por desenhar todo processo, ou, pelo menos, propor seu esboço inicial (pois alguns
podem preferir colocar inclusive esse esboço em discussão). A proposta de avaliação
mista pode também resultar em avaliações participativas, quando se procura explorar
os seus limites mais democráticos. Todavia, tal alternativa metodológica nem sempre
é possível de ser implantada, muitas vezes por resistência dos demandantes da avalia-
ção, outras vezes por demandarem ainda mais tempo.
Limitações da avaliação
Para se construir avaliações que possam desencadear novos processos de apren-
dizagem é preciso reconhecer os seus principais limites. Um desses principais limites
é, sem dúvida, reconhecer que a avaliação é apenas um dos inputs (recursos) que os
tomadores de decisão utilizam no seu dia a dia. Estudos e modelizações de processos
decisórios mostram que a decisão está mais vinculada à experiência e às contingências
do momento em que ela acontece do que à disponibilidade das informações qualitati-
vas e quantitativas para com o tomador de decisão.
É o que mostra, por exemplo, o modelo decisional chamado “lata de lixo” (gar-
bage can, no original em inglês). Segundo esse modelo, o tomador de decisão tem
por hábito descartar diferentes informações (possíveis problemas e possíveis soluções)
em um “depósito imaginário” ou “lata de lixo”. Tais informações se acumulariam em tal
“recipiente”. No momento em que ele precisa tomar uma decisão, recorre a tal latinha,
resgatando, meio que aleatoriamente, informações ali contidas, respeitando uma certa
hierarquia temporal. Essas informações lhe ajudariam a interpretar a situação proble-
mática que ele começa a ver (ou que lhe mostram, ou ambos), assim como a resolver
tal situação.
Teóricos desse modelo estudaram ainda quais as dinâmicas que regem essa su-
posta aleatoriedade e observaram que o tempo, por exemplo, é uma importante vari-
ável (na prática, os “papeizinhos” descartados por último têm mais chances de serem
resgatados). O modelo da cesta de lixo, que é somente um dos modelos entre tantos
(ainda que, provavelmente, um dos mais aceitos), nos ensina que as avaliações também
correm o risco de funcionar como um desses papeizinhos embolados em uma lata de
lixo decisional. Isso quer dizer que ela concorre com outras informações, com outros
inputs (LINDBLOM; COHEN, 1979).
233
A compreensão da limitação da avaliação nos processos decisórios pode ajudar
os avaliadores a explorar, pelo menos, três caminhos (BOULLOSA, 2008):
Buscar envolver os tomadores de decisão nos processos avaliatórios, para

criar a possibilidade de ajustes incrementais durante e após a avaliação, pois
quanto mais eles conseguirem se apropriar dos resultados parciais que serão
progressivamente construídos durante a avaliação, por mais tempo e mais
profundamente os levarão em conta nos momentos decisórios.
Socializar os resultados da avaliação para que ela possa “frequentar” o maior

número de “latas de lixo”. Ou seja, difundir tais resultados de modo claro e con-
ciso já sabendo que provavelmente irão preencher diferentes latas de lixo até
que sejam considerados úteis. Caso não aconteça com uma certa rapidez, ou
caso os resultados não sejam claros, poderão mais facilmente ser esquecidos.
Os processos decisórios nunca são plenamente individuais, pois os tomadores
de decisão levam em conta a opinião de pessoas de confiança, a sua imagem
perante ao grupo de trabalho etc. Nesse sentido, quando a avaliação conse-
gue ser acolhida por um grupo maior de trabalho como um processo capaz de
doar uma maior racionalidade à decisão, o tomador de decisão pode dar um
peso maior aos seus resultados.
Oportunidade para explorar com maior ênfase a interpretação da avaliação

como juízo argumentado de valor. A qualidade da argumentação dará confia-
bilidade a tal juízo, cujos critérios devem ser claros, possíveis de serem reper-
corridos ou reconstruídos por outros atores que não somente o avaliador e a
sua equipe. A legitimidade do juízo, porém, poderá apoiar-se tanto na com-
preensão compartilhada do problema diagnosticado, quanto na relação esta-
belecida entre o tomador de decisão e o avaliador ou equipe de avaliação.
Além destes, vale a pena incluir dois limites: o desprendimento do avaliador para
com o seu objeto de trabalho, já que ele também deverá negociar a autoria do proces-
so e, provavelmente, assumir uma postura menos demiúrgica perante a comunidade

que espera acolher os resultados da avaliação; e a sensibilidade para compreender a
intrínseca relação entre o contexto do objeto de avaliação e o desenho da avaliação,
incluindo o desenho da pesquisa avaliatória, que lhe permitirá alçar maiores e melho-
res voos metodológicos.
234
Conclusão
Avaliar não é tarefa fácil, nem para quem se sente no papel de avaliador, nem para
quem se sente no papel de avaliado. É um processo que envolve diálogo e, sempre
que possível, a superação desses papéis dicotômicos que podem acabar criando mais
conflitos do que os já inerentes a qualquer processo avaliatório. Vencer essa e outras
barreiras requer diferentes competências do avaliador, tanto técnico-metodológicas,
estratégicas, quanto relacionais. Seria preciso que as práticas de avaliação assumam
que o seu fim maior é o desencadeamento de processos de aprendizagem pessoais,
organizacionais e sociais (BOULLOSA, 2007), sem esquecer de dialogar com outros pro-
cessos de aprendizagem que seguramente já estão em curso, sejam positivos ou não.
Além disso, o reconhecimento dos limites da avaliação poderá, paradoxalmente,

abrir novas possibilidades para a própria atividade. Aprender os limites das nossas prá-
ticas pode ser o primeiro passo para superá-los. O avaliador e sua equipe poderão con-
tribuir significativamente em processos de melhoria, aperfeiçoamento, redefinições e
até mesmo implantação ou suspensão de iniciativas de transformação social, públi-
cas e/ou privadas, mas dificilmente poderão tomar tais decisões. A tomada de decisão
estará provavelmente sob a responsabilidade de outros atores que poderão levar mais
ou menos em consideração os resultados da avaliação. A importância ou status que
darão à avaliação depende de muitas variáveis. Sobre algumas dessas variáveis, não
sobre o resultado ou síntese do seu conjunto, o avaliador e a sua equipe possuem uma
razoável governabilidade. O segredo é saber explorá-las e eu espero que você se sinta
atraído por essa aventura pessoal e profissional.
Texto complementar
Otimismo razoável para o futuro

(THOENIG, 2000)
A reforma do setor público está agora se tornando uma tarefa contínua dos
governos. É bem provável que terminaram os dias em que era suficiente decretar
235
uma reorganização governamental, uma vez em cada geração, e então retomar as
rotinas cotidianas. Ao mesmo tempo, as pressões por mudança estão se tornando
cada vez mais globais e limitantes, o que colocou países, que têm sido relativamen-
te relutantes em adotar reformas, em uma posição difícil. Dois atores deveriam ser
ressaltados em particular:
o primeiro é a extensão das formas de parceria na governabilidade dos as-

suntos públicos. O melhor exemplo é a tendência da UE em se tornar uma
entidade pública que exerça responsabilidades que até agora haviam sido
reservadas apenas a países, particularmente, ao alocar recursos financeiros
com base em programas ou projetos (fundos estruturais etc.). O desenvolvi-
mento dessa parceria entre vários países tem envolvido uma extensão sig-
nificativa do uso dos procedimentos de avaliação;
o segundo fator se refere às limitações financeiras. Existem muitos moti-

vos para crer que essas limitações, longe de estarem diminuindo, irão na
verdade aumentar no setor público ainda por algum tempo. A União Eu-
ropeia novamente é um caso assim. Os Tratados de Maastricht e Amsterdã
estabelecem mecanismos reguladores macro-orçamentários que terão um
impacto considerável. Os sistemas nacionais, incluindo autoridades subna-
cionais, assim serão forçados não apenas a limitar seus gastos, mas também
a conter sua receita drasticamente. Essas tendências irão reforçar uma abor-
dagem centralizada que irá depender do controle por parte das agências
de orçamento. Consequentemente, gostando ou não, tanto ministérios na-
cionais como autoridades locais descobrirão ser necessário aumentar seus
esforços para racionalizar, começando com sua eficiência interna: custos,
produtividade, qualidade.
Esses desenvolvimentos sugerem que, apesar de a continuidade da privatiza-

ção dos serviços públicos estar sendo operacionalmente possível, os esforços serão
concentrados principalmente nas reformas internas do setor público, como eliminar

a duplicação ou simplificar unidades institucionais em vários campos etc. Será cada
vez mais difícil e caro para um país permanecer de fora dessa tendência generaliza-
da de reforma. Em outras palavras, pelo menos nos países da OCDE1, espera-se que
a atual disparidade entre uns poucos países pioneiros e outros países mais cautelo-
sos seja reduzida. A competitividade dos sistemas públicos, que até o momento tem
sido um aspecto um tanto quanto retórico, possivelmente tornar-se-á um imperati-
vo bastante real e irá ser sentida até mesmo no cotidiano de departamentos gover-
namentais individuais. Ao mesmo tempo, tornar-se-á mais fácil comparar o desem-
penho de departamentos e de vários níveis do governo, tanto em nível internacional
1
Organização para a Cooperação e Desenvolvimento Econômico.
236
como dentro de cada país. Apesar da reforma de departamentos governamentais
ainda ser uma política na qual, em comparação com outras áreas como saúde, pes-
quisa e desenvolvimento etc., a possibilidade de comparação e, portanto, a referên-
cia a boas práticas e ao benchmarking2, tem sido relativamente rara (da mesma forma
que a avaliação), a situação provavelmente irá mudar de forma rápida. Agora será
mais difícil se recusar a realizar algumas reformas do setor público argumentando
que elas são baseadas em considerações ideológicas ou políticas. A reforma está se
tornando um imperativo funcional por si mesmo.
Consequentemente, a situação geral parece estar mudando em direção a uma

extensão relativa das práticas de avaliação: a comparabilidade, a necessidade de
uma sintonia fina contínua, as parcerias de grande escala e a regulamentação macro-
-orçamentária terão um papel importante. Não há motivo para acreditar, com relação
às boas práticas identificadas acima, que exista uma mudança substancial no perfil
da avaliação em si. Ela continuará sendo mais orientada para a eficiência interna do
que para a eficácia externa, mais internalizada do que externalizada, informal apesar
de mais sistemática, e será acompanhada de mudanças culturais e comportamen-
tais ao mesmo tempo em que se torna cada vez mais conectada com a solução de
problemas concretos dos formuladores de políticas etc. A avaliação é, e continuará
sendo, uma ferramenta valiosa para qualquer um que deseje aproveitar-se dela.
A lição a ser aprendida da experiência da avaliação no final do século XX é de

realismo e de modéstia ao mesmo tempo. Alguns talvez acreditem que ela é decep-
cionante. Pode-se ter pensado que a pressão por responsabilidade democrática iria
gerar maior transparência coletivamente compartilhada por cidadãos com relação
ao impacto das reformas públicas na sociedade, e que o uso de métodos de maior
orientação científica iria tornar possível implementar sistemas amplos e rigorosos
mais rapidamente, mas existem aspectos reconfortantes. A orientação das reformas
permanece sob o controle realista dos governos e o uso de métodos científicos não
tornou os formuladores de políticas menos responsáveis. Nesse sentido, a avaliação
não seguiu o caminho da Planning Programming and Budgeting System (PPBS)3, que
foi uma boa ideia, mas mostrou ser não utilizável por ser estranho às práticas de
elaboração de políticas e ignorou de maneira arrogante o julgamento dos funcioná-
rios públicos, pelo contrário: a avaliação ensina uma lição otimista através da sua
ênfase no princípio do conhecimento utilizável. Nesse sentido, tanto seu foco em

descrever as circunstâncias específicas da ação política e sua habilidade de prever
2
Benchmarking é o processo de confronto do próprio desempenho e resultados com outros desempenhos e resultados possivelmente similares, podendo
ser interno (entre unidades de uma mesma organização ou programa), competitiva (em relação a organizações ou programas considerados excelentes),
funcional (em relação às best practicies, mesmo que em outros setores de intervenção) ou genérica (em relação ao inteiro processo organizacional).
3
Conjunto de técnicas de planejamento, voltado para a administração pública, que propõe a análise a avaliação das alternativas de gestão para que se
alcance os objetivos com eficiência (menor custo possível).
237
causa e efeito (“se eu escolher esta solução, então ela provavelmente terá este im-
pacto”) tornam a avaliação uma ferramenta realista para a ação. É fútil, ingênuo ou
arrogante imaginar que as reformas de gestão do setor público:
visam genuinamente mudar a linha de base do comportamento cotidiano

dos funcionários do governo e da forma como as organizações realmente
operam;
podem escolher os processos, estruturas e estratégias que efetivamente

criam essas mudanças;
podem tornar essas mudanças duradouras;
podem limitar os efeitos indesejados que essas mudanças podem ter sobre
o fornecimento eficiente e equitativo de bens e serviços à sociedade.
O enfoque sobre informação empírica e as consequências das ações de refor-

ma, por meio de métodos modernos de avaliação, podem oferecer proteção contra
esforços maldirecionados, especialmente em uma época em que reformas malsuce-
didas podem muito bem provar serem tão insatisfatórias e danosas quanto a recusa
em realizar a reforma propriamente dita. A lição otimista para o futuro é que mais e
mais países entraram em um processo de aprendizagem cumulativa a respeito das
ações de reforma. A busca por eficiência, eficácia, transparência e responsabilidade
democrática não irá mais parar. O aprendizado significa um processo contínuo e
orgânico no qual a avaliação pode oferecer ensinamentos decisivos e não ser vista
como uma operação conduzida ocasionalmente. De certa forma e como sugerem os
exemplos acima, a análise da administração pública melhorou nos últimos tempos,
apesar da diminuição das avaliações externas independentes. O século XXI mostrará
que a análise fará parte do governo incluindo a área de reforma do setor público.
Requer uma certa maturidade, sofisticação e percepção para utilizar bem informa-
ções de avaliação, por exemplo, como uma ferramenta para o aprendizado, que
pode auxiliar os governos e o público a formarem pontos de vistas bem embasados

e a tomarem decisões acertadas. Operacionalizar administrações que aprendem é a
tarefa primordial a qual se deve perseguir.
Atividades
1. Extraia do texto e comente os dois motivos que você considera mais pertinen-
tes para o baixo aproveitamento das avaliações realizadas sobre políticas, pro-
gramas e projetos sociais. Se possível, cite exemplos.
238
2. Agora faça o mesmo com os dois motivos que você considera menos perti-
nentes para o baixo aproveitamento das avaliações realizadas sobre políticas,
programas e projetos sociais. Se possível, cite exemplos.
3. Um dos possíveis caminhos apresentados pelo texto para a construção de ava-

liações desencadeadoras de processos de aprendizagem é voltar-se para a ação.
Explique o significado dessa postura que a avaliação pode assumir e aproveite
para se posicionar, a favor ou contra tal caminho.
239
Gabarito

1. A resposta irá depender do estudo escolhido. Todavia, as principais característi-
cas que distinguem avaliações informais de formais são:
Formais Informais
Completa Parcial
Estruturada Carente de evidências comprovadas
Relações causais explícitas Relações causais implícitas
Busca de objetividade Percepções subjetivas
Uso plural de dados Uso parcial de dados
Pode ser reconstruída Dificilmente pode ser reconstruída
Clareza dos critérios de avaliação Obscuridade nos critérios de avaliação
Equilíbrio na argumentação do juízo Radicalismo na argumentação do juízo
Dialogada com outros atores Nem sempre dialogada
2. Resposta subjetiva, que depende da capacidade do aluno em conseguir recons-

truir o percurso mental que lhe levou a tomar uma decisão, a partir da avaliação
de alternativas de ação. Os aspectos da subjetividade estão presentes em todas
as relações de causa e efeito que influenciaram a tomada de decisão e que não
são objetivamente comprováveis.
3. Espera-se que o aluno concorde sobre a impossibilidade de se construir ava-

liações privadas de juízos de valor. Pode ser justificada argumentando que a
própria dimensão subjetiva dos envolvidos com os processos de avaliação já
contém juízos de valor. Além disso, na determinação dos critérios usados na
avaliação, assim como nos parâmetros admitidos como normais para uma ava-
liação comparativa, também se realizam juízos de valor.
241
4. os juízos de valor devem ser argumentados fundamentalmente para que pos-
sam ser socialmente validados, tornando a avaliação útil ao desenvolvimento
do próprio objeto de avaliação, de modo a desencadear processos de apren-
dizagem prático-institucionais (relativo ao objeto de avaliação) e sociais (re-
lativo à dimensão dialógico-cívica da sociedade em geral (Boullosa, 2006)). A
argumentação deve ser calcada em instrumentos e procedimentos de pesquisa
avaliatória (não somente pesquisa social aplicada), de modo a possibilitar a sua
reconstrução analítica e discussão dos resultados, juízo ou síntese avaliatória,
pelas coletividades interessadas em tal avaliação.

1. Espera-se que o aluno concorde com tal afirmação, ressaltando que o contexto
no qual a avaliação se difundiu no país está fortemente vinculado à reforma do
Estado que interpretava a avaliação sob um viés gerencialista, cujo resultado
deveria ser direcionado aos gestores públicos que ocupavam altos cargos na
hierarquia decisional do Estado.
2. Espera-se que o aluno observe que, apesar de uma herança gerencialista, as

competências explicitadas no site revelam a preocupação de compreender a
avaliação dentro de contexto de aprendizagem em políticas sociais, em espe-
cial no último ponto da segunda competência do regimento interno (II – elabo-
rar, propor, coordenar e apoiar a implementação de planos, programas, proje-
tos e ações de desenvolvimento social e combate à fome, voltados à promoção
como consta em <www.mds.gov.br/sagi/sagi/competencias>).
3. Não há resposta-padrão, mas imagina-se que o aluno responda de modo posi-

tivo sobre a mudança desse paradigma, até mesmo porque a própria conclu-
são deste capítulo sugere que estamos em busca de novos direcionamentos. O
aluno poderia citar o caso do Ministério do Desenvolvimento Social e Combate
à Fome (MDS) que já busca algumas mudanças, mas também poderia lembrar
que um dos principais requisitos para uma virada paradigmática da avaliação
consiste na compreensão da cultura que se deseja transcender. Poderia, ainda,
argumentar que os novos modelos de políticas públicas, mais plurais e parti-
cipativos, também criam espaços para novas concepções mais pluralistas ou
participativas de avaliação.
242
1. Espera-se que o aluno observe algumas semelhanças e diferenças entre valores
do programa e os valores da avaliação. As principais estão registradas no qua-
dro abaixo. Espera-se ainda que o aluno se posicione sobre a eventual concor-
dância ou discordância em relação aos valores de cada uma das partes.
Valores do programa Valores da avaliação

– É possível incluir o adolescente em conflito com – Assume o valor do programa de que a inclusão
a lei no meio social. é possível.
– É possível fortalecer os mecanismos de aplica- – Avalia se as medidas estão mesmo de acordo
ção e execução das medidas socioeducativas, com o ECA, colocam em dúvida esse ponto as-
incentivando experiências referenciais em cada sumido como um dos valores do programa.
unidade da federação. – Redefine os critérios de desempenho do progra-
– Deve-se implantar serviços de atendimento a ma, afirmando que os mesmos dependem:
adolescentes com medidas socioeducativas não – da execução de medidas não privativas de
privativas de liberdade de acordo com o ECA. liberdade;
– A SEDH é capaz de oferecer apoio técnico e fi- – da articulação das políticas públicas direciona-
nanceiro aos parceiros conveniados das para o adolescente em conflito com a lei.
2. Espera-se que o aluno verifique as limitações de interpretar essa avaliação so-

mente como avaliativa ou somente como formativa, justificando com o conte-
údo do capítulo, pois a mesma possui ambas as dimensões. Sobre a posição da
avaliação, é mais claramente percebida como externa, pois é o TCU que avalia
um programa da Secretaria Especial dos Direitos Humanos. Todavia, poderia
ser muito criticamente lida como interna já que são os dois órgãos (promotor e
avaliador) pertencem ao governo.
3. A síntese avaliatória do TCU indica que o programa não vai muito bem, apesar
de algumas boas práticas. Os problemas foram agrupados nos seguintes pon-
tos: ausência de política de atendimento ao adolescente em conflito com a lei,
deficiências na estrutura física e nas ações de capacitação, alto envolvimento
com droga dos adolescentes entrevistados, baixa implementação das ações de
apoio e acompanhamento de egressos e atuação policial deficiente. O aluno
deve perceber que o juízo não está bem argumentado, mesmo levando em
consideração que o documento lido é apenas um Sumário Executivo da Ava-
liação e dos seus resultados. Tal brevidade impede o leitor de avaliar a relação
entre a síntese avaliatória e o percurso de pesquisa.
Gabarito
243
4. Não é possível refazer o percurso de avaliação somente com as informações
metodológicas contidas sumariamente no documento lido. Contudo, espera-se
que o aluno, mesmo com as poucas indicações, consiga perceber diferentes
possibilidades de se avaliar, por exemplo, entrevistando as famílias dos adoles-
centes, promovendo encontros entre os atores envolvidos a fim de identificar
os conflitos que geram os problemas etc.

1. O aluno deve responder que o programa se encontra na fase de implementa-
ção, pois já está em curso há dois anos, mas, também devido ao tempo, pode
encontrar-se na fase de resultados. O ideal é que o aluno compreenda a partir
da reflexão desse caso que essas fases do ciclo do projeto não são estanques.
2. Se o aluno respondeu que o programa se encontra na fase de formulação,

poderá propor ao demandante, Sr. Rogério de Oliveira, uma avaliação de tipo
in itinere, intermédia ou de processo, que são aquelas realizadas durante a fase
de implementação da intervenção social planejada e organizada. Caso tenha
respondido que se encontra na fase de resultados, poderá propor uma avalia-
ção de tipo ex-post, que avalia em que medida a intervenção planejada atingiu
os resultados traçados na fase da formulação, ou revistos na fase da implemen-
tação. Se o aluno conseguiu refletir sobre a fragilidade das fronteiras entre as
fase de implementação e resultados, poderá propor a criação de um modelo de
avaliação que esteja entre o in itinere e o ex-post.
3. Esta resposta é livre e o aluno pode responder qualquer um dos possíveis usos
elencados neste capítulo. Todavia, o mais importante é que ele leve em consi-
deração que o demandante pertence a um departamento da empresa que já o

condiciona à publicidade das ações da mesma. O aluno deve também justificar
a sua resposta levando em consideração o uso já demonstrado pelo cliente que
é convencer possíveis parceiros, sempre empresas privadas, para lhe ajudar na
implementação do programa. Além disso, deve levar em consideração que um
dos possíveis usos, que é a melhoria do programa (visto que, pelo menos, um
dos atores discorda do processo de implementação) provavelmente não será
aceito pelo demandante.
244
1. Exemplo 1 – predominantemente no nível operativo porque concentra seus es-
forços na definição das técnicas de avaliação, ainda que haja uma preocupação
em definir a avaliação como avaliação de desempenho (assim, seria também
possível marcar o nível metodológico-operativo); Exemplo 2 – predominan-
temente no nível operativo porque concentra seus esforços na definição das
técnicas de avaliação e já começa levantando os dados disponíveis; Exemplo 3
– predominantemente níveis metodológico-operativo e operativo, pois há uma
pequena preocupação com a escolha de uma metodologia, ainda que sugira
que sua aplicação será rígida, não levando em consideração as variações de
contexto.
2. Não há resposta padrão, pois depende da interpretação do aluno sobre os pas-

sos propostos. Todavia, as respostas mais indicadas são os usos instrumentais
e/ou de persuasão, pois os esforços de avaliação são muito focalizados na cons-
trução de indicadores e pouco focalizados no nível epistemológico da avalia-
ção, que aumenta as suas chances de um uso conceitual ou de esclarecimento.
3.
a) O aluno deve responder que sim, que os três níveis são contemplados. Em
correspondência ao primeiro nível, pode-se citar a preocupação com os
possíveis usos da avaliação, com os valores da avaliação e com a preocupa-
ção em definir um problema de avaliação. Em relação ao segundo nível, a
preocupação em desenhar a metodologia de avaliação (avaliação de impac-
to e seu percurso). E em relação ao último nível, o operativo, pode-se citar a
preocupação com a definição das técnicas de pesquisa.
b) O aluno deverá responder as passagens B e D, indicando com exemplos que

a proposta se detém mais na formulação do problema de avaliação (a partir
do reconhecimento inicial do programa) e principalmente na construção da
metodologia de avaliação.
Gabarito
245
Abordagens e metodologias de avaliação
1. Espera-se que o aluno relacione as abordagens positivistas às gerencialistas e
as construtivistas às não gerencialistas, como na tabela abaixo.
Abordagens positivistas Abordagens gerencialistas

Avaliações cujo público predominante é Avaliações que desejam explicar o objeto
formado pelos atores que possuem poder de avaliação, descobrindo as leis (verda-
decisional sobre o objeto de avaliação; di- des) que governam o objeto de avaliação
recionando grande parte dos esforços à (realidade), como se o objeto de avaliação
determinação dos custos, da relação cus- fosse objetivo e existisse concretamente
to-benefício, da efetividade e/ou mecanis- independentemente do observador que
mos operacionais do objeto de avaliação, deve ser preferencialmente externo.
buscando sempre a eficiência e efetivida-
de do objeto avaliado.
Abordagens construtivistas Abordagens não gerencialistas

Avaliações cujo público predominante é Avaliações que desejam compreender o
formado pelos atores que sofrem os efei- objeto de avaliação, com suas partes e va-
tos do objeto de avaliação (os beneficiá- lores, sempre de modo aproximado, pois
rios diretos ou indiretos), direcionando o mesmo é carregado de subjetividade
grande parte dos esforços aos processos e o seu significado está vinculado ao ob-
políticos; à relação entre atores; às diferen- servador, que deve ser preferencialmente
tes compreensões do objeto por diferen- interno.
tes atores; buscando sempre socializar o
conhecimento e promover o diálogo.
2. O aluno deve registrar livremente a sua opinião, levando em consideração,

porém, que as limitações da metodologias referem-se à impossibilidade de se
construir grupos de controle realmente equivalentes aos grupos experimentais,

além das dificuldades de equalizar e selecionar aleatoriamente a escolha dos
grupos de controle. Sobre as avaliações quase-experimentais, deve observar
que o propósito dos seus criadores foi adaptar a metodologia sobretudo para
avaliações de intervenções sociais, de modo a permitir que fossem criados gru-
pos de controle quase-equivalentes, ou seja, parecidos, mas não iguais, mesmo
que para isso fossem necessários novos cruzamentos de informação para que
as transformações encontradas em uma dada população pudesse efetivamen-
te ser atribuída ou não atribuída ao objeto avaliado.
246
3.
a) Construtivista e não gerencialista.
b) Positivista e gerencialista.
4. Atividade baseada na leitura do material indicado.

1. Resposta: C
2. O aluno deve compreender a distinção entre eficácia e eficiência, destacando

que a primeira relaciona-se ao modo de organização e emprego dos recursos
disponíveis, numa visão de produtividade e da relação custo-benefício. Já a
eficácia refere-se ao alcance dos objetivos e metas do projeto. Partindo desse
ponto, o aluno deve contextualizar o projeto a ser abordado, mostrando situ-
ações em que houve maior precisão no que diz respeito ao cumprimento dos
objetivos e metas, porém, com problemas processuais durante a execução des-
te. Deve-se atentar para as implicações do contexto na implementação do pro-
jeto, fator essencial a ser acompanhado em uma avaliação processual.
3. Resposta: B
Indicadores sociais
1. O aluno deve pesquisar no próprio site do PNUD ou em outros correlatos as
informações e focar sua resposta sobre o cálculo do IDH, falando sobre a agre-
gação que é realizada de três indicadores básicos:
composto do nível educacional (taxa de alfabetização, taxa de escolarização);
longevidade (esperança de vida);
PIB per capita.

Gabarito
247
O Relatório do IDH de 2007 informa que o Brasil entrou novamente para o gru-
po de países com elevado desenvolvimento humano, com um índice medido
em 0,807, mesmo havendo várias controvérsias e discordâncias sobre os cál-
culos. O aluno ainda deve pesquisa o IDH-M e fazer a comparações que julgar
pertinentes.
2. O aluno deve citar indicadores pesquisados nos sites voltados para a Educação
Básica, principalmente do Inep (censo educacional) e IBGE. Entre os indicadores
educacionais, pode citar: taxa de atendimento escolar, taxa de evasão, taxa de
reprovação, gasto público per capita com educação, razão de alunos por escola,
número médio de horas-aula, professores por mil habitantes, razão de alunos
por professor, taxa de analfabetismo, escolaridade média entre outros.
3. Resposta: C
4. Resposta: A

1. O aluno deve preferencialmente responder que não é possível, pois não leva
em consideração os aspectos relativos à distribuição de renda entre essa mes-
ma população. Uma região pode ser extremamente rica, mas a renda pode ser
concentrada nas mãos de poucas famílias, resultado em uma qualidade de vida
geral muito baixa.
2. o aluno deve responder que o índice Gini mensura o grau de desequilíbrio na

distribuição de renda de um país por relacionar as variáveis renda e popula-

ção em um gráfico que permite a visualização da concentração da renda. Deve
também observar a sua importância política, pois é muito usado para pressio-
nar países com forte desigualdade a, pelo menos, reconhecerem publicamente
seus desequilíbrios sociais. Também é muito usado na avaliação de programas
de distribuição de renda.
3. Não há resposta-padrão. O aluno deve responder de acordo com a realidade

em que vive. É importante que ele procure identificar quais as possíveis causas
que levou o estado onde mora a ocupar sua relativa posição no cenário nacio-
nal, tanto se estiver acima, quanto abaixo da média.
248
4. Não há resposta-padrão. O site do IBGE destaca que a construção dos indicado-
res de desenvolvimento sustentável do país relaciona-se à orientação da Confe-
rência das Nações Unidas e sobre Meio Ambiente e Desenvolvimento, realizada
no Rio de Janeiro em 1992. Os Indicadores são uma ferramenta aos tomadores
de decisões ao apresentar, periodicamente, um panorama abrangente dos prin-
cipais temas relacionados ao desenvolvimento sustentável no Brasil. Segundo
o site, na publicação são apresentados 60 indicadores que
[...] fornecem, em sua dimensão ambiental, informações relacionadas ao uso dos recursos naturais
e à degradação ambiental, organizadas nos temas atmosfera, terra, água doce, mares e áreas
costeiras, biodiversidade e saneamento. Em sua dimensão social, os indicadores abrangem os
temas população, trabalho e rendimento, saúde, educação, habitação e segurança, vinculados à
satisfação das necessidades humanas, melhoria da qualidade de vida e justiça social. A dimensão
econômica dos indicadores busca retratar o desempenho macroeconômico e financeiro e os
impactos no consumo de recursos materiais e uso de energia mediante a abordagem dos temas
quadro econômico e padrões de produção e consumo. Por sua vez, a dimensão institucional,
desdobrada nos temas quadro institucional e capacidade institucional, oferece informações
sobre a orientação política, a capacidade e os esforços realizados com vistas às mudanças
necessárias para a implementação do desenvolvimento sustentável (IBGE, 2002).
Seria bom que o aluno percebesse que grande parte desses indicadores po-
dem ser utilizados para a cooptação de diferentes atores da sociedade local em
vista da promoção de políticas de desenvolvimento local.

1. O aluno deve apresentar uma situação em que mostre como dados coletados
no monitoramento para aferir a eficiência dos processos podem interferir dire-
tamente nos resultados da avaliação final e garantir os objetivos do projeto, tal
como exemplo de um projeto de gestão participativa que deveria contar com
a máxima presença dos pais em todos os processos de planejamento escolar.
Após a coleta de dados que revelaram a participação efetiva de apenas 30%
dos pais, novas ações e estratégias devem ser geradas.
2. O aluno deve buscar definir quais os fatores condicionantes da sistemática, com-

paração e análise, dentro da lógica do exemplo apresentado. Deve-se propor
ações no sentido de criar indicadores que permitam o monitoramento das ações
referentes ao objetivo específico 1, adotando de modo adequado cada sistema
de gestão e monitoramento de projetos, levando-se em conta sua economici-
dade e suas peculiaridades. As ações prioritárias dizem respeito à construção
Gabarito
de indicadores, definir como e com qual periodicidades serão coletados os da-

dos. Alguns dos indicadores que podem ser sugeridos: número de assistências
249
técnicas e consultorias ofertadas; número de manuais distribuídos; capacitações
técnicas ofertadas; número de laboratórios construídos/ampliados etc.
3. Resposta: D
Técnicas e instrumentos de avaliação

1. Não há resposta padrão. Espera-se que o aluno identifique no exemplo buscado
as técnicas de coletas de dados entre as apresentadas neste capítulo: Análise da
literatura ou análise bibliográfica, Pesquisa de arquivo, Observação in loco, Pes-
quisa de survey, Questionários, Entrevistas (estruturadas, semiestruturadas, não
estruturadas e grupos focais), Opinião de especialistas, Técnica Delphi (com ou
sem Q-sort), Análise de conteúdo e Testes.
2. São muitas as diferenças, mas o aluno não pode deixar de responder duas de-
las: o grau de controle e a profundidade das informações colhidas. No primeiro
caso, o grau de controle da entrevista estruturada é muito superior a da entre-
vista não estruturada, tanto por parte do entrevistado, que deve escolher a mais
adequada entre um número limitado de respostas, quanto do entrevistador,
cuja variação no tom de voz pode chegar a alterar a resposta do entrevistado.
No segundo caso, também é evidente a diferença: as entrevistas estruturadas
pré-delimitam a pouca profundidade das respostas (quanto maior a profundi-
dade maior o risco de más interpretações) e as não estruturadas estimulam a
profundidade. Exemplos de estruturadas: surveys presenciais e surveys telefôni-
cas. Exemplos de não estruturadas: entrevista bibliográfica e história de vida.
3. Não há uma resposta padrão, pois depende da experiência do aluno. Contudo

é importante que ele descreva o que o motivou a responder tal survey: gostou
do assunto, tinha tempo livre etc.; também é importante que ele responda se
recebeu algum feedback da organização promotora da survey.
250
1. O aluno deverá selecionar alguns destes problemas apresentados pelo tex-
to: relutância de experientes gestores em aceitar a utilidade da avaliação; as
avaliações serem vistas como monstros; medo dos gestores de serem objetos
de ações de accountability, ou seja, de responsabilização de suas ações geren-
ciais. Ou então selecionar entre o elenco proposto por Thoenig: a resistência
dos formuladores de políticas em serem submetidos a um olhar externo de
especialistas; a irresistível tendência dos avaliadores em traçarem as metas e
o conteúdo das reformas como resultados dos seus trabalhos de avaliação; o
tempo exigido pelas avaliações que diferem substancialmente dos tempos da
gestão; a crença da avaliação como instrumento político; medo dos gestores
de alto nível hierárquico de serem envergonhados publicamente com o resul-
tado das avaliações; receio de que os resultados das avaliações tenham usos
políticos pela mídia ou pela oposição. Após a seleção deverá justificar a es-
colha com argumentações articuladas, ressaltando, preferencialmente, como
ele se sentiria participando de um processo de avaliação, tanto no papel de
um avaliador quando de um avaliado.
2. O aluno deverá selecionar alguns destes problemas apresentados pelo texto:

relutância de experientes gestores em aceitar a utilidade da avaliação; as ava-
liações serem vistas como monstros; medo dos gestores de serem objetos de
ações de accountability, ou seja, de responsabilização de suas ações gerenciais.
Ou então selecionar entre o elenco proposto por Thoenig: a resistência dos for-
muladores de políticas em serem submetidos a um olhar externo de especialis-
tas; a irresistível tendência dos avaliadores em traçarem as metas e o conteúdo
das reformas como resultados dos seus trabalhos de avaliação; o tempo exigido
pelas avaliações que diferem substancialmente dos tempos da gestão; a crença
da avaliação como instrumento político; medo dos gestores de alto nível hierár-
quico de serem envergonhados publicamente com o resultado das avaliações;
receio de que os resultados das avaliações tenham usos políticos pela mídia ou
pela oposição. Após a seleção deverá justificar a escolha com argumentações
articuladas, ressaltando, preferencialmente, como ele se sentiria participando
de um processo de avaliação, tanto no papel de um avaliador quando de um
avaliado.
Gabarito
251
3. O aluno deve responder que voltar-se para a ação transformadora significa
buscar compreender não somente os problemas do objeto da avaliação, mas
também o contexto no qual eles estão inseridos, de modo a oferecer direções
de ações plausíveis para aqueles que poderão reformular ou transformar as
práticas de avaliação. Espera-se que o aluno concorde com tal postura, mas,
naturalmente, a reposta é livre.
252
Referências
ALBAEK, Erik. Knowledge, interests and the many meanings of evaluation: a develop-
mental perspective. Scandinavian Journal of Social Welfare, 7, p. 94-98, 1998.
ANDERSON, Scarvia B. et al. Evaluation Research Society Standards Commmittee.

Evaluation Research Society Standards for Program Evaluation. n. 15, p. 7-19, 1982.
ANTERO, S. A. Monitoramento e Avaliação do Programa de Erradicação do Trabalho

Escravo. Revista de Administração Pública. v. 42, n. 5, Rio de Janeiro, Set./Out. 2008.
ARAÚJO, E. T. O Desafio da Sustentabilidade nas APAEs: reflexões sobre captação de

recursos e elaboração de projetos sociais. In: IV CONGRESSO ESTADUAL DAS APAES DO
ESPÍRITO SANTO. Anais... Vitória-ES: Federação das APAEs do Estado do Espírito Santo,
nov. 2003.
_____. Sustentabilidade e Mobilização de Recursos. Salvador: CIAGS, UFBA, 2007.

(Notas de aula da disciplina Mobilização de Recursos e Desenvolvimento Institucional.
Mestrado Multidisciplinar em Desenvolvimento e Gestão Social. Centro Interdisciplinar
de Desenvolvimento e Gestão Social, Universidade Federal da Bahia).
ASSIS, S. G. et al. Definição de objetivos e construção de indicadores visando à triangu-

lação. In: MINAYO, M. C. S; ASSIS, S. G.; SOUZA, E. R. (Org.). Avaliação por Triangulação
de Métodos: abordagem de programas sociais. Rio de Janeiro: Fiocruz, 2005.
BARREIRA, Maria Cecília Roxo Nobre. Avaliação Participativa de Programas Sociais.

São Paulo, Veras Editora; Lisboa, CPIHTS, 2000.
BERGER, Peter; LUCKMANN, Thomas. A Construção Social da Realidade. Petrópolis:

Vozes, l980. Título original: The Social Construction of Reality, 1966.
BEZZI, Claudio. Il Disegno Della Ricerca Valutativa. Milão: Franco Angeli, 2007.
BITOUN, Jan. O que Revelam os Índices de Desenvolvimento Humano. Disponível em:

<www.recife.pe.gov.br/pr/secplanejamento/pnud2006/doc/analiticos/O%20que%20
revelam%20os%20%C3%8Dndices%20de%20Desenvolvimento%20Humano%20
(IDH).pdf>. Acesso em: maio 2009.
BONI, Valdete; QUARESMA, Silvia Jurema. Aprendendo a entrevistar: como fazer en-
trevistas em Ciências Sociais. Emtese – Revista Eletrônica dos Pós-Graduandos em So-
255
ciologia Política da UFSC. v. 2 n. 1 (3), p. 68-80, jan./jul. 2005. Disponível em: <www.
emtese.ufsc.br>. Acesso em: fev. 2009.
BOULLOSA, Rosana. Avaliação de Políticas Públicas – reflexões de conteúdo. Salva-

dor: CIAGS/UFBA, 2008. Disponível em: <www.gestãosocial.org.br>. Acesso em: jan.
2009.
_____. Avaliação e Sistemas de Apoio à Decisão – reflexões de conteúdo. Salvador:

CIAGS/UFBA, 2007. Disponível em: <www.gestãosocial.org.br>. Acesso em: jan. 2009.
_____. Che Tipo di Innovazione Stiamo Vivendo – le politiche pubbliche di regolari-

zzazione fondiaria in Brasile. Università IUAV di Venezia. Veneza – Itália. Tese (Doutora-
do), 2006. (Publicação no prelo).
BRANDON, Paul R.; LINDBERG, Marlene A.; WANG, Zhigang . Involving Program Benefi-
ciaries in the Early Stages of Evaluation: Issues of Consequential Validity and Influence.
Education Evaluation Policy Analysis, 15, p. 420–428, 1993.
BRASIL. Ministério da Administração Federal e Reforma do Estado. Programa Quali-

dade e Participação na Administração Pública, 1997. Disponível em: <http://www.
bresserpereira.org.br/documents/mare/cadernosmare/caderno04.pdf>. Acesso em
fev. 2009.
_____. Presidência da República. Plano Diretor da Reforma do Aparelho do Estado.

Brasília: Impressa Nacional, 1995.
BRESSER PEREIRA, Luiz Carlos. Texto para Discussão, n. 9. Brasília: ENAP, 2001. Dis-
ponível em: <http://www.enap.gov.br/index.php?option=com_docman&task=doc_
download&gid=1608>. Acesso em: 15 de fev. 2009.
BRESSER PEREIRA, Luiz Carlos; SPINK, Peter (Orgs.). Reforma do Estado e Administra-
ção Pública Gerencial. Rio de Janeiro. Ed. FGV, 1998.
BURSZTYN, Ivani; RIBEIRO, José Mendes. Avaliação participativa em programas de

saúde: um modelo para o programa de saúde do adolescente. Caderno de Saúde Pú-
blica, Rio de Janeiro, 21(2), p. 404-416, mar./abr. 2005. Disponível em: <www.scielo.br/
pdf/csp/v21n2/07.pdf>. Acesso em: abr. 2009.
BUVINICH, M. R. Ferramentas para o Monitoramento e Avaliação de Programas e

Projetos Sociais. Unicef: Brasília, out. 1999.
CAIDEN, Gerald. E.; CAIDEN, Naomi. Enfoques y lineamiento, la medición y la evaluación

del desempeno em programas del sector público. Revista do Serviço Público, 52 (1),
p. 78-103, 2001.
256
CAMPBELL, Donald T.; STANLEY, Julian C. Experimental and Quasi-Experimental De-
signs for Research. Chicago: Rand McNally College Pub. Co., 1966.
CAMPOS, A. E. M.; DELAMARO, M. C.; ABEGÃO, L. H. Planejamento de projetos sociais:

dicas, técnicas e metodologias. Cadernos da Oficina Social, v. 1, n. 9, p. 11-57, 2002.
CANO, Ignácio. Introdução à Avaliação de Programas Sociais. Rio de Janeiro: Funda-

ção Getúlio Vargas, 2002.
CARVALHO, M. C. B. Avaliação de projetos sociais. In: ÁVILA, C. M. Gestão de Projetos

Sociais. 2. ed. São Paulo: AAPCS, 2000. p. 57-78. (Coleção Gestores Sociais).
CHEN, Huey-Tsyh. A comprehensive typology for program evaluation”. Evaluation

Practice, 17, p. 121-130, 1996.
COHEN, E.; ARATO, R. Avaliação de Projetos Sociais. Petrópolis: Vozes, 1994.
COHEN, E.; MARTINEZ, R. Conceptos Básicos de Formulación, Evaluación y Moni-

toreo de Programas y Proyectos Sociales, s/d. Disponível em: <www.sica.int/bus-
queda/busqueda_archivo.aspx?Archivo=odoc_6459_1_16032006.pdf>. Acesso em:
20 jan. 2008.
COHEN, E.; FRANCO, R. Avaliação de Projetos Sociais. Petrópolis: Vozes, 1993.
CONTADOR, C. R. Projetos Sociais – Avaliação e Prática. São Paulo: Atlas, 2000.
DALKEY, N. C. An Experimental Study of Group Opinion: The Delphic Method, Futures

2, n. 3, 1969.
DEMO, P. Avaliação Qualitativa: polêmicas do nosso tempo. 6. ed. Campinas: Autores

Associados, 1999. (Coleção Polêmicas do Nosso Tempo).
DERLIEN, H-U. Una comparación internacional en la evaluación de las políticas públi-

cas. Revista do Serviço Público, 52 (1), p. 105-123, 2001.
DU GAY, Paul. Enterprise, culture and ideology of excelence. New Formations, n. 13,
p. 45-61, 1991.
EDUCAÇÃO E PARTICIPAÇÃO. Coordenadora Geral do Cenpec Fala sobre Indica-

dores. Disponível em: <www.educacaoeparticipacao.org.br/modules/news/article.
php?storyid=60>. Acesso em: 20 jan. 2009.
FARIA, Carlos Aurélio Pimenta. A política de avaliação das políticas públicas. Revista
Brasileira de Ciências Sociais. v. 20, n. 59, 2005.
Referências
FBB. Site da Fundação Banco do Brasil. Disponível em: <www.fbb.org.br>. Acesso em:
jan. 2009.
257
FETTERMAN, David. Empowerment Evaluation. American Journal of Evaluation,
1994, p 1-15, v. 15.
FISCHER, Rosa M. O Desafio da Colaboração – práticas de responsabilidade social

entre empresas e terceiro setor. São Paulo: Gente, 2002.
FONTANA, Andrea; FREY, James H. Interviewing: the art of science. In: N. Denzin; Y.
Lincoln, Handbook of Qualitative Research. Newsbury Park: Sage, 1994.
GINI, Corrado. Varietà e Mutabilità. Cagliari: Università di Cagliari, 1912.
GÓMEZ, A. J. Evaluación de Proyectos de Carácter Social. Disponível em:

<www.gestiopolis.com/canales/economia/articulos/no7/Evalproyectos1.htm>.
Acesso em: jun. 2006.
GUALA, Chito. Strategie di Ricerca: la preparazione del dato. Torino: Tirrenia Stampa-
tori, 1986.
GUBA, Egon; LINCOLN, Yvonna. Fourth Generation Evaluations. New York: Sage
Publications, 1989.
HARVEY, David. Condição Pós-Moderna: uma pesquisa sobre as origens da mudança

cultural. São Paulo: Ed. Loyola, 1992.
HOUSE, Ernest R. Professional Evaluation: social impact and political consequence.

Newbury Park, California: Sage, 1993.
IBGE - INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Indicadores de Desen-

volvimento Sustentável. Rio de Janeiro: IBGE, 2002. Disponível em: <ftp://geoftp.
ibge.gov.br/documentos/recursosnaturais/ids/ids2008.pdf>. Acesso em: 2009.
JANNUZZI, P. M. Indicadores Sociais no Brasil: conceitos, fontes de dados e aplica-

ções. Campinas: Alínea, 2001.
JOINT COMMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION. The Program

Evaluation Standards. 2. ed. Califórnia: Sage, 1994.
KELLOGG, Manual de Evaluación. Fundación W. K. Kellogg, 1998. Disponível em:

<www.wkkf.org>. Acesso em: dez. 2008.
KEYNES, John Maynard. The General Theory of Employment Interest and Money.
New York: Prometheus Books, 1997.
KING, Jean. Research on evaluation Use and its implication for evaluating research and
practices”. Studies in Educational Evaluation, 1988.
258
KRUEGER Richard. A. Focus Groups: a practical guide for applied research. London:
Sage Publications, 1996.
LINCOLN, Yvonna; GUBA, Egon. Do Evaluators Wear Grass Skirts? Going native and
ethnocentrism as problems in utilization, 1981. Disponível em: <www.eric.ed.gov/>.
Acesso em: maio 2009.
LINDBLOM, C. E.; COHEN, D. Usable Knowledge: social sciense and social problem
solving. New Haven: Yale University Press, 1979.
LOBATO, L. Dilemas de implementação de programas sociais. Glossário do Curso de

Acompanhamento, Monitoramento e Avaliação dos Programas e Projetos Sociais
do Fundo Nacional de Desenvolvimento da Educação – FNDE. Brasília: FNDE, 2008.
LUBAMBO, Catia W.; ARAUJO, Maria L. C.; Avaliação de Programas Sociais: virtualida-
des técnicas e democráticas. Recife: Fundação Joaquim Nabuco, 2003.
LUSTOSA, P. H. E. Planejamento, Gestão e Avaliação de Programas Sociais. Disponí-

vel em: <www.ibrad.org.br>. Acesso em: dez. 2003.
_____. Planejamento, gestão e avaliação de programas sociais. Guias para la Formu-

lacion, Diseño y Gerencia de Proyectos. Tradução de: GUANDALINI, B. PNUD, 1994.
(Para ser aplicado no curso a ser oferecido ao governo do estado do Amapá/Brasil,
1997).
MARRADI, Alberto. Concetti e Metodi per la Ricerca Sociale. Florença: La giuntina,

1987.
MAY, Tim. Pesquisa Social – Questões, métodos e processos. Porto Alegre: Artmed Edi-
tora, 2004.
MEANS COLLECTION. Evaluating Socio-Economic Programmes. Luxemburgo: CEE,

1999.
MOKATE, Karen Marie. Convirtiendo el “monstruo” en aliado: la evaluación como ins-

trumento de la gerencia social. Instituto Interamericano para el Desarrollo Social
- publicación I-23, 2003. Disponível em: <http://indes.iadb.org/pub/I-23.PDF>. Acesso
em: abr. 2008.
OAKLEY, Ann. Public policy experimentation: lessons from America. Policy Studies, 19
(2), p. 93-114, 1998.
OECD. Environmental Indicators. Indicateurs d’environnement. OECD Core Set, Corps

central de l’OECD. Paris: Organisation for Economic Co-operation and Development,
Referências
1994.
259
OSBORNE, David; GAEBLER, Ted. Reinventing Government: how the entrepreneurial
spirit is transforming the public sector. Reading. MA: Addison-Wesley, 1992.
_____. Reinventando o Governo – como o espírito empreendedor está transforman-

do o Setor Público. Brasília: Editora MH Comunicação, 1994.
PAES, Ana Paula de. Administração Brasileira entre o gerencialismo e a gestão social.
Revista de Administração de Empresas. v. 45. n. 1. jan./mar. 2005.
PARLETT, M.; HAMILTON, D. Evaluation as Illumination: a new approach to the study

of innovatory programs. Edinburgh, Scotland: Center for Research in the Educational
Sciences, University of Edinburgh, 1975.
PATTON, Michael Q. Politics and Evaluation. Evaluation Practice, 15, p. 311-320, 1998.
PERLOFF, Richard M.; PADGETT, Vernon R.; BROCK, Thimothy C. Sociocognitive biases in
the evaluation process. New Directions for Program Evaluation. vol. 1, n. 7, p. 11– 26,
1980.
PNUD – Programa das Nações Unidas para o Desenvolvimento. Relatório de Desen-

volvimento Humano 2007/2008. Disponível em: <www.pnud.org.br/rdh/>. Acesso
em: maio 2009.
_____. Atlas de Desenvolvimento Humano do Brasil. Disponível em: <www.pnud.

org.br/home/>. Acesso em: 16 de fev. 2009.
RAPOSO, R. Avaliação de ações sociais: uma abordagem estratégica. In: ÁVILA, C. M.

Gestão de Projetos Sociais. 2. ed. São Paulo: AAPCS, p. 79-90, 2000. (Coleção Gestores
Sociais).
ROCHA, Tião. Indicadores de qualidade do projeto. Disponível em: <www.cpcd.org.

br>. Acesso em: 5 jan. 2009.
ROSSI, Peter H.; WRIGHT, James. D. Evaluation research: an assessment. Annual Review
of Sociology, 10, p. 331-352, 1984.
ROSSI, Peter H.; FREEMAN, Howard E. Evaluation: a systematic approach. Newbury

Park: Sage Publications, 1993.
ROSSI, Peter. H.; FREEMAN, Howard. E.; LIPSEY, Mark W. Evaluation: a systematic
approach. 6. ed. Thousand Oaks, California: Sage, 1999.
RUA, M. G., Monitoramento e Avaliação de Programas e Projetos Sociais. Glossário do

Curso de Acompanhamento, Monitoramento e Avaliação dos Programas e Proje-
tos Sociais do Fundo Nacional de Desenvolvimento da Educação – FNDE. Brasília:
FNDE, 2008.
260
SANTOS, A. Q.; CARAVALHO, A. K.; LUSTOSA, P. H. E. Formulação e avaliação ex-ante de
projetos governamentais. Apostila para o Programa de Capacitação de gestores Públi-
cos Locais, Brasília: IBRAD, 2001.
SCRIVEN, Michael. Evaluation Thesaurus. Newbury Park, California: Sage, 1991.
_____. The methodology of evaluation. In R.E. Stake (Ed.) Curriculum Evaluation. AERA
Monograph Series on Curriculum Evaluation. v. 1. Chicago: Rand McNally, 1967.
SECHREST, Lee; FIGUEREDO, Aurélio J. Program evaluation. Annual Review of

Psychology, 44, p. 645-674, 1993.
SILVA, Rogério; BRANDÃO, Daniel. Os Quatro Elementos da Avaliação. Disponível em:

<www.preval.org/documentos/00816.pdf>. Acesso em: mar. 2009.
SIMS, Ronald R. Valutazione dei programmi di formazione nel settore pubblico. Proble-
mi di Amministrazione Pubblica, v. 19, n. 2, 1994.
SOARES DA CUNHA, Carla G. Avaliação de Políticas Públicas e Programas Governa-

mentais: tendências recentes e experiências no Brasil. RS: SEPLAG, 2006. Disponível
em: <www.seplag.rs.gov.br/uploads/Avaliacao_de_Politicas_Publicas_e_Programas_
Governamentais.pdf.>. Acesso em: 15 fev. 2009.
SOUSA, Rômulo Paes. Experiência: O Sistema de Avaliação e Monitoramento das Polí-

ticas e Programas do MDS – Ministério do Desenvolvimento Social e Combate à Fome.
Concurso de Inovação na Gestão Pública Federal. Disponível em: <http://inovacao.
enap.gov.br/index.php?option=com_docman&task=doc_view&gid=101>. Acesso em:
5 jan. 2008.
STAKE, Robert E. The countenance of educational evaluation. In: BELLACK, A. A.; KLE-
BARD, H. M. (Eds.). Curriculum and Evaluation. Berkeley: Mc-Cutchan, 1978.
STUFFEBEAM, D. L.; SHINKFIELD, A. J. Evaluación Sistemática: guia teórica y práctica.

Madrid: Paidós, 1993.
TALMAGE, Hiebert. Evaluation of programs. In: MITZEL, H. E. (Ed.). Encyclopedia of

Educational Research. 5. ed. New York: The Free Press, 1982.
TAVARES DOS SANTOS, José Vicente. Sociologias. Porto Alegre, ano 3, n. 5, jan./jul.
2001.
TENÓRIO, F. G. et al. (Coord.). Avaliação de Projetos Comunitários: abordagem práti-

ca. 4. ed. São Paulo: Loyola, CEDAC, 1995.
Referências
TCU. Avaliação sobre o Programa Reinserção Social do Adolescente em Conflito

com a Lei. Disponível em: <http://portal2.tcu.gov.br/portal/page/portal/TCU/comu-
261
nidades/programas_governo/areas_atuacao/cidadania/reinsercao_sum.pdf>. Acesso
em: maio 2009.
THOENIG, Jean-Claude. A avaliação como conhecimento utilizável para reformas de

gestão pública. Revista do Serviço Público, Brasília, v. 51, n. 2, p. 54-70, abr./jun.
2000.
TIANA FERRER, Alejandro. Tratamiento y usos de la información en evaluación. Progra-

ma Evaluación de la Calidad de la Educación. Madrid, España: Instituto Nacional de
Calidad y Evaluación, 1997. Disponível em: <www.ince.mec.es/cumbre/d1-05.htm>.
Acesso em: 15 fev. 2009.
TYLER, Ralph. Basic Principles of Curriculum and Instruction. Chicago: University of

Chicago press, 1950.
UNIVERSIDADE DE CAMPINAS. Núcleo de Estudos de Políticas Públicas (NEPP). Mode-

los de avaliação de programas sociais prioritários. Relatório Final. Campinas, 1999.
VAITSMAN J; RODRIGUES, R.W. S.; PAES-SOUZA, R. O Sistema de Avaliação e Monitora-

mento das Políticas e Programas Sociais: a experiência do Ministério do Desenvolvi-
mento Social e Combate à Fome do Brasil. Série Policy Paper, n. 17. MOST2: Brasília,
p. 43-46, 2006.
VAITSMAN, Jane. A integração entre avaliação e planejamento: desafios políticos e

institucionais. In: XI CONGRESO INTERNACIONAL DEL CLAD SOBRE LA REFORMA DEL
ESTADO Y DE LA ADMINISTRACIÓN PÚBLICA, 7, 2006, Anais... Ciudad de Guatemala,
10 nov. 2006. Disponível em: <www.mds.gov.br/arquivos/0055527.pdf/download>.
Acesso em: 15 fev. 2009.
VIEIRA, Evaldo A. As políticas sociais e os direitos sociais no Brasil: avanços e retroces-

sos. Revista Serviço Social & Sociedade, 18 (53), p. 67-73, 1997.
WEISS, Carol H. Have we learned anything new about the use of evaluation? American
Journal of Evaluation, 19, (1), 1998. p. 21-34.
_____. Where politics and evaluation research meet. Evaluation, v.1, p. 37-45, 1973.
WIESNER DURAN, Eduardo. From macroeconomic correction to public sector reform: the
critical role of evaluation. World Bank Discussion Paper #214. Washington, D.C. 1993.
WILDAVSKY, Aron. Speaking Truth to Power: the art and craft of policy analysis.
Toronto: Little Brown, 1979.
WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jody L. Avaliação de Progra-
mas: concepções e práticas. São Paulo: Ed. Gente/EDUSP/Instituto Fonte/Instituto
Ayrton Senna, 2004.
262
de Projetos Sociais
de Projetos Sociais

Código Logístico
41643

Avaliação de Monitoramento de Projetos Sociais

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Avaliação de Monitoramento de Projetos Sociais

Enviado por

Direitos autorais:

Formatos disponíveis

Avaliação e Monitoramento

Avaliação e Monitoramento de Projetos Sociais

B764 Boullosa, Rosana ; Tavares, Edgilson / Avaliação e monitoramento de projetos

1.Pesquisa de avaliação (Programas de Ação social). 2.Programas sociais

Capa: IESDE Brasil S.A.

Todos os direitos reservados.

IESDE Brasil S.A.

Edgilson Tavares de Araújo

Avaliação de políticas e programas sociais no Brasil................................29

Avaliação, pesquisa avaliativa e valores.........................................................41

Avaliação, ciclo do projeto e usos....................................................................57

Abordagens e metodologias de avaliação

Critérios de avaliação para projetos sociais............................................... 111

Indicadores sociais............................................................................................. 133

Agregação de indicadores e índices de desenvolvimento.................. 157

Técnicas e instrumentos de avaliação de programas

Avaliação e aprendizagem.............................................................................. 225

Avaliações formais não são simples juízos de valor

Os 12 capítulos do livro procuram, assim, apresentar

Introdução à avaliação e monitoramento

A compreensão das dimensões subjetiva, intuitiva e informal da avaliação é, por-

Avaliação como campo

Nessa mesma perspectiva, seguiram-se novos estudos de abordagem quantita-

A propagação da cultura de avaliação aos chamados países periféricos ainda

Introdução à avaliação e monitoramento de projetos sociais

Tudo isso gerou uma miríade de metodologias, modelos, matrizes e propostas

avaliações dos programas Great Society (Grande Sociedade, voltado à eliminação da

A idade de ouro da avaliação começa a apresentar os primeiros sinais de satura-

perplexidade e desencanto com a ineficácia das próprias intervenções

excesso de otimismo em acreditar que as avaliações poderiam gerar decisões

Introdução à avaliação e monitoramento de projetos sociais

dificuldade em descobrir se os efeitos eram realmente causados pelo projeto

Em contraposição a esse tipo de abordagem, durante o Governo de Reagan

Encontrando uma definição-guia para avaliação

Vamos começar retomando o conceito clássico de avaliação de Scriven (1967),

O quadro a seguir reúne algumas das mais importantes definições de avaliação.

Introdução à avaliação e monitoramento de projetos sociais

A definição proposta por Boullosa (2006) interpreta claramente a avaliação como

objetivo deste juízo da avaliação,

Figura 1 – Esquema conceitual proposto pela definição de avaliação de Boullosa (2007).

A avaliação pressupõe ainda um exercício de reconstrução, pois não avaliamos

“A realidade é uma construção social”

Introdução à avaliação e monitoramento de projetos sociais

Processo de construção de uma

Figura 2 – Avaliação como processo de construção de significados e significâncias.

Especificidades das avaliações

Já os bens semipúblicos ou meritórios são frequentemente explicados como bens que

MERCADO Mercado / Estado / Terceiro

Introdução à avaliação e monitoramento de projetos sociais

ESTADO através ESTADO

As intervenções compreendidas no contexto do que chamamos de políticas so-

Assim, a avaliação de programas sociais tem se deparado desde o princípio com

Alguns limites entre avaliação e monitoramento

Nessa perspectiva, compreende-se por monitoramento o conjunto de atividades

palavras, trata-se de uma atividade de registro regular de um programa, projeto ou

acompanhar se os investimentos feitos em um programa/projeto estão sendo

verificar se o programa se mantém na rota dos seus objetivos;

identificar os pontos críticos na implementação do programa/projeto/ação a

verificar a validade da hipótese sobre a qual se baseia o programa ao longo da

garantir que todas as atividades sejam executadas corretamente pelas pesso-

acompanhar o alcance parcial dos objetivos levando ou não em consideração

Além disso, é importante distinguir avaliação e monitoramento de outras ativida-

Introdução à avaliação e monitoramento de projetos sociais

(BEZZI, 2007. Adaptado.)