Capacidade Avaliativa No Brasil

UNIVERSIDADE FEDERAL DA BAHIA – UFBA
ESCOLA DE ADMINISTRAÇÃO
PROGRAMA DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO
LUCIANO PINHEIRO COSTA
CAPACIDADE AVALIATIVA NO BRASIL:

UM CASO NA ESCOLA DE ADMINISTRAÇÃO FAZENDÁRIA EM
SEUS CENTROS REGIONAIS DO NORDESTE
Salvador
2018

Dissertação submetida ao Núcleo de Pós-Graduação

em Administração da Universidade Federal da Bahia,
como requisito parcial para obtenção do grau de
Mestre em Administração.
Orientador: Antônio Sergio Araújo Fernandes
Salvador
2018
Escola de Administração - UFBA
P654 Costa, Luciano Pinheiro.

Capacidade avaliativa no Brasil: um caso na Escola de Administração
Fazendária em seus Centros Regionais do Nordeste / Luciano Pinheiro
Costa. – 2018.
206 f.
Orientador: Prof. Dr. Antônio Sérgio Araújo Fernandes.

Dissertação (mestrado) – Universidade Federal da Bahia, Escola de
Administração, Salvador, 2018.
1. Escola de Administração Fazendária – Organização – Avaliação. 2.

Cultura organizacional – Avaliação. 3. Aprendizagem organizacional –
Avaliação. 4. Administração de pessoal. I. Universidade Federal da Bahia.
Escola de Administração. II. Título.
CDD – 658.311
658.4038

Dissertação submetida ao Núcleo de Pós-Graduação em Administração da Escola de

Administração da Universidade Federal da Bahia, como requisito parcial para obtenção do grau
de Mestre em Administração.
Aprovada em 19 novembro de 2018.
Banca Examinadora
Antonio Sérgio Araújo Fernandes – Orientador ______________________________________

Doutor em Ciência Política pela Universidade de São Paulo – USP
Universidade Federal da Bahia
Professor Dr. João Martins Tude _________________________________________________

Doutor em Administração pela Universidade Federal da Bahia - UFBA
Professora Dra. Mônica de Aguiar Mac-Allister da Silva ______________________________

Doutor em Administração pela Universidade Federal da Bahia - UFBA
Professor Dr. Paulo Carlos Du Pin Calmon _________________________________________

Doutor em Políticas Públicas pela University of Texas System - EUA
Universidade de Brasília
“What we observe is not nature itself, but nature exposed to our method of questioning”.
(Werner Heisenberg)
Para minha esposa Luciana Suffi,
por juntos compartilharmos a ideia de que
cada sonho que deixamos pra trás,
é um pedaço do nosso futuro que deixa de existir.
AGRADECIMENTOS
Aos desígnios divinos que me proporcionaram estar neste momento da trajetória

pessoal e profissional experimentando algo tão pleno como é a investigação científica,
em um mundo novo que se descortina a cada página virada, porém em um saber que
jamais se esgota.
A Antonio Manoel e Valdete, pelo amor e dedicação, rigor e disciplina, com que
conduziram a mim e meu irmão mais velho, Fabrício, o qual também tem minha grande
admiração, não apenas por ter sido meu companheiro ao longo da vida, mas sobretudo
por ter me ensinado a andar de bicicleta, um eufemismo diante das inúmeras lições
que juntos aprendemos e compartilhamos ao lado dos nossos maravilhosos pais.
A minha querida esposa, Luciana (sim, minha xará) a quem conheci na faculdade de
Administração há 16 anos e cuja jornada, logo depois, se entrelaçou ao longo de mais
de 5000 inesquecíveis dias. Uma vida a dois que não pode ser resumida nestes breves
agradecimentos. Não posso também abster-me de registrar todo o seu apoio a este
projeto com as horas dedicadas para auxiliar-me quando necessário.
Aos meus sogros Sahid e Alice, pelo cuidado, carinho e admiração depositados nesta
intensa relação, como se eu fosse um filho e ao meu cunhado e cunhada, Junior e Thay,
e aos incríveis sobrinhos ou afilhados João, Pedro, Bela, Mari e Maria.
A toda a minha grande família e aos amigos que nos momentos de pausa foram
indispensáveis para me fazerem espairecer antes que voltasse à corrida novamente.
Ao querido Professor Antonio Sérgio, que transcende a função de orientador, para se
posicionar de forma inexorável no rol de pessoas que me formaram como ser humano.
Poucos são capazes de contrapor simplicidade e intelectualidade, inteligência e
humildade, e este brilhante professor é um destes. Não me dedicou apenas o tempo,
muitos vezes escasso diante de tantas atribuições, conferiu-me algo ainda mais
essencial, a motivação para que eu seguisse em frente, por estradas nem sempre calmas,
na maior parte das vezes sinuosas, por trilhas estreitas ou vastos campos de modo que
eu percebesse o que realmente teria valor para colocar em minha bagagem e aquilo que
deveria ser preterido a ponto de ser deixado pelo caminho.
Aos meus amados colegas da Esaf Sede, Bahia, Ceará e Pernambuco que contribuíram
de forma extraordinária para o sucesso desta pesquisa, ao se doarem para a participação
de forma engajada e altruísta. Reuni-los em grupos foi muito especial, não apenas por
proporcionar resultados metodológicos favoráveis para a confiabilidade dos dados mas
sobretudo por permitir o confronto de realidades, motivações, angústias e desejos em
torno daquilo que deve ser a nossa organização, algo erigido por todos onde os pilares
de sustentação não são nada além do que as próprias pessoas que ali residem e lutam,
de forma incansável, dia após dia.
Ao meu colega e diretor, Mário Ferrari, por todo a amizade, parceria, suporte e
contribuição ao longo do projeto.
Ao colega e consultor Alex Bruno, cuja contribuição foi de valor inestimável.
Às diretoras Maria Margarida e Rosaline Albuquerque pelo grande apoio ao projeto e
por terem me recebido em seus respectivos estados, Ceará e Pernambuco,
respectivamente, com tanto carinho e atenção, um acolhimento diferenciado.
Aos meus colegas do MPA18 dos quais nunca me esquecerei pela convivência e
amizade e por ali, há 2 anos atrás, iniciarmos algo que ultrapassava os limites da sala
de aula, um empreendimento onde o lucro foi o valor da união e o compartilhamento
dos sonhos.
Aos colegas do NPGA, Cristina, Priscila, Artur e Diego pela agilidade e prontidão em
nos atender e tornar nossa trajetória mais tranquila.
Aos meus estimados professores de curso José Pinho, Mônica Mac-Allister, Diva
Ester, Rodrigo Ladeira, Adriano Bruni, Tânia Benevides, Ernani Marques, José Célio,
Henriette Ferreira, Horácio Hastenreiter Filho e Eduardo Davel, pelo aprendizado de
valor inestimável não apenas para o mestrado mas para toda a vida.
A nossa incrível Coordenadora Profª Denise Ribeiro pelo entusiasmo e dedicação ao
sucesso do curso e de todos os seus alunos.
Ao distinto Profº Roberto Brazileiro pelo breve mas valioso momento que esteve
comigo para auxiliar-me nas técnicas de pesquisa e construção do referencial teórico,
além de sua participação em um importante tema para o nosso curso.
À Profª Elizabeth Matos pela amizade e parceria desde que nos conhecemos.
Aos notáveis professores Paulo Calmon, João Tude e Mônica Mac-Allister por terem
aceitado participar de minha banca e contribuir para o aprimoramento e sucesso deste
trabalho.
A todos aqueles que aqui não mencionei por algum lapso e que contribuíram de alguma
forma para que este sonho se concretizasse.
COSTA, Luciano Pinheiro. Capacidade Avaliativa no Brasil: um caso na Escola de
Administração Fazendária em seus centros regionais do Nordeste. 206 f. 2018. Dissertação
(Mestrado) Escola de Administração. Universidade Federal da Bahia, Salvador, 2018.
RESUMO
Essa dissertação trata da análise da capacidade avaliativa na Escola de Administração

Fazendária - Esaf, um órgão integrante do Ministério da Fazenda, com objetivo de analisar os
seus centros regionais do Nordeste e os fatores que contribuem para a prática organizacional de
fazer e usar avaliação no âmbito da ação governamental de seleção, formação e
desenvolvimento de pessoal. Para isso buscou-se compreender a evolução conceitual de
capacidade avaliativa, caracterizar, a partir da teoria do programa, a referida ação, e com isso
definir o modelo de análise para analisar os principais fatores que podem contribuir para o
aumento dessa capacidade, e por consequência para o aprimoramento do programa e ação
governamental, melhor utilização dos achados para tomada de decisões gerenciais e ampliação
da aprendizagem organizacional. A premissa é que o efetivo desenvolvimento da capacidade
avaliativa – ECB exige uma ampla demanda de avaliação e que a sustentabilidade para conduzir
a avaliação depende da medida em que a avaliação é usada dentro da organização. Esse
conhecimento, quando utilizado, deve contribuir para a integração da avaliação na cultura das
organizações de forma a conectar e fomentar as diversas dimensões que compõem o framework
de capacidade avaliativa organizacional. Para tanto definiu-se como unidade de análise os
centros regionais da Esaf no Nordeste e realizou-se pesquisa censitária in loco por meio de
questionário – baseado em um modelo validado por um grupo de pesquisa da Universidade de
Ottawa no Canadá – com 36 servidores e 3 gestores, com nível de resposta de 100%. Os dados
foram analisados por análise fatorial e testes não paramétricos de Kruskal-Wallis para amostras
independentes, em conjunto com análises descritivas e de conteúdo. Trata-se de uma amostra
não probabilística uma vez que se usou o total do universo populacional. Os resultados
demonstraram que a capacidade para fazer avaliação é menor que a capacidade para usar
avaliação, além de os centros apresentarem comportamentos distintos quanto às dimensões de
suporte organizacional, participação dos stakeholders na avaliação e condições de mediação do
uso da avaliação. A organização apresenta uma capacidade avaliativa em desenvolvimento, e
diversos fatores devem ser aprimorados, tendo como exemplo a avaliação como função da
gestão e ampliação dos níveis de investigação avaliativa e de aprendizagem.
Palavras-chave: Capacidade Avaliativa. Desenvolvimento da Capacidade Avaliativa. Escola de
Governo.
ABSTRACT
This dissertation is about the analysis of the evaluation capacity in the School of Finance
Administration in Brazil – Esaf, an integral organ of the Ministry of Finance, with the objective
of analyzing the regional school centers in the Northeast and the factors that contribute to the
organizational practice of making and using evaluation in the scope government action to select,
train and develop professionals. In order to do that, this dissertation sought to understand the
conceptual evolution of evaluative capacity, to characterize, from the program theory, this
action, and with that to define the analysis model to analyze the main factors that can contribute
to the increase of this capacity, and by consequence for the improvement of the program and
governmental action, better use of the findings for management decision making and expansion
of organizational learning. The premise is that the effective evaluation capacity building – ECB
requires a large demand for evaluation and that the sustainability to conduct the evaluation
depends on the extent to which the evaluation is used within the organization. This knowledge,
when used, should contribute to the integration of evaluation in the organizations culture in
order to connect and promote various dimensions that make up the framework of organizational
evaluation capacity. Esaf's regional centers in the Northeast were defined as a unit of analysis
and it was made an in loco census research by using a questionnaire - based on a model validated
by a research group from the University of Ottawa in Canada - with 36 servers and 3 managers,
with 100% response level. The data were analyzed by factorial analysis and Kruskal-Wallis
non-parametric tests for independent samples, in conjunction with descriptive analysis of the
content. This is a non-probabilistic sample, because the total population was used. The results
showed that the capacity to make evaluation is smaller than the capacity to use evaluation,
besides the centers present different behaviors regarding the dimensions of organizational
support, stakeholder participation in the evaluation and conditions of mediation of the use of
the evaluation. The organization has a developing evaluative capacity, and several factors must
be improved, taking as an example the evaluation as a function of the management and
expansion of the levels of evaluation and learning research.
Keywords: Evaluation Capacity. Evaluation Capacity Building. School of Government.

LISTA DE QUADROS
Quadro 1 Dados detalhados do Programa/Ação – Esaf 21

Quadro 2 Processos relacionados à Esaf na Cadeia de Valor do Ministério da 22
Fazenda
Quadro 3 Relação entre os propósitos das avaliações 34
Quadro 4 Estágios de evolução da teoria da avaliação 48
Quadro 5 Taxonomia para avaliar os meios e os fins dos programas 57
Quadro 6 Integração de medição de desempenho em instrumentos e modelos de 62
desenvolvimento de capacidade avaliativa (ECB)
Quadro 7 Descritores do conceito de desenvolvimento de capacidade avaliativa 64
Quadro 8 Perspectiva comparada entre avaliação de programa (program 68
evaluation) e desenvolvimento de capacidade avaliativa (ECB)
Quadro 9 Síntese das premissas para o desenvolvimento de capacidade avaliativa 69
Quadro 10 Síntese das motivações para o desenvolvimento de capacidade avaliativa 71
Quadro 11 Dimensões do modelo de análise de capacidade avaliativa (evaluation 75
capacity) de Cousins et al. (2008)
Quadro 12 Dimensões do framework de análise de capacidade avaliativa de 78
Bourgeois e Cousins (2008)
Quadro 13 Modelo de avaliação das dimensões-chave para capacidade avaliativa 94
nas organizações de Bourgeois e Cousins (2013)
Quadro 14 Princípios de construção para orientar abordagens colaborativas para 113
avaliação
Quadro 15 Temas comuns associados por Cheng e King (2017) às dimensões da 116
capacidade avaliativa
Quadro 16 Relação entre as seções e dimensões do modelo de análise 135
Quadro 17 Comentários sobre as práticas de avaliação na Esaf referentes à questão 156
aberta constante no item K do Questionário
Quadro 18 Índices de ajustamento do modelo 161
LISTA DE TABELAS
Tabela 1 Capacidade avaliativa e a média por seção 135

Tabela 2 Pontuação dos itens da seção “C” – Estrutura de suporte organizacional 136
Tabela 3 Pontuação dos itens da seção “D” – Capacidade para Fazer Avaliação 137
Tabela 4 Pontuação dos itens da seção “F” – Investigação Avaliativa 139
Tabela 5 Pontuação dos itens da seção “G” – Participação dos Stakeholders 140
Tabela 6 Pontuação dos itens da seção “J” – Condições de Mediação do Uso 142
Tabela 7 Pontuação dos itens da seção “H” – Uso dos Achados 143
Tabela 8 Pontuação dos itens da seção “I” – Uso no Processo Avaliativo 144
Tabela 9 Pontuação dos itens da seção “B” – Capacidade de Aprendizagem 145
Organizacional
Tabela 10 Análise descritiva das seções 149
Tabela 11 Estatística de teste de Kruskal Wallis 150
Tabela 12 Resumo de teste de hipóteses das médias dos estados 150
Tabela 13 Teste de posicionamento 151
Tabela 14 Testes de adequação da amostra (KMO e esfericidade) 161
Tabela 15 Testes de ajuste da análise fatorial 162
Tabela 16 Matriz de fatores do modelo 1 (Capacidade de Aprendizagem e Suporte 163
Organizacional)
Tabela 17 Matriz de fatores do modelo 2 (Capacidade para Fazer Avaliação e Uso 167
dos Achados)
Tabela 18 Matriz de fatores do modelo 3 (Capacidade para Fazer Avaliação e Uso 169
no Processo)
Tabela 19 Matriz de fatores do modelo 6 (Investigação Avaliativa e Uso no 171
Processo)
Tabela 20 Matriz de fatores do modelo 7 (Condições de Mediação e Uso dos 174
Achados)
LISTA DE FIGURAS E GRÁFICOS
Figura 1 Definição de uso em sentenças mapeadas com base na escala de 40

Figura 2 Representação da tipologia “1” de avaliações de Leeuw e Donaldson 44
Figura 3 Árvore das Teorias de Avaliação de Alkin 45
Figura 4 Representação da tipologia “2” de avaliações de Leeuw e Donaldson 47
Figura 5 Principais elementos institucionalização sistemas de avaliação 53
Figura 6 Modelo de análise de sistemas de avaliação 54
Figura 7 Intervenção e seus componentes 59
Figura 8 Exemplo de estrutura hierárquica de uma intervenção 60
Figura 9 Modelo linear do ciclo da política pública 61
Figura 10 Elementos estruturais do ECB 67
Figura 11 Modelo conceitual da capacidade para fazer e usar avaliação de 76
Cousins et al. (2008)
Figura 12 Modelo conceitual da capacidade para fazer e usar avaliação de 77
Figura 13 Quatro níveis da capacidade avaliativa organizacional 81
Figura 14 Modelo multidisciplinar de desenvolvimento de capacidade avaliativa 83
de Preskill e Boyle (2008)
Figura 15 Modelo para medição da capacidade avaliativa de Nielsen et al. (2011) 87
Figura 16 Modelo integrado de desenvolvimento de capacidade avaliativa de 90
Labin et al. (2012)
Figura 17 Modelo integrado de ECB de Labin et al (2014) 102
Figura 18 Modelo conceitual de Cousins et al. (2014) para descrever a 105
capacidade organizacional de fazer e utilizar avaliação
Figura 19 Tipos de uso associados com os achados e o processo 110
Figura 20 Modelo integrado de princípios para uso em abordagens 112
colaborativas guiadas para avaliação (CAE)
Fotografia 1 Aplicação da pesquisa com os grupos de servidores nos Centros 127
Regionais da Esaf.
Figura 21 Modelo conceitual gerado a partir de Gagnon et al. (2018), com base 131
no framework de Cousins (2014) para descrever a capacidade
organizacional de fazer e utilizar avaliação
Figura 23 Modelo de Análise 136
Gráfico 1 Perfil dos respondentes 127
Gráfico 2 Distribuição de notas de acordo com as frequências para as dimensões 146
de capacidade avaliativa
Gráfico 3 Distribuição de notas das dimensões Capacidade para Fazer Avaliação 148
(D) e Capacidade para Usar Avaliação (H+I)
Gráfico 4 Distribuição de notas pelos dirigentes regionais em relação às 149
Gráfico 5 Média das dimensões por estado – dirigentes 151
Gráfico 6 Posicionamento dos estados nas médias por dimensão – Suporte 153
Organizacional
Gráfico 7 Teste de Kruskal-Wallis de Amostras Independentes – Suporte 154
Organizacional
Gráfico 8 Posicionamento dos estados nas médias por dimensão – Participação 155
dos Stakeholders
Gráfico 9 Teste de Kruskal-Wallis de Amostras Independentes – Participação 155
dos Stakeholders
Gráfico 10 Posicionamento dos estados nas médias por dimensão – Condições de 156
Mediação do Uso
Gráfico 11 Teste de Kruskal-Wallis de Amostras Independentes - Condições de 157
Mediação do Uso
Figura 24 Conteúdo dos comentários em formato de nuvem de palavras 160
Figura 25 Diagrama do Modelo 1 166
LISTA DE ABREVIATURAS E SIGLAS
BCB - Banco Central do Brasil

Cetremfa - Centro de Treinamento e Desenvolvimento de Pessoal do Ministério da Fazenda
CGU - Controladoria-Geral da União
CVM – Comissão de Valores Mobiliários
DNIT - Departamento Nacional de Infraestrutura de Transportes
EC – Capacidade avaliativa
ECAI - Instrumento de Análise de Capacidade de Avaliação (ECAI)
ECB – Desenvolvimento da capacidade avaliativa
ECI – Evaluation Capacity Index
ECOQ - Questionário de Capacidade Avaliativa em Organizações
ESAF – Escola de Administração Fazendária
EUA – Estados Unidos da América
GPR – Gestão pública por resultados
IECB – Modelo integrado de ECB
IFAC - International Federation of Accountants
IPEA – Instituto de Pesquisa Econômica Aplicada
LOA – Lei Orçamentária Anual
MF – Ministério da Fazenda
MPOG – Ministério do Planejamento, Desenvolvimento e Gestão
NPM – New Public Management
PFN - Procuradoria da Fazenda Nacional
PGFN - Procuradoria Geral da Fazenda Nacional
PPA – Plano Plurianual
PPP – Processos, políticas e práticas
RFB – Receita Federal do Brasil
SAMF - Superintendência de Administração do Ministério da Fazenda
Sigplan - Sistema de Monitoramento e Avaliação do Plano Plurianual
SPREV – Secretaria de Previdência
STN - Secretaria do Tesouro Nacional
SUDENE - Superintendência do Desenvolvimento do Nordeste
SUSEP – Superintendência de Seguros Privados
TCU – Tribunal de Contas da União
SUMÁRIO
1 Introdução 17
2 Revisão da Literatura 31
2.1 Conceito e Tipologia de Avaliação 31
2.2 Propósitos de Avaliação 34
2.3 Abordagens Avaliativas 42
2.3.1 Teoria do Programa 48
2.4 Sistemas de Avaliação 52
2.5 Avaliação de Programas e Ações 55
2.6 Capacidade Avaliativa 64
2.7 Modelos de Capacidade Avaliativa Organizacional 72
2.7.1 Pesquisa com avaliadores canadenses 74
2.7.2 Pesquisa com quatro organizações canadenses 77
2.7.3 Pesquisa com definição de modelo multidisciplinar de ECB 82
2.7.4 Pesquisa com modelo de medição da capacidade avaliativa na 86
Dinamarca
2.7.5 Pesquisa para desenvolvimento de um modelo integrado de ECB 89
2.7.6 Pesquisa sobre as dimensões-chave da capacidade avaliativa nas 93
organizações
2.7.7 Pesquisa com aplicação de instrumento de Análise da Capacidade 96
Avaliativa
2.7.8 Modelo Integrado de ECB (IECB) 99
2.7.9 Pesquisa sobre a capacidade organizacional para fazer e utilizar 103
avaliação
2.7.10 Estudo de caso múltiplo com quatro organizações canadenses de três 113
2.8 Dimensões comuns aos modelos de capacidade avaliativa 115
2.9 Seleção do Modelo de Análise para a Pesquisa 117
3 Procedimentos Metodológicos 121
3.1 Objetivos específicos e coleta de dados 123
3.2 Levantamentos Prévios 126
3.3 Modelo de Análise 128
3.3.1 Análise das dimensões aplicadas no modelo 127
3.3.2 Análise do Questionário de Capacidade Avaliativa em Organizações 131
(ECOQ)
4 Apresentação e Análise dos Resultados 134
4.1 Análise descritiva 134
4.1.1 Análise das dimensões de capacidade avaliativa 136
4.1.1.1 Suporte Organizacional 136
4.1.1.2 Capacidade para fazer Avaliação 137
4.1.1.3 Investigação Avaliativa 139
4.1.1.4 Participação dos Stakeholders na Avaliação 140
4.1.1.5 Condições de Mediação de Uso da Avaliação 142
4.1.1.6 Uso da Avaliação – Uso dos achados e Uso no Processo 143
4.1.1.7 Capacidade de Aprendizagem Organizacional 145
4.2 Grau de desempenho das dimensões na organização 146
4.2.1 Análise das dimensões na perspectiva dos dirigentes 149
4.3 Análise das relações entre os estados em função das dimensões de 151
Capacidade avaliativa
4.3.1 Análise comparada da dimensão Suporte Organizacional entre os estados 153
4.3.2 Análise comparada da dimensão Participação dos Stakeholders entre os 154
estados
4.3.3 Análise comparada da dimensão Condições De Mediação entre os 156
estados
4.4 Comentários da equipe de pessoal e diretorias-regionais sobre 158
capacidade avaliativa na organização
4.5 Análise Fatorial 161
4.5.1 Modelo 1 – Capacidade de Aprendizagem e Suporte Organizacional 165
4.5.2 Modelo 2 – Capacidade de Fazer Avaliação e Capacidade de Usar 169
Avaliação (Uso dos Achados)
4.5.3 Modelo 3 - Capacidade para Fazer Avaliação e Capacidade para Usar 171
Avaliação (Uso no Processo)
4.5.4 Modelo 6 – Investigação Avaliativa e Uso no Processo 173
4.5.5 Modelo 7 - Condições de Mediação e Uso dos Achados 176
5 Considerações finais e recomendações 179
Referências 182
Apêndice 188
Anexo 204
17
1 INTRODUÇÃO
A dissertação aqui apresentada trata da capacidade avaliativa da Escola de

Administração Fazendária (Esaf), um órgão integrante do Ministério da Fazenda e pertencente
ao Sistema de Escolas da União e à Rede Nacional de Escolas de Governo. Para tanto buscou-
se caracterizar o programa governamental implementado pela Escola, qual seja, “Democracia
e Aperfeiçoamento da Gestão Pública” e, mais especificamente, a ação programática “Seleção,
Formação e Desenvolvimento de Pessoas” de modo a analisar a capacidade avaliativa dos
centros regionais da Escola no Nordeste, com objetivo de identificar e analisar os principais
fatores que podem contribuir para o aumento da capacidade da organização para fazer e utilizar
avaliação, e por consequência para o aprimorar o programa e a ação, melhor utilização dos
achados para tomada de decisões gerenciais e ampliação da aprendizagem organizacional.
É importante destacar que este trabalho se insere em um cenário político e econômico

desafiador para a administração pública brasileira e, consequentemente, para a instituição
investigada, ao tencionar o cumprimento do teto de gastos públicos e confrontar-se com a
rigidez fiscal inerente a tal instrumento. Com menor dotação orçamentária para execução das
ações e alcance das metas em 2018 – em torno de 20% menos recursos em relação ao ano
anterior – e ausência de mecanismos legais que propiciem a aplicação direta decorrente da
arrecadação de receitas próprias (em função de sua natureza jurídica), as unidades da Escola
têm sido estimuladas pelos gestores a adotar novas estratégias e instrumentos de gestão,
incluindo práticas avaliativas que potencializem a aprendizagem organizacional e o
aprimoramento da governança, com foco na economicidade e no impacto do programa. Uma
das diretrizes estabelecidas pelo corpo diretivo, por exemplo, para captação de recursos
orçamentários pelas unidades regionais junto ao órgão central exige que as ações de capacitação
sejam modeladas de acordo com critérios preestabelecidos, incluindo escopo do tema,
amplitude do público-alvo atingido pelo projeto e custos previstos.
Com efeito, segundo VEDUNG (2010), a avaliação poderá subsidiar o planejamento e

formulação das intervenções governamentais, o acompanhamento de sua implementação, suas
reformulações e ajustes, assim como as decisões sobre a manutenção ou interrupção das ações.
É um instrumento importante para a melhoria da eficiência do gasto público, da qualidade da
gestão e do controle sobre a efetividade da ação do Estado [...].
18
Segundo compilação realizada pela International Federation of Accountants – IFAC

(2013), a boa governança no setor público permite ter clareza acerca dos produtos e serviços
prestados para os cidadãos e usuários, bem como manter o foco nesse propósito; possuir e
utilizar informações de qualidade e mecanismos robustos de apoio às tomadas de decisão;
garantir a qualidade e a efetividade dos serviços prestados; controlar as finanças de forma
atenta, robusta e responsável; prover às partes interessadas dados e informações de qualidade.
Para Cousins et al. (2014), as organizações estão sendo convidadas a fazer mais com
menos. A avaliação pode desempenhar um papel significativo na identificação de práticas
organizacionais e de programas que requerem atenção ou onde mudanças, algumas vezes
significativas, podem ser justificadas. Uma avaliação sólida e crível sempre proporcionará aos
tomadores de decisão uma maneira eficaz de atender às demandas de accountability.
Mas a avaliação pode prover mais, como se espera que seja observado nos muitos
exemplos de estudos de caso apresentados no decorrer da revisão de literatura e na própria
verificação empírica desta pesquisa. Nesse sentido,
a descoberta sobre o funcionamento da organização e procedimentos e

processos dos programas, novos entendimentos sobre as complexidades dos
contextos internos e externos e os desafios relacionados às premissas sobre
como as organizações e os programas funcionam são algumas das
contribuições de valor agregado que a avaliação pode fazer. (COUSINS et al.,
2014, p. 118)
A título de contextualização, cabe destacar que a origem da Escola remonta ao ano de

1945, período em que houve as primeiras experiências em cursos de aperfeiçoamento do
Ministério da Fazenda. Em um processo de evolução progressiva, foi criado, por meio do
Decreto nº 60.602, de 20 de abril de 1967, o Centro de Treinamento e Desenvolvimento de
Pessoal do Ministério da Fazenda – Cetremfa, que se transformou na Esaf, por meio do Decreto
nº 73.115, de 8 de novembro de 1973. Na oportunidade, foram criados os órgãos regionais
executivos em todas as unidades federativas do Brasil, porém o Decreto nº 96.912, de 03 de
outubro de 1988, reduziu este número substancialmente, ao extinguir diversas unidades, fato
que contribuiu para a permanência atual de apenas 9 centros regionais, além da unidade-sede,
situada em Brasília. Em 1975, ano em que foi instituída sua sede própria, ocorreu também a
institucionalização da Escola como Órgão Central de Direção de Atividades Específicas do
Ministério da Fazenda. Desde então a Escola de Governo tem estado presente na seleção,
formação e desenvolvimento de servidores públicos e cidadãos em todo o país, com atuação em
todos os estados da federação.
19
Os Centros Regionais de Treinamento da Escola de Administração Fazendária nos

estados (neste projeto, a título de simplificação também denominados Centros Regionais da
Esaf ou unidades regionais da Esaf) estão situados nas capitais-sede das regiões fiscais do país,
circunscrições pelas quais são responsáveis no que tange à capacitação no âmbito das unidades
do Ministério da Fazenda e dos outros órgãos da Administração Pública Federal, Estadual e
Municipal, em serviços prestados por meio oferta de eventos sem ônus ou por demanda, com
ônus, através de parcerias formalizadas por termos de execução descentralizada, contratos ou
convênios. Adicionalmente, as unidades regionais da Escola são responsáveis pela execução de
processos seletivos para admissão de pessoal pelo Governo Federal através de concursos
públicos e por cursos de formação inicial para carreiras.
As ações da Escola de Administração Fazendária são disciplinadas pela Portaria MF nª

527, de 7 de dezembro de 2017, que institui seu regimento interno. Como órgão específico
singular, diretamente subordinado ao Ministro de Estado da Fazenda, é responsável,
principalmente, por promover capacitação técnico-profissional aos servidores do Ministério da
Fazenda, sistematizar e planejar o recrutamento e a seleção de pessoal para preenchimento de
cargos, empregos e funções do Ministério da Fazenda e executar projetos e atividades de
recrutamento, seleção e treinamento para outros órgãos e entidades da administração pública
direta e indireta da União, dos Estados, do Distrito Federal e dos Municípios.
Os centros situados em Salvador, Recife e Fortaleza respondem pela região geográfica

que abrange todos os estados do Nordeste. Dentre os stakeholders envolvidos na ação
programática de “Seleção, Formação e Desenvolvimento de Pessoas” na condição de parceiros
e usuários dos serviços prestados pela Esaf, destacam-se, por exemplo, em âmbito institucional,
a Receita Federal do Brasil (RFB), Superintendência de Administração do Ministério da
Fazenda (SAMF), Procuradoria da Fazenda Nacional (PFN), Secretaria do Tesouro Nacional
(STN), Banco Central do Brasil (BCB), Controladoria-Geral da União (CGU),
Superintendência do Desenvolvimento do Nordeste (SUDENE), Departamento Nacional de
Infraestrutura de Transportes (DNIT), universidades federais, institutos federais de educação,
ciência e tecnologia, dentre outros e, no âmbito geral, servidores públicos federais, estaduais,
municipais, profissionais liberais, professores, estudantes e demais cidadãos enquadrados como
público-alvo dos projetos de seleção, formação e desenvolvimento.
Como referencial quantitativo, no ano de 2017, 58.515 capacitações presenciais e

28.023 por educação a distância foram executadas pela Esaf. As unidades regionais da Bahia,
Fortaleza e Recife responderam por aproximadamente 30% das capacitações presenciais.
20
Além da ação mencionada, a Esaf também desenvolve a ação 20VE (Promoção da

Educação Fiscal), coordenando o programa em âmbito nacional e participando dos grupos
estaduais de educação fiscal por meio dos seus centros regionais. Além de eventos presenciais
como seminários, palestras e cursos, a Escola forma multiplicadores, com foco em professores
da rede pública, através de um programa desenvolvido na modalidade de educação a distância,
além de ofertar capacitações para diversos públicos, com destaque para estudantes
universitários, por meio dos cursos de Estado e Tributação e Orçamento e Coesão Fiscal e
realizar, em parceria com a Federação Nacional dos Fiscais de Tributos Estaduais – Febrafite,
um prêmio nacional de educação fiscal. A premiação tem como objetivo homenagear as
instituições, escolas e jornalistas responsáveis por criar e transformar ideias em projetos
inovadores que desenvolvem as melhores práticas que atuam com a temática da função social
dos tributos e a correta aplicação dos recursos públicos em benefício de todos.
No âmbito da ação objeto deste estudo, a Esaf atua com uma vasta gama de temas,
incluindo orçamento e finanças (prioritariamente), contabilidade, logística pública, gestão
pública, desenvolvimento gerencial, tecnologia da informação e comunicação. Há dois
formatos de eventos: o aberto, no qual a oferta se direciona para diversos públicos e o fechado,
sob demanda, modelados de forma exclusiva para um determinado órgão parceiro. Além da
modalidade presencial, a oferta em EAD também cresce consideravelmente com cursos sem
tutoria, auto instrucionais, no qual os participantes inscrevem-se a qualquer tempo e, na
sequência, acessam a escola virtual para o acesso ao conteúdo, o qual inclui atividades e
avaliação que devem ser concluídas em um período predeterminado para obtenção do
certificado.
Os cursos presenciais são ofertados em turmas abertas, quando o servidor pode se

inscrever diretamente no site da Esaf, bem como turmas fechadas, quando da solicitação dos
órgãos que demandam capacitar os seus servidores nas áreas de interesse, especialmente o
Ministério da Fazenda e as trilhas de capacitação previstas na programação anual de cursos.
A Esaf-Sede possui em sua estrutura uma diretoria-geral, duas diretorias-gerais adjuntas

e oito diretorias subordinadas (administração, finanças, eventos e capacitação, cooperação
técnica e contencioso, educação, recrutamento e seleção, tecnologia da informação e educação
a distância), além de uma divisão responsável pela educação fiscal e uma prefeitura. Quanto
aos centros regionais, além dos que se situam no Nordeste, como mencionado anteriormente,
há unidades nos seguintes estados: Rio Grande do Sul, Paraná, São Paulo, Rio de Janeiro, Minas
Gerais e Pará.
21
A dotação orçamentária da Escola para tal finalidade é alocada no Fundo Especial de

Treinamento e Desenvolvimento, cujo montante na Lei Orçamentária Anual (LOA) sofreu
redução de 31.416.865 em 2017 para 24.926.842 em 2018 (BRASIL, 2018), o que corrobora
com a menção feita anteriormente acerca das restrições econômicas enfrentadas por órgãos da
Administração Pública no Brasil. Para uma melhor contextualização, a supracitada ação
programática é enquadrada no Orçamento da União (conforme PPA) da seguinte forma:
Quadro 1 – Dados detalhados do programa/ação – Esaf
DADOS DETALHADOS DO PROGRAMA / AÇÃO

Órgão Superior: 25000 - MINISTÉRIO DA FAZENDA
Órgão / Entidade 25913 - FUNDO ESPECIAL DE TREINAM. E DESENVOLVIMENTO
Unidade Gestora 170009 - ESCOLA DE ADMINISTRAÇÃO FAZENDÁRIA
Gestão: 00001 - TESOURO NACIONAL
Função: 04 - ADMINISTRAÇÃO
Subfunção: 128 - FORMAÇÃO DE RECURSOS HUMANOS
Programa: 2038 - DEMOCRACIA E APERFEIÇOAMENTO DA GESTÃO PÚBLICA

Ação: 2250 - SELEÇÃO, FORMAÇÃO E DESENVOLVIMENTO DE PESSOAS
Fonte: Brasil, 2018.
Diante das restrições orçamentárias, sobretudo, na dotação destinada para qualificação

de servidores públicos federais, a Esaf passou de uma atuação focada na demanda para uma
ênfase na oferta. O ponto da virada para essa recente mudança de estratégia se deu a partir da
redução substancial do orçamento dos órgãos públicos que compõem o orçamento da União na
Ação 4572 – Capacitação de Servidores Públicos Federais em Processo de Qualificação e
Requalificação no período de 2015 a 2017 e da renovação do quadro de dirigentes da Escola
em 2016. Com menor demanda, sobretudo por capacitação, e aumento da capacidade ociosa da
infraestrutura da Escola, os custos de manutenção das unidades geraram um alerta quanto à
viabilidade do modelo de “negócios” anteriormente empregado.
Paralelamente, no âmbito do Programa de Modernização Integrada do Ministério da
Fazenda, o órgão setorial iniciava a discussão e implantação da nova cadeia de valor, modelo
de gestão que visava estimular sugestões e reflexões de iniciativas de uso do instrumento para
que a orientação por processos com foco em resultados fosse internalizada na organização
(BRASIL, 2018b) consoante os fundamentos a seguir:
22
 Uso da cadeia de valor para orientar a distribuição de Projetos Estratégicos Corporativos

em processos identificados;
 Desdobramento das Diretrizes Estratégicas para metas por processos;
 Implementação de indicadores de desempenho de processos;
 Uso da cadeia de valor para identificação e priorização das necessidades de treinamento
da organização;
 Uso dos processos da cadeia de valor para entendimento das necessidades de
treinamento e suporte a gestão de competência.
Nesse contexto, a Esaf passou a ser corresponsável por três processos finalísticos, cujos
parâmetros são utilizados como base para a formulação das ações da Escola.
Quadro 2 – Processos relacionados à Esaf na cadeia de valor do Ministério da Fazenda
Processos Órgãos envolvidos Dimensão
Gerir o programa de educação

STN, ESAF, RFB
fiscal para a sociedade e Governos
Promover e coordenar ações de CVM, SUSEP. BACEN,

educação e inclusão financeira ESAF e PREVIC
Gerenciar o programa de educação

SPREV, ESAF, PGFN
previdenciária
Fonte: Elaborado a partir de Brasil, 2018b.

23
Diante do cenário exposto, tornou-se premente avaliar se o quadro de pessoal da Esaf é

capaz de fazer e utilizar a avaliação e se a organização é dotada de função avaliativa de modo
a aprimorar a ação, gerar subsídios para tomada de decisão dos gestores e ampliar a
aprendizagem organizacional, uma vez que, segundo Serpa e Calmon (2012) apud Bastos e
Serpa (2013), a institucionalização dos sistemas de avaliação pode ser caracterizada a partir dos
mecanismos que definem um fluxo regular e contínuo de demandas, que orientam um conjunto
de práticas avaliativas, formalizadas, estruturadas e coordenadas, para produzir conhecimento,
com o objetivo de subsidiar os processos decisórios e de aprendizado para o aperfeiçoamento
da gestão e da implementação de programas e políticas públicas.
O crescente interesse dos governos nos estudos de avaliação está relacionado às questões
de efetividade, eficiência, accountability e desempenho da gestão pública, já que estes estudos
se constituem em ferramenta para gestores, formuladores e implementadores de programas e
políticas públicas. As avaliações de políticas e programas permitem que formuladores e
implementadores tomem suas decisões com maior conhecimento, maximizando o resultado do
gasto público, identificando êxitos e superando pontos de estrangulamento.
A partir do final da década de 70, frisa-se, a avaliação passou a fazer parte da doutrina
da governança orientada para o gerenciamento por resultados, quando essa passou a atender a
demandas de accountability.
Diante desse contexto e com o surgimento da New Public Management – NPM a

avaliação foi pressionada para atender aos requisitos da prestação de contas com foco no retorno
quanto ao recurso. A avaliação como forma de accountability tornou-se uma característica
permanente da gestão do desempenho. A avaliação assumiu novas expressões sob a forma de
avaliação orientada para o cliente.
As organizações em todo o mundo passavam de práticas de gestão focadas em regras e

procedimentos para uma administração pública orientada para o cidadão por meio de várias
iniciativas, com base nos preceitos dessa nova abordagem no setor público. Hood (1991)
identificou "padrões explícitos e medidas de desempenho" como uma das sete características
doutrinárias da NPM. Isso implica na definição de objetivos, metas e indicadores de resultado
(preferencialmente em termos quantitativos), no espírito da accountability pelos recursos gastos
e resultados alcançados;
Para Bourgeois (2016), o uso generalizado de medição de desempenho e avaliação de
programas nas administrações públicas em todo o mundo tem sido alcançado com vários graus
24
de sucesso, em termos de maior transparência e eficácia. Em muitos casos, a falta de impacto

dessas funções é atribuída ao conhecimento organizacional insuficiente e à capacidade de
implementar sistemas adequados de monitoramento e avaliação. Ambas as ferramentas de
gestão são reconhecidas como tendo o potencial de contribuir para a tomada de decisões em
curso e alocações orçamentárias dentro das organizações públicas; no entanto, eles têm papéis
complementares em termos de produção de informações contínuas versus informações
periódicas e enfocam saídas e resultados iniciais versus objetivos do programa de longo prazo,
respectivamente. A medição de desempenho de uma ação governamental pode ser considerada
precursora do desenvolvimento da capacidade avaliativa na organização.
Não obstante, apenas a partir da Constituição Federal de 1988 e da reforma da

administração pública dos anos 90, inspirada na NPM e pressionada por demandas externas, as
práticas avaliativas foram fortalecidas e amplamente disseminadas no governo brasileiro.
Sublinha-se que a avaliação mencionada na Constituição está vinculada à função de

controle interno das organizações dos Três Poderes da República (Executivo, Legislativo e
Judiciário) sobre a gestão pública. Adquire, portanto, a característica dominante de apreciação
normativa, incidindo sobre as estruturas, processos e resultados da gestão tomando por base um
conjunto de normas existentes (Leis, Decretos, Resoluções etc.). O artigo 74 da Carta Magna
explicita as finalidades da avaliação na perspectiva do controle interno:
Art. 74. Os Poderes Legislativo, Executivo e Judiciário manterão, de forma

integrada, sistema de controle interno com a finalidade de:
I - avaliar o cumprimento das metas previstas no plano plurianual, a execução
dos programas de governo e dos orçamentos da União; II - comprovar a
legalidade e avaliar os resultados, quanto à eficácia e eficiência, da gestão
orçamentária, financeira e patrimonial nos órgãos e entidades da
administração federal, bem como da aplicação de recursos públicos por
entidades de direito privado (BRASIL, 1988, p. 58);
A despeito deste forte caráter normativo da avaliação no Brasil como função precípua
de prestação de contas, surge a partir da gestão por resultados uma nova onda de avaliação ainda
não tão forte como a onda científica da década de 1960 e a onda neoliberal que cresceu em
popularidade a partir de 1980. A característica desta onda de evidências é um esforço para tornar
o governo mais científico e baseado em evidências empíricas reais, preocupado com o que
funciona. Isso pode ser interpretado como um renascimento da ciência e experimentação
randomizada. (VEDUNG, 2010)
25
Como evidência dessa expansão pode-se mencionar a criação do então Sistema de

Monitoramento e Avaliação do Plano Plurianual – SigPlan do Ministério do Planejamento,
Orçamento e Gestão e a reestruturação da Secretária Geral de Controle Externo no TCU, com
a especialização das secretárias de controle e criação da então Secretaria de Fiscalização e
Avaliação de Programas Governamentais (SERPA, 2014). A par e passo,
não se pode criar uma única estrutura para a avaliação, isso deve variar de
acordo com vários critérios. Um desses critérios é saber se você faz avaliação
de desenvolvimento ou avaliação de auditoria. Outro critério é saber o quanto
de conhecimento científico será requerido, dependendo da área. Em outras
palavras, não existe uma regra simples para institucionalizar a avaliação
dentro dos governos. (VEDUNG, 2017)
Destarte, objetiva-se neste trabalho analisar as inter-relações entre as dimensões da
capacidade avaliativa dos centros regionais da Escola de Administração Fazendária no Nordeste
e os fatores que contribuem para a prática organizacional de fazer e usar avaliação no âmbito
da ação governamental de seleção, formação e desenvolvimento de pessoal.
Deste modo, espera-se com o desenvolvimento da pesquisa oferecer uma contribuição

para o campo dos estudos da administração pública sobre avaliação no contexto do setor
governamental brasileiro, afinal um instrumento de mensuração validado de capacidade
organizacional em fazer e usar a avaliação para aplicar em organizações da administração
públicas deve permitir que pesquisadores e profissionais entendam melhor as condições que
estimulam a capacidade dentro de uma organização e sistematicamente compare como essas
condições operam em diferentes organizações e em diversos contextos políticos e sócio-
econômicos.
Esse aporte é importante ante a lacuna de conhecimento teórico e empírico sobre o tema
na literatura brasileira e como contribuição para o desenvolvimento da teoria e prática sobre
capacidade avaliativa nas organizações, conforme tem sido enfatizado por diversos autores
(WANDERSMAN, 2013; LEVITON, 2013; SUAREZ-BALCAZAR; TAYLOR-RITZLER,
2013; COUSINS; BOURGEOIS, 2014; LABIN, 2014; BOURGEOIS et. al., 2015; GAGNON
et. al, 2018).
Como problema de pesquisa, pretende-se responder a seguinte questão: quais são as

inter-relações entre as dimensões da capacidade avaliativa nos centros regionais da Escola de
Administração Fazendária no Nordeste e os fatores que contribuem para o desenvolvimento da
capacidade de fazer e usar avaliação no âmbito da ação governamental de seleção, formação e
desenvolvimento de pessoas?
26
A partir dessa situação-problema, e dos estudos realizados por Cousins (2008, 2014) e
Gagnon et al. (2018), foram elencadas as seguintes hipóteses para esta pesquisa:
1) A capacidade para fazer avaliação dos centros regionais da Esaf no Nordeste é menor
do que sua capacidade para utilizar avaliação.
2) Os três centros regionais da Esaf no Nordeste demonstram graus de desempenho
equivalentes em todas as dimensões do modelo de análise de capacidade avaliativa
organizacional.
O teste de hipóteses busca, a partir da pesquisa de campo, analisar as principais

dimensões da capacidade avaliativa organizacional e suas relações, de modo a comparar a
capacidade de fazer e usar dos centros e o comportamento destes frente às outras dimensões do
modelo de análise adotado. Uma conceituação atual da capacidade avaliativa - EC nas
organizações, segundo Labin (2012) define o desenvolvimento da capacidade avaliativa - ECB
como um processo intencional para aumentar a motivação individual, o conhecimento e as
habilidade para melhorar a capacidade de um grupo ou organização para realizar ou usar a
avaliação.
Conceitualmente, três correntes de investigação suportam esta definição atual: a

capacidade da organização de fazer avaliação, a capacidade organizacional de usar a avaliação
e o aprendizado organizacional. A primeira, a capacidade organizacional de fazer avaliação,
concentra-se em como desenvolver no âmbito da organização os conhecimentos e as
habilidades necessárias para conduzir avaliações que sejam metodologicamente defensáveis e
relevantes para as necessidades de informação organizacional (BAIZERMAN et al., 2002;
PRESKILL; BOYLE, 2008). Alinhados a esta corrente, estão os projetos de pesquisa focados
no desenvolvimento e verificação das competências do avaliador para a prática profissional e
na concepção e entrega de treinamento pré-serviço e em serviço na avaliação. Os modelos
conceituais de King e Volkov (2005) e Preskill et. al (2009) são exemplos que se concentram
no lado da oferta do ECB, ou seja, desenvolvendo capital humano, ferramentas e recursos para
planejar e implementar a avaliação (NIELSEN et. al, 2011).
A segunda, isto é, a capacidade organizacional de usar avaliação, dimensiona a

capacidade avaliativa não somente em termos de habilidade para fazer avaliação de qualidade,
mas também em utilizá-la no contexto organizacional (STOCKDILL et al., 2002). A premissa
é que o efetivo ECB exige uma ampla demanda de avaliação e que a sustentabilidade para
conduzir a avaliação depende da medida em que a avaliação é usada dentro da organização, em
27
suas duas subdimensões: uso dos achados e uso no processo. Como argumentado anteriormente
por Cousins et al. (2004), a integração da avaliação na cultura das organizações tem a ver com
as conseqüências da avaliação, assim como o desenvolvimento de habilidades e conhecimento
da lógica e dos métodos de avaliação. Este último argumento conecta a capacidade
organizacional de usar avaliação com aprendizagem organizacional.
No entanto, como observado anteriormente, enquanto estudos de caso, narrativas de

casos reflexivos e a revisão sistemática da literatura empírica do ECB têm sido úteis para
informar a compreensão conceitual atual da capacidade organizacional de fazer e usar
avaliações, há evidências empíricas limitadas apoiando a validade de tais estudos. Pretende-se
assim analisar as supracitadas dimensões – capacidade de fazer e usar avaliação – de modo a
testar suas relações no âmbito do modelo conceitual (GAGNON et. al, 2018) aplicado na
pesquisa de campo do presente projeto.
Além disso, como o ECB é um processo complexo e contextual (STOCKDILL et al.,
2002), e pouco se compreende sobre a capacidade avaliativa e respectivas abordagens de ECB
que podem ser válidas em contextos diversos, pretende-se complementarmente testar a hipótese
que relaciona o desempenho dos três centros regionais nas dimensões de EC de modo a
comprovar se apresentam distribuições similares uma vez que fazem parte da mesma
organização e suas equipes estão inseridas em uma ação governamental comum a todos e com
padrões e rotinas processuais preestabelecidos e objetivos e metas equivalentes.
Quanto à delimitação de escopo, esta pesquisa será realizada na unidade de análise

denominada “Centros Regionais da Esaf no Nordeste”, com todos os servidores efetivos em
exercício do quadro de pessoal, portanto todos os elementos do universo, considerando que esse
conjunto possibilitará uma ampla compreensão, exatidão e rigor na investigação da capacidade
avaliativa da organização. Dessa forma, a natureza da pesquisa e a abordagem escolhida
permitirão inferências, sendo possível alcançar um entendimento amplo e profundo do objeto
da pesquisa.
Na pesquisa bibliográfica, serão revisadas publicações sobre EC e ECB no período de

1996 a 2018. A pesquisa contemplará, ainda, uma breve análise documental das leis, normas e
relatórios gerenciais extraídos dos sistemas governamentais no período de 2017 a 2018
concernentes à definição e caracterização da ação governamental que serve de parâmetro para
o estudo. Na sequência, será identificado e selecionado o modelo de análise para a investigação
da capacidade avaliativa da Escola. Complementarmente, será aplicado o questionário (ECOQ)
nas unidades regionais com os servidores que participam da implementação da ação, de modo
28
a aferir a capacidade da organização para fazer e utilizar avaliação, a partir do qual será possível
analisar as dimensões e fatores que podem contribuir para o desenvolvimento de capacidade
avaliativa, suas inter-relações e o desempenho de cada um do centros investigados.
A Escola de Administração Fazendária é responsável por três relevantes processos no

âmbito da cadeia de valor do Ministério da Fazenda desencadeando impactos na implementação
da ação governamental e na demanda avaliativa pela prestação de contas quanto aos recursos
utilizados para cumprir tal função, condição que motiva a investigação de sua capacidade
organizacional para fazer e utilizar avaliação.
O processo de captação de recursos adicionais pelos Centros Regionais da Esaf, a partir

de 2017, para implementação da ação “Seleção, Formação e Desenvolvimento de pessoal”
passou a ser realizado mediante a adoção de uma série de critérios técnicos baseados em
público-alvo, custo de implementação e impactos esperados, fatores que reforçam a importância
do desenvolvimento de capacidade avaliativa organizacional.
Segundo Serpa (2014), poucos estudos têm se dedicado a investigar em que medida as
práticas avaliativas estão institucionalizadas nos órgãos governamentais, qual o nível de
desenvolvimento da capacidade avaliativa desses órgãos e, principalmente, se as avaliações são
utilizadas e para quais fins.
Dentro das dimensões de análise da pesquisa, propõe-se analisar a capacidade de fazer

e utilizar avaliação da organização. Nesta acepção, Cousins et al. (2014) fazem uma ressalva
quanto a pouca ênfase que vem sendo dada a questão da utilização nas pesquisas e outros
trabalhos sobre capacidade avaliativa organizacional. Esta questão, segundo os autores, é
essencial para qualquer concepção de capacidade avaliativa e deve ser tratada como tal. A
maioria dos estudos foca na oferta, ou seja, na capacidade de realizar avaliações e pouca atenção
é dada ao lado da demanda (capacidade de utilizar avaliações).
Para Bourgeois e Cousins (2008, 2013), uma pesquisa futura poderia se concentrar em
uma ferramenta integrada para medir por um lado o grau geral de capacidade avaliativa de uma
organização e, por outro, para identificar pontos fortes e fracos específicos da organização com
base nas dimensões da capacidade avaliativa incluídas em seu framework.
Os processos do ECB foram associados a duas consequências para as organizações: uso

da avaliação e aprendizagem organizacional (COUSINS et al., 2014). Para os autores, a
avaliação é melhor compreendida e mais útil em organizações que implementam uma cultura
29
intencional de estratégias de ECB. Desta forma, as iniciativas do ECB promovem o

desenvolvimento de uma cultura de auto-avaliação e reflexão sistemática.
O ECB é fundamental para os avaliadores e equipe melhorarem a qualidade da educação

e cumprir os requisitos de accountability (STITT-BERGH, 2016).
A pesquisa sobre o desenvolvimento da capacidade avaliativa precisa ser informada por

problemas reais que acontecem na prática, e a prática precisa ser informada pelo novo
conhecimento criado. Deve-se fortalecer a ciência para aprimorar a prática e a prática para
refinar a ciência. (SUAREZ-BALCAZAR; TAYLOR-RITZLER, 2014). Segundo as autoras, é
requerido concentrar-se no fortalecimento de modelos existentes, validando aqueles que não
são validados e aplicando modelos validados em outras organizações. Além disso, os modelos
atuais podem ser fortalecidos mediante relações mais fortes entre os modelos existentes e seus
correspondentes instrumentos de avaliação para integrar e sintetizar componentes de EC
acordados atualmente (LABIN et al., 2012; TAYLOR-RITZLER et al., 2013).
Os objetivos das práticas de ECB são voltados tipicamente para o pessoal da

organização-alvo documentar regularmente a implementação de seus programas e interpretar
os resultados, a fim de compreender e fortalecer a implementação e melhorar os resultados dos
programas e atender aos requisitos de accountability (KING, 2002; MACKAY, 2002;
PRESKILL; BOYLE, 2008; TAUT, 2007; LABIN et al., 2012; TAYLOR-RITZLER et al.,
2013).
Como observa Labin et al. (2012), a maior parte da pesquisa empírica envolve desenhos
descritivos de estudo de caso e pouco uso de instrumentos confiáveis e válidos.
A avaliação precisa fornecer uma proposta de valor específica para a liderança e a equipe
de uma organização - isto é, eles precisam ver benefícios e custos (CARMAN; FREDERICKS,
2008 apud LEVITON, 2014)
Para Leviton (2014), a avaliação se tornou uma ferramenta mais familiar para as
organizações, mas muitos têm problemas para visualizar os achados eventuais e sua utilidade,
especialmente aqueles que se estendem além da função de accountability.
Como Nielsen et al. (2011) salientam, os métodos quantitativos permitem ir além da

generalização estatística e fornecer uma base para avaliar o crescimento organizacional na
capacidade avaliativa. No entanto, os desafios de capturar quantitativamente a complexidade
da capacidade avaliativa são formidáveis. (COUSINS et al., 2014)
30
A questão de como construir a capacidade de avaliação (EC) tornou-se o foco de um

crescente corpo de pesquisa empírica. Os estudiosos são claros quanto ao fato de que mais
pesquisas são necessárias (LEVITON, 2014; NACCARELLA et al., 2007; NIELSEN et al.,
2011; PRESKILL, 2014 apud CHENG; KING, 2017).
Vários estudos empíricos sobre capacidade avaliativa já foram conduzidos em

organizações americanas, canadenses e dinamarquesas (General Accountability Office [GAO],
2003; COUSINS et al., 2008; NIELSEN et al., 2011; BOURGEOIS; COUSINS, 2013;
TAYLOR-RITZLER et al., 2013). No entanto, o ECB é um processo complexo e contextual
(STOCKDILL et al., 2002), e pouco se compreende sobre a capacidade avaliativa e respectivas
abordagens de ECB que podem ser válidas em contextos diversos [como por exemplo na
administração pública brasileira]. O campo pode se beneficiar da pesquisa para validar as
estruturas atuais de EC, bem como fornecer orientação para o ECB em diversos ambientes e
organizações ao redor do mundo (SUAREZ-BALCAZAR; TAYLOR-RITZLER, 2014).
Ante o exposto, para o desenvolvimento da dissertação será apresentado no capítulo a

seguir o referencial teórico, no Capítulo 3 os procedimentos metodológicos aplicados e o
modelo de análise para investigar o problema desta pesquisa. No Capítulo 4 serão apresentados
os resultados e discussões e, por fim, no Capítulo 5 as conclusões da pesquisa, com as
considerações finais e perspectivas para futuros trabalhos sobre esse tema.
31
2 REVISÃO DE LITERATURA
Para realização da pesquisa buscou-se publicações que abordam os conceitos de

avaliação, abordagens avaliativas, avaliação de programas, capacidade avaliativa – evaluation
capacity (EC) e desenvolvimento de capacidade avaliativa - evaluation capacity building
(ECB). De modo a iniciar a discussão sobre capacidade avaliativa e ECB, retoma-se o debate
sobre a importância da avaliação e suas principais abordagens teóricas e empíricas,
especialmente no que tange à avaliação da qualidade de programas, uma vez que se espera que
subsidie a investigação ora proposta. Em seguida propõe-se um breve olhar sobre os propósitos
e demandas de avaliação em uma organização, com vistas a construir um referencial que
embase a pesquisa documental e de campo das dimensões que impactam a função avaliativa
sustentada pela Escola no âmbito da ação programática. Na sequência, são apresentados os
marcos teóricos e critérios necessários para se examinar a capacidade avaliativa da organização,
com destaque para seleção de um modelo de análise que proceda a aferição do grau de
maturidade da unidade de análise para fazer e utilizar avaliação, permitindo o exame das inter-
relações entre suas dimensões e os fatores que podem contribuir para o aprimoramento da
capacidade avaliativa organizacional.
2.1 CONCEITO E TIPOLOGIA DE AVALIAÇÃO
Apesar de amplamente discutido e estudado, o conceito de avaliação continua a ser

controverso e centro de intensos debates. Ao se referir ao conceito de avaliação, Alkin e King
(2016) trazem à tona os comentários de Shadish e Luellen (2005) ao afirmarem que a história
da avaliação é tão antiga quanto a história da atividade humana, incluindo a discussão da
avaliação do regime de dieta hebraica no Capítulo 1 do Livro Bíblico de Daniel (PATTON,
2008) e avaliação de pessoal na China há mais de 4.000 anos. Para os autores:
Humanos (a) identificam um problema, (b) geram e implementam alternativas

para reduzir seus sintomas, (c) avaliam estas alternativas e, em seguida, (d)
adotam aquelas que os resultados sugerem redução do problema de forma
satisfatória ". (SHADISH; LUELLEN, 2005 apud ALKIN; KING, 2016, p.
569)
De acordo com Alkin e King (2016), a ampla história de avaliação, tal como conhecida
hoje, segue dois fluxos. Há um fluxo, mais fortemente identificado com o campo da educação,
32
que se concentra em testes e medidas e há um segundo fluxo, da ciência social que se concentra
no uso de metodologias de pesquisa social. Os exemplos ilustram estes dois fluxos. Os testes
administrados na avaliação de pessoal da China resultaram de forma clara em
comprometimento. O experimento descrito no Livro de Daniel levou ao uso da informação de
avaliação para proposição de mudanças em um determinado objeto de estudo. Esses dois fluxos
foram bastante distintos na história inicial do uso da avaliação, mas convergiram em grande
medida com a evolução dos anos. A fusão entre The Evaluation Research Society e The
Evaluation Network para formar a American Evaluation Association em 1986 teria definido
este marco.
Para Stockdill et al. (2002), o termo avaliação é usado de forma diferente por muitos
autores. Alguns distinguem entre atividades de monitoramento, que são realizadas durante a
implementação do projeto ou programa para avaliar a eficiência e eficácia com os quais os
insumos são utilizados para alcançar os resultados pretendidos e as atividades de avaliação que
analisam até que ponto os projetos ou programas alcançaram os objetivos pretendidos e
produziram as mudanças e benefícios desejados nas populações-alvo. Em outros casos o termo
avaliação é usado de forma mais ampla para abranger ambas as funções. (BAMBERGER, 2000)
Na concepção de Vedung (2010), o conceito é minimamente definido como uma

avaliação retrospectiva cuidadosa das intervenções do setor público, sua organização, conteúdo,
implementação e outputs ou resultados, que se destina a desempenhar um papel em futuras
situações práticas. Em um sentido, esta definição é estreita. A avaliação é equivalente à
avaliação ex-post, ou seja, avaliação das intervenções adotadas, em curso ou finalizadas. Exclui
avaliação ex-ante: avaliações calculadas das conseqüências das intervenções propostas e
consideradas que são realizadas antes das intervenções serem adotadas e postas em prática.
Em outro sentido, a definição é ampla. Não se limita apenas aos efeitos de intervenções
e atividades no nível de resultados (ou seja, na sociedade ou na natureza), mas também inclui
resultados, processos de implementação, conteúdo e organização (VEDUNG, 1997).
A avaliação, segundo Weiss (1998), é um termo bastante abrangente que acomoda

muitas definições. No entanto, o que todas elas têm em comum é a noção de julgamento de
mérito, baseado em critérios, segundo um método específico, a saber:
uma análise sistemática do processo e / ou dos resultados de um programa ou

política, em comparação com um conjunto explícito ou implícito de padrões,
com o objetivo de contribuir para o aperfeiçoamento. (WEISS, 1998, p. 4).
33
Aos três elementos comuns à definição de avaliação mencionados por Weiss - método,
critério e julgamento, somam-se o contexto organizacional e político; e, intrínseco a eles, os
interesses, valores e expectativas dos atores envolvidos. Ou seja, ao tempo em que a avaliação
deve pautar-se pelo rigor metodológico da pesquisa científica, também deve atender as
necessidades dos tomadores de decisão e outros stakeholders envolvidos, fornecendo-lhes o
máximo de informações úteis (ROSSI et al., 2004).
Assim, a abordagem e o escopo da avaliação dependem, precipuamente, das

necessidades daqueles que demandam o estudo, da natureza do programa a ser avaliado e, não
menos importante, do contexto político e administrativo no qual a avaliação será conduzida.
(SERPA, 2014)
Scriven (1967) definiu avaliação com o "julgamento de mérito e valor" que proporciona
uma visão mais aprofundada. O mérito refere-se ao valor intrínseco, o valor ao extrínseco. Por
exemplo, um programa pode ter mérito (ou seja, considerado de boa qualidade), mas não ter
valor para um contexto particular. A noção de "valor" é, em essência, a ideia de que as
avaliações devem ter "utilidade" - o potencial para ser usado no contexto dado um determinado
momento.
Em vista dessas considerações, a definição de avaliação vem sendo ampliada para
contemplar esses valores. Segundo Yarbrough et al. (2011) e para os padrões de avaliação de
programas do Joint Committee on Standards for Educational Evaluation, a avaliação pode ser
conceituada como:
Investigação sistemática da qualidade de programas, projetos, subprogramas,

subprojetos e/ou qualquer dos seus componentes ou elementos, em conjunto
ou separadamente, tendo por propósitos: decidir, emitir julgamentos,
apresentar conclusões, apontar achados e/ou produzir novos conhecimentos;
assim como promover o desenvolvimento organizacional e contribuir para
construção de capacidade em resposta às necessidades dos stakeholders. Além
disso, visa o aperfeiçoamento e/ou a accountability, contribuindo para atender
os valores da organização ou da sociedade. (YARBROUGH et al., 2011, p.
25).
Com base nas definições anteriores, tem-se que além do julgamento de valor ou mérito,
a avaliação objetiva produzir novos conhecimentos, promover o desenvolvimento
organizacional, melhorar a gestão e favorecer a accountability.
Noutro sentido, Vedung (2010) destaca que a avaliação parece basear-se numa ideia
muito simples. Tradicionalmente, as atividades públicas ganharam aceitação através de
procedimentos adequados e fortes investimentos econômicos, combinados com uma bela
34
retórica temperada com referência a princípios nobres, às melhores intenções e objetivos

decentes, no entanto, os defensores da avaliação argumentam que isso já não é suficiente. O
que contam são realizações reais. A política pública deve tornar-se orientada para os resultados.
2.2 PROPÓSITOS DA AVALIAÇÃO
Compreender o propósito da avaliação é fundamental, porque é a partir dele que se

determina a abordagem, o foco, o escopo e o método a ser aplicado para investigar as questões
a serem respondidas pela avaliação (ROSSI et al., 2004).
Os propósitos da avaliação têm sido apresentados de diferentes formas na literatura,

muito embora seja possível identificar a compatibilidade entre eles. Patton (2008), por exemplo,
apresenta os propósitos em seis categorias distintas; Mark, Henry e Julnes (2000) sintetizam
em quatro tipos. Weiss (1998), por outro lado, classifica os propósitos das avaliações em duas
categorias: para influenciar a tomada de decisão ou o aprendizado, conforme quadro a seguir.
Quadro 3 – Relação entre os propósitos das avaliações
PROPÓSITOS DAS AVALIAÇÕES DE PROGRAMAS continua
MARK, HENRY E
WEISS PATTON
JULNES
Decisão
Corrigir o curso de um programa ou

política com vistas a obter melhorias Avaliações formativas –
nos processos de execução. orientadas para o
aperfeiçoamento, melhoria da Aperfeiçoamento
Testar novas ideias sobre determinado qualidade, aprendizado de programas e
programa organizacional e organizações.
aperfeiçoamento contínuo
Escolher a melhor alternativa, dentre
várias opções, para implementar
ações/medidas.
Verificar o alcance dos objetivos com

vistas à continuação, expansão ou
institucionalização de um programa-
piloto; assim como corte, finalização ou Avaliações somativas - Julgamento do
abandono de programa em execução. orientadas para julgamento mérito e valor
de mérito e valor.
Decidir sobre a continuidade do
aporte de recursos financeiros
35
PROPÓSITOS DAS AVALIAÇÕES DE PROGRAMAS conclusão
MARK, HENRY E
WEISS PATTON
JULNES
Aprendizado
Avaliações desenvolvimentistas -
Documentar a história do programa de orientadas para mudanças
forma a contribuir para a sua emergentes, inovações e
compreensão e influenciar decisões transformações de processos
futuras. Desenvolvimento
de conhecimento
Influenciar o comportamento dos Avaliações para produção de
executores por intermédio da ênfase conhecimento - orientadas para
nos objetivos do programa. identificar, através dos achados,
Compreender a intervenção social os caminhos para a efetividade.
Accountability - orientadas para

explicar e justificar quão bem os
Promover a accountability recursos são gerenciados e se os Accountability
resultados desejados são obtidos
de forma eficiente.
Monitoramento - orientadas
para o acompanhamento da
Contribuir como feedback para os implementação com vistas a
executores disponibilizando identificar tempestivamente os
informações sobre o andamento de problemas (indicadores de
determinado programa. desempenho e sistemas de
monitoramento).
Fonte: Weiss, 1998; Patton, 2008; Mark et al., 2000 apud Serpa, 2014.
Diferentes propósitos se relacionam a diferentes formas de utilização e têm implicações

tanto no desenho da avaliação, como nos métodos de mensuração, análise e interpretação dos
dados. Esses aspectos afetam a forma de apresentação do relatório, a disseminação dos
resultados e os critérios para julgamento da qualidade do trabalho. (PATTON, 2008)
As escolhas desse processo, por sua vez, têm impacto na extensão em que a avaliação
poderá fornecer informações úteis para o aperfeiçoamento, correção, seleção ou entendimento
sobre os programas e as políticas públicas. (MARK et al., 2000)
Para Preskill (2004), os propósitos da avaliação são baseados na crença de que a

avaliação é um processo de aprendizado que deveria resultar em achados úteis e utilizáveis.
Porém, Braskamp e Brown (1980) apud Alkin e King (2017) observam que a utilização
efetiva não significa necessariamente que qualquer uma das recomendações seja implementada
ou que haja decisões imediatamente aparentes baseadas nas informações. Tornar os
stakeholders mais conscientes do programa, do seu contexto e restrições sob as quais foi
financiado, implementado e alterado é considerado como um resultado final importante.
36
Alkin e Christie (2004) apontam que as teorias da utilização foram impulsionadas pelas
teorias orientadas para a decisão (decision-oriented theories), cuja preocupação é conceber
avaliações que não apenas contribuam para subsidiar o processo de tomada de decisão, como
também assegurem que os seus resultados tenham impacto direto nas decisões e nas mudanças
promovidas no âmbito das organizações e dos programas. Neste sentido,
O fundamento básico para a avaliação é que ele fornece informações para a

ação. Sua principal justificativa é que ela contribui para a racionalização da
tomada de decisões ... a menos que ela ganhe uma audição séria quando
decisões relacionadas ao programa são tomadas, falhará em sua principal
finalidade. (WEISS, 1972 apud ALKIN; KING, 2016, p. 569)
Para Alkin e King (2016), a história do uso da avaliação é necessariamente parte da

história geral da avaliação de programa, e para entender seu desenvolvimento e significado, é
útil fundamentá-lo dentro de um contexto histórico, na qual observam-se as duas correntes
avaliativas baseadas em medição e pesquisa social.
Uma ampla documentação de atividades de avaliação relacionada à corrente baseada em

medição foi observada de meados dos anos 1800 até o início dos anos 1900. Em 1897, Joseph
Rice relatou ter realizado um programa de avaliação usando testes padronizados em uma série
de sistemas escolares dos EUA.
No início dos anos 1900, os escritos de Edward Lee Thorndike proporcionaram um

estímulo particular ao movimento de testes escolares. O autor escreveu uma Introdução à Teoria
das Medições Mentais e Sociais (1913), livros subsequentes sobre outros tópicos de medição e
numerosos artigos de periódicos sobre testes escolares em geral e para áreas específicas. À
época, mais de 40 grandes distritos escolares tiveram unidades de pesquisa escolar que realizam
avaliações em larga escala dos alunos no período da Primeira Guerra Mundial. Essas avaliações
atenderam à uma variedade de propósitos, incluindo a avaliação do desempenho escolar.
Muitos, se não a maioria, grandes distritos ainda possuem essas unidades.
Durante este período,
a medição e a avaliação foram consideradas quase sinônimas, e o termo

avaliação foi usado com mais freqüência para significar a atribuição de notas
ou o resumo do desempenho do aluno em testes. O conceito de avaliação,
como a conhecemos hoje, ainda estava evoluindo. (FITZPATRICK;
SANDERS; WORTHEN, 2004 apud ALKIN; KING, 2016, p. 570).
37
A década de 1930 apresentou um evento influente para a avaliação baseada em medição.

As escolas passaram a experimentar novas pedagogias e currículos. A Universidade de Chicago
desenvolveu um estudo de oito anos o que levou à adoção de procedimentos de testes
sistemáticos baseados em objetivos (ou critérios) desenvolvidos para avaliar tais currículos. O
estudo apresentou uma ênfase no uso, uma vez que os autores reconheceram a necessidade de
"providenciar o treinamento de professores e administradores escolares na interpretação e uso
dos resultados da avaliação" (MADAUS; STUFFLEBEAM, 1989 apud ALKIN; KING, 2016).
Duas décadas depois, o artigo de Cronbach (1963) apud Alkin e King (2016),
"Avaliação para melhoria do curso", ampliou o interesse no uso da avaliação. Cronbach
considerou a variedade de novos projetos de currículo de matemática e ciência em resposta á
ao lançamento do Sputnik 1 da União das Repúblicas Socialistas Soviéticas. Neste influente
artigo, criticou a adequação das avaliações desses projetos. Ele identificou um objetivo de
melhoria de curso para avaliação. Por isso, afirmou que o papel adequado da avaliação não era
apenas fazer julgamentos finais sobre a eficácia dos currículos, mas também fornecer
informações que ajudassem na modificação dos cursos em desenvolvimento. A ideia de
Cronbach de que a melhoria do curso foi um resultado adequado da atividade de avaliação
tornou-se base para a distinção formativa / somativa, definição posteriormente gerada por
Scriven (1967). Em essência, a formulação prescritiva de Cronbach ampliou a noção de uso
apropriado de avaliação extrapolando a simples análise dos resultados finais do programa.
A década de 1960 foi um período evidenciado por um grande aumento no número de

avaliações. Foram iniciados os principais programas sociais com exigência de relatórios de
avaliação anuais. Em meados da década de 1960, o Congresso americano promulgou inúmeros
programas da "Great Society", com lei que exigia dos beneficiários do financiamento avaliações
dos programas para demonstrar o impacto dos recursos federais empregados. A noção de
avaliação como relevante e potencialmente útil para os stakeholders do programa recebeu
impulso político.
No entanto, os pesquisadores geralmente não conseguiam entender adequadamente os

contextos em que as avaliações deveriam ocorrer. Suas tentativas de implementar
procedimentos de teste ou realizar pesquisas em escolas falharam. Os testes podem ter sido
conduzidos, mas havia uma falta de compreensão das diferenças entre teste e avaliação.
Esta falta geral de confiança nos métodos existentes para a realização da avaliação levou
pesquisados, como Scriven e Stake a sugerirem melhores maneiras de realizar a avaliação do
38
programa. Além disso, vários autores, incluindo Stufflebeam (1971) apud Alkin e King (2016),
produziram livros didáticos que prescreviam o que se presumia como formas mais relevantes
de realizar avaliação, isto é, as "teorias prescritivas" da avaliação. Patton (1978) apud Alkin e
King (2016), cujo trabalho foi realmente uma fusão das duas correntes, também publicou a
primeira edição de seu livro sobre avaliação.
Consoante o exposto, pode-se destacar a década de 1960 e o início da década de 1970

como importante era de atenção para avaliação, pois marca a junção das correntes.
O fluxo de ciência social do histórico de avaliação do programa foi definido

principalmente pela aplicação de métodos de pesquisa em ciências sociais. Shadish e Luellen
(2005) apud Alkin e King (2016) observaram que o crescimento substancial e o
aperfeiçoamento dos métodos de pesquisa empírica contribuíram para o aumento das instâncias
de atividade de avaliação.
O advento dos programas da “Great Society” afetou o ramo da pesquisa social. A

profusão de programas federais (por exemplo, The Economic Opportunity Act) superou a
capacidade existente para realizar essas avaliações. Os acadêmicos de pesquisa social tentaram
preencher o vazio. Como no período anterior, muitas pesquisas foram altamente disciplinadas
e não percebidas como relevantes pelos stakeholders.
Assim, como observam Alkin e King (2016), apesar do aumento do financiamento

federal para programas de pesquisa social em todo o país, nas décadas de 1960 e 1970, havia a
percepção que o conhecimento avaliativo não tinha impacto sobre os decisores políticos, ou
seja, essa consciência do desuso potencial forneceu o impulso para novas pesquisas.
Ao examinar o uso de dados na tomada de decisão no Governo Federal americano, Rich

(1977) conseguiu distinguir o conhecimento para ação (uso instrumental) e conhecimento para
a compreensão (uso conceitual).
Weiss (1977) apud Alkin e King (2016) ampliou a compreensão do uso conceitual ao
argumentar que, em vez de desempenhar um papel deliberado e mensurável na tomada de
decisões, o conhecimento das ciências sociais "ilumina" (enlightens) os formuladores de
políticas. De acordo com a autora, os decisores políticos valorizaram estudos que os levaram a
analisar as questões de forma diferente, justificaram suas idéias para reformas, desafiaram o
status quo e sugeriram a necessidade de mudança. Assim, o termo enlightenment tornou-se da
literatura de avaliação de forma mais ampla.
39
A noção deste termo sugeriu que o conhecimento da pesquisa em ciências sociais com
mais freqüência não era a única fonte que levava a decisões políticas - em vez disso,
"informava" decisões políticas. Além disso, o conhecimento pode ser empregado de maneiras
mais sutis, o que Weiss (1977) apud Alkin e King (2016) chamou de "interativo". Neste modelo,
o conhecimento é usado em conjunto com os insights pessoais, a experiência e as informações
comunicadas.
Além do uso conceitual e instrumental, Karin Knorr (1977) apud Alkin e King (2016)
identificou o que chamou de um terceiro modo de uso de dados das ciências sociais como "uso
simbólico". Para esta autora, são duas as formas de uso simbólico: Uma na qual um oficial do
governo sinaliza por meio de um anúncio de uma avaliação de que algo está sendo feito sobre
um problema, enquanto as ações apropriadas que deveriam ter sido tomadas são adiadas ou
ignorada e uma segunda, mais comum, relaciona-se ao papel de legitimação. Nesta situação, os
dados avaliativos são usados para apoiar publicamente uma decisão tomada de forma diferente
ou apoiar uma opinião que já foi tomada. Neste sentido,
se a evidência persuade um tomador de decisão a adotar a opção A em vez de

B, o uso é claramente instrumental. Se ele já adotou a opção B, no entanto, e
as evidências reforçam sua crença nessa opção, o uso é mais apropriadamente
chamado de conceitual. A demarcação entre conceitual e simbólica também é
desfocada. Se a informação serve para confirmar o próprio julgamento da
decisão, tem-se um uso conceitual. Se a evidência o ajuda a justificar sua
posição para outro stakeholder, como um comitê legislativo ou um grupo
público, o uso é simbólico. (PELZ, 1978 apud ALKIN; KING, 2016, p. 573)
Na figura abaixo, Alkin e King (2017) fornecem uma definição de uso de avaliação com
base em cinco “matrizes” com base na escala de Guttman e mapeamento das sentenças:
40
Figura 1 – Definição de uso em sentenças mapeadas com base na Escala de Guttman
O que estimula? Quem emprega?
- como achados - um usuário primário

Informação - como uma conseqüência
Considerado interessado
avaliativa - da participação na - outros usuários locais
avaliação por - usuários externos
adquirida
De que maneira? Relativo a qual aspecto do programa?
- uma influência dominante - ao programa sendo

- uma das influências avaliado
como múltiplas - a alguns dos seus
- uma das influências componentes
cumulativas - ao papel dos indivíduos
Relativo a(o) associados de qualquer
maneira com a
organização
O que estimula? - às visões e
entendimentos dos
indivíduos associados de
- tomada de decisões qualquer maneira com a
- estabelecer ou alterar
atitudes
- justificar ações e decisões
em prévias é Uso da avaliação
- desenvolver a capacidade
avaliativa individual ou
organizacional
Fonte: Alkin; King, 2017.
A partir da elucidação anterior, cabe ressaltar que a avaliação focada na utilização

(PATTON, 2008), publicada pela primeira vez em 1978, sistematicamente atende a cada
componente das matrizes, identificando os usuários primários, detalhando seus usos primários
esperados e interagindo com eles ao longo do curso da avaliação para assegurar (na medida do
possível) que o processo gere informações credíveis que possam resultar no uso significativo
para tomada de decisão e aprimoramento dos programas.
Leviton e Hughes (1981) e Weiss (1972) reconheceram que o potencial de avaliação do

programa demonstrava ter impacto além dos programas individuais. No entanto, a maior parte
da pesquisa sobre o uso da avaliação concentrou-se em avaliações e configurações específicas
do programa, isto é, olhando para o uso direto ou uso indevido de resultados ou processos de
avaliação no contexto (ALKIN; KING, 2017).
Para estes autores, como originalmente concebido, a avaliação focalizou a influência

indireta e intangível que os estudos avaliativos podem ter sobre indivíduos, programas,
comunidades e sistemas. A intenção era expandir as possibilidades para além do foco no uso
direto de resultados ou processos de avaliação. Kirkhart (2000) apud Alkin e King (2017)
41
delineou uma “teoria integrada da influência na avaliação” que incluiu três variáveis-chave -
fonte (processo / resultados), intenção (intencional / não intencional) e tempo (imediato / final
do ciclo / longo prazo). Aplicando a influência da avaliação como um construto unificador, a
pesquisa levou a um entendimento mais completo e integrado das consequências da avaliação
ao longo do tempo. Kirkhart resumiu: “Essa teoria integrada da influência nos ajuda a
reconhecer que a prática da avaliação teve um impacto mais penetrante do que se percebeu até
agora” (p. 20). “Separando” o conceito de influência na avaliação, Alkin e Taut (2003) apud
Alkin e King (2017) sugeriram uma revisão da “teoria” de Kirkhart que acrescentou consciência
como uma variável, com a proposta de que os avaliadores abordassem o uso imediato e no final
do ciclo do processo avaliativo e seus resultados. Os autores removeram a influência - que está
ligada a resultados inesperados sobre os quais os avaliadores não têm controle e dos quais não
estão conscientes - das preocupações dos avaliadores.
Estes autores, a partir dessa compreensão acerca de quais eram os principais fatores de
influência para o uso da avaliação, chegaram à seguinte sumarização:
i) Fatores do usuário: atitude do usuário em relação à avaliação, tanto em geral

quanto específica. Esse interesse é parcialmente derivado do envolvimento
significativo dos usuários na avaliação. As predisposições dos usuários sobre a
avaliação, baseadas em parte em experiências anteriores positivas, reforçam seu
interesse na avaliação (ALKIN et al., 1979 apud ALKIN; KING, 2017).
ii) Fatores do avaliador: comparável ao fator pessoal para usuários. Avaliadores
necessitam mostrar sensibilidade política e ter credibilidade, envolver ou engajar
usuários em potencial e ter boa relação com estes.
iii) Fatores da avaliação: distingue-se a avaliação e as atividades dentro dela do
papel único do avaliador como um indivíduo. Envolve procedimentos
avaliativos, relevância da informação de avaliação e qualidade de comunicação.
Embora a excelência técnica e o rigor necessário sejam importantes, o mais
relevante é a adequação dos métodos empregados e sua credibilidade com os
usuários em potencial. O fator denominado “relevância” refere-se à medida em
que as necessidades de informação do programa são atendidas (KING;
PECHMAN, 1982; YARBROUGH et al., 2010 apud ALKIN; KING, 2017). Se
as informações de avaliação coletadas não atenderem à necessidade percebida
dos usuários, então, não surpreendentemente, elas não estarão propensas a usá-
las. A qualidade de comunicação envolve a adequação dos métodos.
42
Os relatórios devem estar em um formato que os usuários possam entender.

Além disso, as informações da avaliação a serem relatadas devem ser oportunas,
ou podem ser inúteis para os possíveis interessados. Outro fator é um pouco mais
complexo, de particular significância é a relação da avaliação com informações
existentes ou concorrentes, geralmente disponíveis ou como parte do
conhecimento prático dos principais usuários do programa.
iv) Fatores de contexto social/organizacional: a natureza da organização na qual a
avaliação está sendo conduzida tem impacto substancial na realização bem-
sucedida do uso da avaliação. Esses fatores variados incluem não apenas as
características organizacionais do programa, mas também a maior entidade
programática que engloba esse programa (JOHNSON et al., 2009 apud ALKIN;
KING, 2017). Destacam-se ainda questões como a extensão da autonomia em
nível da unidade e vários arranjos institucionais. Questões sobre a idade do
programa e a extensão do seu desenvolvimento afetaram até que ponto as
pessoas poderiam usar de forma produtiva uma avaliação. Além disso, vários
fatores externos, a saber, a comunidade, sua influência no programa e o papel de
outras agências, estão dentro dessa categoria (ALKIN et al., 1979 apud ALKIN;
KING, 2017), porém, talvez, de maior significância tenham sido aquelas fontes
de informação além da avaliação que provavelmente serão empregadas na
tomada de decisão.
Depreende-se dos conceitos anteriormente expostos neste capítulo que, para atender as
diferentes necessidades avaliativas, foram sendo desenvolvidas inúmeras abordagens
avaliativas, incorporadas à literatura e à prática avaliativa, com vistas a atender aos diferentes
propósitos e expectativas dos atores interessados na sua utilização.
2.3 ABORDAGENS AVALIATIVAS
A teoria como entendida na avaliação é fragmentada, um problema anteriormente

discutido por Vaessen e Leeuw (2010). Este problema não se limita à avaliação. Klima (1972)
apud Leeuw e Donaldson (2015) referiu-se ao pseudo-pluralismo nas ciências sociais onde
diferentes teorias e tipos de teorias têm nomes e rótulos diferentes, mas as diferenças não são
reais nem substantivas.
43
Na busca por clareza, Leeuw e Donaldson (2015) apresentam duas tipologias em

“teorias em, para e de avaliação”
A primeira tipologia (FIGURA 2) ajuda a entender as teorias subjacentes aos programas

e políticas dos tomadores de decisão e stakeholders do programa, bem como aquelas que
orientam o trabalho dos avaliadores. Essas teorias partem das intenções e raciocínios por trás
da elaboração e avaliação de políticas.
Todas as conceituações de "teoria", de uma forma ou de outra, baseiam-se nos

pressupostos subjacentes aos programas e outras intervenções ou iniciativas de decisores
políticos e stakeholders. A linha de argumentação passa da política para a teoria.
Para Leeuw e Donaldson (2015), os avaliadores, assim como os decisores políticos,

também têm suas próprias teorias implícitas como guias para a sua prática: as teorias de
avaliação também conhecidas como modelos de avaliação e abordagens de avaliação. Essas
teorias respondem à questão de como fazer avaliações de forma adequada e eficiente e também
prescrevem o que é desejável para o avaliador. Shadish et al. (1991) usam uma metáfora militar:
As teorias de avaliação são como estratégias e táticas militares; os

métodos de avaliação são como armas militares e logística. O bom
comandante precisa conhecer estratégias e táticas para implantar armas
adequadamente ou organizar logística em diferentes situações. O bom
avaliador precisa de teorias pelas mesmas razões na escolha e emprego
de métodos. (SHADISH et al., 1991, p. 34)
Assim, um novo subconjunto é formado pelas teorias do avaliador. Estas são focadas na
prática de avaliação e são produzidas por "teóricos de avaliação proeminentes que se
destacaram para descrever suas prescrições de como eles acreditam que uma avaliação deve ser
realizada" (CARDEN; ALKIN, 2012).
44
Figura 2 – Representação da Tipologia “1” de Avaliações
Teorias da
Intervenção;
Teoria do Programa;
Teoria da Política
Teoria e Teoria da
Anti-teoria Mudança
Avaliações
orientadas -
baseadas em
teorias
Teoria focada
Frameworks no uso;
Lógicos Teoria de Suporte
Modelos Lógicos;
Lógica de Programa
Teorias
sobre
Práticas de
Avaliação
Teorias sobre Teorias sobre

o Uso da Implementação e
Avaliação Mudança
Teorias da
Avaliação
Teorias dos Modelos

Avaliadores Avaliativos
Fonte: Leeuw e Donaldson, 2015.

45
Uma visão diferenciada sobre estas teorias dos avaliadores foi introduzida em 2004 por
Marvin Alkin, de forma esquemática na Árvore da Avaliação (Evaluation Tree) cuja estrutura
foi revisitada pelo mesmo autor em 2012, onde aloca os teóricos em três dimensões
representadas por galhos, conforme ilustração abaixo e descrição seguinte:
Figura 3 – Árvore das teorias de avaliação
Fonte: Alkin, 2012.
1- Método (Tyler; Campbell; Cook; Cronbach; Rossi; Chen; Weiss; Greene): As avaliações,
incluídas nesta dimensão, são guiadas por métodos de pesquisa, entendendo que método, em
sua mais pura forma, visa a generalizações ou à construção de conhecimento.
2- Uso (Stufflebeam; Wholey; Patton; Alkin; Fetterman; Cousins; King; Preskill): Em essência,
esta dimensão expressa uma preocupação com o modo como os resultados da avaliação serão
usados e quem fará uso de tais resultados.
3- Valoração (Scriven; Stake; Eisner; House; Lincoln e Guba): Esta dimensão estabelece que o
papel mais essencial e vital do avaliador é o de atribuir valor aos dados.
46
O “tronco” dessa árvore define-se por três dimensões que constituem a genealogia das
teorias e métodos de avaliação, tais como:
1- Prestação de contas (accountability): entendida como o processo de “dar respostas” ou “ser

responsável por”. Pode referir-se a metas, processos ou resultados.
2- Pesquisa social: assumida, em seu sentido amplo, como o estudo sistemático do

comportamento de grupos ou indivíduos em meios sociais diversos, através de uma variedade
de métodos.
3- Epistemologia: apontada como a análise sob diferentes concepções de avaliação fundadas

em paradigmas epistemológicos de compreensão da realidade social e do homem, a fim de
propiciar uma compreensão de como esses paradigmas se desdobram em perspectivas
avaliativas num âmbito mais geral e em particular.
Os fundamentos da pesquisa social, reconhecidos nos trabalhos de Karl Marx, Emile

Durkheim e Max Weber, marcam os primórdios dos estudos empíricos, por meio da coleta e
análise de dados, da sociedade e dos grupos sociais. O advento das etnografias, a partir da
antropologia, oferece, com Clifford Geertz e outros, abordagens qualitativas na pesquisa social
interpretativa. Esses enfatizam o significado, em oposição aos métodos convencionais, cuja
ênfase recai sobre a predição.
Para Leeuw e Donaldson (2015), embora as teorias mencionadas nesta primeira

tipologia e na árvore de avaliação desempenhem um papel importante na avaliação, elas se
concentram nas intenções, expectativas e (outros) processos cognitivos dos profissionais
envolvidos, por isso avançam na discussão e caracterizam uma segunda tipologia, a qual
concentra-se mais em teorias externas, científicas (sociais, comportamentais e institucionais)
capazes de explicar as conseqüências de políticas, programas e ações avaliativas.
Para os referidos autores, tratam-se das teorias acadêmicas de formulação de políticas.

Algumas dessas teorias estão focadas no desenvolvimento de políticas (em seus ambientes
administrativos e políticos), com processos de tomada de decisão relacionados e com a forma
como a política "funciona". Outras estão focadas na dinâmica de estratégias e implementação
dentro e entre organizações. Em segundo lugar, trazem as teorias que explicam o
comportamento das avaliações em seus aspectos sociais e institucionais. Eles nos fornecem uma
série de possíveis explicações sobre o que acontece - pretendido ou não - quando as políticas e
os programas são implementados.
47
E, na sequência, as teorias de domínio social focam as características de domínios

específicos em que um avaliador está trabalhando; elas permitem que o avaliador coloque a
política / programa em um contexto mais amplo de significados sociais, procedimentos e
arranjos.
Figura 4 – Representação da Tipologia “2” de Avaliações
Teorias de Teorias para Teorias de

contextualizar
formulação de Domínio
e explicar políticas e ações
políticas (Social)
Teorias Institucionais e Ciências

Sociais e Comportamento
Fonte: Leeuw e Donaldson, 2015.
Apresentam-se, assim, ao final, duas tipologias:
uma primeira a partir da prática de decisores políticos, stakeholders e

avaliadores e seus conjuntos de premissas subjacentes e a segunda advinda da
pesquisa (aplicada ou orientada para a curiosidade) com foco em teorias
capazes de explicar os processos de formulação de políticas, seu impacto na
sociedade e comportamento e o papel dos domínios sociais e institucionais ao
fazer avaliações. (LEEUW; DONALDSON, 2005, p. 471)
Leeuw e Donaldson (2015) argumentam que considerar a avaliação apenas com base
nas "teorias de Tipo 1" não é aconselhável. Para os autores, o argumento é simples: trabalhar
com teorias explicativas testadas e robustas das ciências (sociais, comportamentais e políticas)
acrescenta informações cruciais sobre mecanismos e contextos subjacentes a políticas e
programas, incluindo intervenções de avaliação.
Para os autores, as teorias explicativas que se baseiam nas teorias científicas sociais (e
comportamentais) oferecem o maior alcance para futuros esclarecimentos e aplicação da teoria
em, para e de avaliação. Em um dos trabalhos mais influentes sobre os fundamentos da teoria
da avaliação, Shadish et al. (1991) concluíram que a avaliação orientada pela teoria foi uma das
formas mais avançadas de teoria da avaliação, e foi avaliada de forma mais favorável do que
48
todas as outras teorias de avaliação que examinaram. Caracterizaram-na como uma tentativa
ambiciosa de trazer coerência a um campo em consideráveis turbulências e debates.
Uma versão moderna desta teoria da prática de avaliação é conhecida como ciência da
avaliação orientada pela teoria do programa. Argumenta-se que a confluência da teoria da
avaliação, teoria do programa e teoria das ciências sociais constitui uma abordagem distintiva
da avaliação. Donaldson forneceu a seguinte definição:
A ciência da avaliação orientada pela teoria do programa é o uso

sistemático de conhecimentos substantivos dos fenômenos sob
investigação e métodos científicos para melhorar, produzir
conhecimento e gerar feedback e para determinar o mérito, o valor e o
significado das avaliações, tais como social, educacional, saúde,
comunidade e programas organizacionais (DONALDSON, 2007).
A frase “orientada pela teoria do programa (em vez de orientada por teoria) destina-se
a esclarecer o significado do uso da palavra "teoria" neste contexto. Especifica o tipo de teoria
(ou seja, a teoria do programa) que deverá orientar as questões e o projeto de avaliação. Essa
abordagem também pode ser usada quando avalia políticas e outros tipos de avaliação, e não
está limitada à lógica linear. A expressão "ciência da avaliação" destina-se a sublinhar o uso de
métodos científicos (ou seja, métodos qualitativos, quantitativos e mistos) para responder às
principais questões de avaliação. A ciência da avaliação sinaliza a ênfase colocada no princípio
orientador da pesquisa sistemática (AMERICAN EVALUATION ASSOCIATION, 2004).
2.3.1 Teoria do Programa
Do ponto de vista evolutivo, com base no livro Foundations of Program Evaluation

(Shadish et al., 1991) afirma que a teoria do programa surge a partir da década de 80, conforme
quadro abaixo:
Quadro 4 - Estágios de evolução da teoria da avaliação
ESTÁGIO TEÓRICOS PERSPECTIVA TEÓRICA ÊNFASE

continua
Michael S. Scriven Avaliação como ciência da Busca da verdade científica a
valoração da ação (com base em respeito da efetividade das
Década de fatos, não em opiniões) soluções para os problemas
60 >
sociais.
Donald T. Campbell Metodologista da “Sociedade
Experimental”.
49
ESTÁGIO TEÓRICOS PERSPECTIVA TEÓRICA ÊNFASE

conclusão
Carol H Weiss Vinculação da avaliação com a Entender como as organizações
pesquisa em políticas públicas. do setor público e seus
tomadores de decisão operam
Joseph S. Wholey Avaliação para o aperfeiçoamento de modo a oferecer alternativas
Década de
70 > dos programas úteis do ponto de vista político
e social para a apropriação do
Avaliação responsiva e métodos conhecimento avaliativo (uso)
Robert E. Stake qualitativos visando à melhoria do
desempenho das organizações e
de suas ações.
Lee J. Cronbach Desenho funcional da avaliação Integrar diferentes perspectivas
para um mundo sujeito à teóricas anteriores de modo a
acomodação política reconhecer a legitimidade de
diferentes abordagens em
Peter H. Rossi Avaliação global (desenho, função das circunstâncias e
Década de implementação e utilidade), propósitos da avaliação.
80 e 90 > customizada e com base na teoria
do programa. (grifo nosso)
Fonte: SHADISH et al., 1991.
O terceiro estágio, particularmente, descrito por Shadish et al. (1991) pretende oferecer
uma visão integral do programa desde o seu desenho até os seus resultados e utilidade social,
passando por sua implementação, na busca em responder a todas as dimensões avaliativas que
possam interessar aos stakeholders. As práticas avaliativas se justificam e ganham legitimidade
a depender das circunstâncias em que são demandadas e dos propósitos aos quais respondem.
Os problemas sociais são múltiplos, as intervenções são diversas e contextuais e, portanto, a
avaliação deve ser plural em suas práticas e métodos, sendo legitimada pelo contexto.
Os autores expoentes desta terceira fase atribuem importância à avaliação com vistas à
melhoria incremental dos programas, mas entendem que mudanças estruturais também ocorrem
e que a avaliação deve contribuir para futuros e novos programas gerando conhecimento sobre
os problemas sociais e as políticas públicas.
Nessa linha, Cronbach apud Shadish et. al (1991) entende que a avaliação com
propósitos incrementais deve estar condicionada à relevância do programa quanto aos recursos
envolvidos, ao número de pessoas afetadas, à possibilidade de haver efeitos colaterais fruto das
intervenções e a relevância dos resultados da avaliação para outros programas semelhantes.
50
O conceito de avaliação baseada em teoria de programa pode ser ampliado a partir do

livro Evaluative Research, de Edward Suchman, publicado em 1967. Como afirma Weiss
(1997), Suchman referiu-se várias vezes à noção de teorias de programas nesta publicação,
quando explicitou dois tipos de razões para um programa malsucedido: falha no programa para
colocar as atividades pretendidas em operação (falha na implementação) e falha nas atividades
para produzir os efeitos desejados (falha teórica)
A avaliação baseada em teoria poderia fortalecer a validade das avaliações quando a

atribuição aleatória é impossível. Se a avaliação pode mostrar a série de micro etapas que levam
dos inputs aos outcomes, a atribuição causal para todos os propósitos práticos parece estar ao
alcance. Embora tal avaliação não possa excluir todas as ameaças de validade, ela tem a
vantagem de mostrar quais processos levam aos resultados observados; se algumas das etapas
postas não são confirmadas pelos dados, então o estudo pode mostrar onde a seqüência de etapas
esperada falhou.
A autora destaca, ainda, duas outras teorias que partem da Teoria do Programa: a teoria
da implementação que se concentra em como o programa é realizado. A suposição teórica que
ela traz é que, se o programa for realizado conforme planejado, com qualidade, intensidade e
fidelidade suficientes para planejar, os resultados desejados serão realizados. A ênfase é sobre
o que Suchman (1967) denominaria falha / sucesso na implementação. A teoria programática,
por outro lado, trata dos mecanismos que intervêm entre a entrega do serviço do programa e a
ocorrência de resultados pretendidos. Ele se concentra nas respostas dos participantes ao serviço
do programa. O mecanismo de mudança não se relaciona às atividades do programa em si, mas
à resposta que as atividades geram.
A avaliação baseada em teoria está demonstrando sua capacidade de ajudar os

avaliadores a entender como e por que um programa funciona ou não funciona. Conhecer
apenas os outcomes, mesmo com validade irrepreensível não nos diz o suficiente para informar
a melhoria do programa ou a revisão da política. A avaliação precisa entrar na caixa preta e
fazê-lo de forma sistemática. Um dos benefícios secundários desse tipo de avaliação é o seu
contributo para o planejamento do programa mais sábio, mesmo antes da avaliação ser iniciada.
(WEISS, 1997)
Segundo CASSIOLATO et al. (2010) a análise da teoria do programa é de extrema

importância uma vez que identifica as deficiências do desenho que poderão interferir no seu
51
desempenho. Aferir a qualidade da teoria significa, em síntese, verificar se o programa está bem
desenhado e se apresenta um plano plausível para o alcance dos resultados esperados.
Para a autora, os elementos do modelo lógico são: recursos, ações, produtos, resultados
intermediários e finais, assim como as hipóteses que suportam essas relações e as influências
das variáveis relevantes de contexto. Tornar explícitas as hipóteses sobre como o programa
supostamente deve funcionar, em variados contextos, cria a referência principal em que se
baseia a gestão e o seu instrumento imprescindível, a avaliação.
A metodologia proposta por CASSIOLATO et al. (2010) procura contribuir para o

adequado desenho de um programa e que o mesmo possa ser gerenciado por resultados. Neste
sentido, deve orientar a estratégia de execução do programa e a definição dos indicadores para
o monitoramento e a avaliação. O processo de formulação do modelo lógico do programa
deverá contribuir para garantir as seguintes condições: (i) definição clara e plausível dos
objetivos e resultados esperados do programa; (ii) identificação de indicadores relevantes de
desempenho, que possam ser obtidos a um custo razoável; e (iii) compreensão, por parte dos
gestores do programa, com o que está proposto no modelo lógico.
Atendidas essas condições, o modelo lógico serve como um organizador para desenhar
avaliação e medidas de desempenho, focalizando nos elementos constitutivos do programa e
identificando quais questões devem ser colocadas para avaliação e quais medidas de
desempenho são relevantes.
É importante ressaltar que a construção de uma referência prévia para a avaliação busca
estabelecer consensos para as expectativas dos diversos atores envolvidos. À medida que pontos
prioritários e parâmetros de julgamento são pactuados anteriormente à avaliação propriamente
dita, minimiza-se o risco de divergências quanto ao desenho da avaliação, à interpretação dos
resultados e às recomendações de mudanças no programa avaliado.
Cabe ressaltar que desde 2006 o Governo Federal, por meio de orientações do Ministério
do Planejamento, Desenvolvimento e Gestão, solicitou do IPEA, a adoção de uma metodologia
se que se aplicasse a qualquer tipo de programa do Plano Plurianual (PPA) e estivesse focada
no aperfeiçoamento de aspectos relacionados ao desenho e gerenciamento de programas, como
um procedimento necessário para preparar avaliações de resultados das ações de governo.
O trabalho desenvolvido resultou na produção de um roteiro básico para elaborar um

modelo lógico de programa, orientação metodológica que veio a ser incorporada ao Manual de
52
Elaboração de Programas do PPA 2008-2011 e que ainda predomina nos ciclos posteriores,
como se observa no Guia para Monitoramento e Avaliação do PPA 2016-2019 do Ministério
do Planejamento, Desenvolvimento e Gestão.
Não obstante haver no caso brasileiro tal normatização por parte do Ministério do
Planejamento e outras relacionadas aos relatórios de prestação de contas e auditorias emanadas
pelos órgãos de controle interno e externo, na sua forma mais simples, os julgamentos sobre a
utilidade de uma avaliação são feitos com base na medida em que os stakeholders do programa
consideram os processos e produtos de avaliação valiosos para atender suas necessidades
(YARBROUGH et al., 2010 apud ALKIN; KING, 2017).
Para Serpa (2014), é possível depreender por meio do estudo da evolução do campo da
avaliação, que são as abordagens avaliativas e a sua reiterada aplicação à prática, que embasam
e modelam os propósitos da avaliação, definindo seus pressupostos epistemológicos e
disseminando a cultura avaliativa. Esses elementos são, ainda, estruturantes dos sistemas de
avaliação e, consequentemente, da avaliação de programas, conforme demonstrado a seguir:
2.4 SISTEMAS DE AVALIAÇÃO
Segundo Jannuzzi (2012), sistemas de avaliação são parte de sistemas mais gerais de
gestão de políticas e programas, aos quais se articulam, recebendo deles demandas de dados
necessários ao processo e retroalimentando-os com oferta de informação e conhecimento
“customizado”, do diagnóstico à avaliação de natureza mais somativa”.
Serpa (2014) sustenta que por serem “sub-rotinas especializadas de sistemas mais
amplos de gestão, a investigação da maturidade e institucionalização dos sistemas de avaliação
parece depender menos da existência de leis, normas ou estruturas formais que regulamentem
a necessidade e formato dos instrumentos de monitoramento e avaliação e mais da evidenciação
de que existem práticas sistemáticas de gestão da informação para produzir conhecimento –
pertinente, específico e tempestivo – e seu uso efetivo nas decisões gerenciais e políticas
presentes no cotidiano do técnico e dirigente público.”
53
Figura 5 – Principais elementos institucionalização sistemas de avaliação
Institucionalização Sistemas de Avaliação
Demandas de dados e Pertinente Aperfeiçoamento

informações para gestão de Gestão
Específico
políticas e programas
Transparência
Utilização
Julgamento Mérito
Práticas Sistemáticas de Gestão Conhecimento
da Informação Política/Programa
Fonte: SERPA, 2014.
Com base nessas considerações, pode-se depreender que a institucionalização dos

sistemas de avaliação está condicionada a existência de demandas regulares de informações
para o aperfeiçoamento da gestão de políticas e programas, para cujo atendimento são
produzidos conhecimentos específicos por meio de práticas sistemáticas de gestão da
informação, com vistas a sua utilização nos processos decisórios políticos e administrativos.
Tem-se, portanto, que os sistemas de avaliação apresentam características e propósitos que
permitem distingui-los dos demais sistemas que integram o ciclo de gestão de políticas e
programas governamentais. (SERPA, 2014)
Leeuw e Furubo (2008) apud Serpa (2014) definiram quatro critérios para caracterizar
um sistema de avaliação, a partir de um conjunto de práticas avaliativas. O primeiro critério diz
respeito a existência de uma perspectiva epistemológica distinta; o segundo trata dos arranjos,
ou seja, para que as atividades de avaliação sejam consideradas um sistema, devem ser
executadas por avaliadores dentro de estruturas organizacionais e instituições e não só (ou em
grande parte) por avaliadores autônomos, externos à organização. O terceiro critério é a
continuidade, que indique a permanência dessas atividades ao longo do tempo; e o por fim, o
quarto critério se refere ao planejamento da utilização dos resultados das avaliações.
Nesse sentido, os sistemas de avaliação são caracterizados por meio dos mecanismos
que definem um fluxo regular e contínuo de demandas, que orientam um conjunto de práticas
avaliativas formalizadas, estruturadas e coordenadas, com vistas a produzir tempestivamente
54
informações para influenciar os processos decisórios e de aprendizagem, com o objetivo de

contribuir para o aperfeiçoamento da governança e da accountability dos programas e políticas
públicas, conforme modelo abaixo:
Figura 6 – Modelo de análise de sistemas de avaliação
Fonte: Serpa, 2014.
No entanto, quando Leeuw e Furubo (2008) se referem ao critério relativo a uma

perspectiva epistemológica distinta para caracterizar um sistema de avaliação, eles expressam
o entendimento de que as atividades executadas no âmbito desses sistemas, para produção do
conhecimento avaliativo, têm de ser caracterizadas com base em uma certa perspectiva cultural-
cognitiva comum. Isto significa que dever haver algum consenso, entre os atores envolvidos,
sobre o que eles estão fazendo de fato e por que estão fazendo, de forma a delinear a identidade
do sistema, ou seja, o tipo de sistema de avaliação, que será estruturado e caracterizado, não
apenas pelo conhecimento por ele produzido, mas também pelo propósito ao qual se destina.
Serpa (2014) salienta então que as atividades avaliativas, para que possam ser caracterizadas
como sistema, tem de ser reconhecidas como tal e diferenciadas das outras atividades realizadas
pelos indivíduos dentro de um determinado contexto, tendo por base um entendimento
compartilhado das peculiaridades, regras e procedimentos que caracterizam essas atividades.
Segundo March (1994), as atividades dentro das organizações são definidas a partir de um
conjunto de competências, responsabilidades e regras (formais e informais) que lhes dão
identidade e possibilitam que possam ser coordenadas e controladas.
55
Assim, de acordo com a definição de Scott (1998) apud Serpa (2014), segundo a qual
as instituições consistem nas estruturas e atividades cognitivas, normativas e regulativas que
asseguram estabilidade e significado para o comportamento social, pode-se depreender que para
a institucionalização dos sistemas de avaliação é necessário que esses três elementos (cognitivo,
normativo e regulativo) estejam presentes de forma a prover a sustentabilidade e os ambientes
propícios para que as atividades avaliativas possam ser definidas, implementadas e utilizadas,
com impacto direto no desenvolvimento da capacidade avaliativa.
2.5 AVALIAÇÃO DE PROGRAMAS / AÇÕES
A gestão de resultados requer um sistema abrangente de medição de desempenho e

avaliação de programas. Juntas, essas atividades avaliativas têm o potencial de fornecer uma
visão clara do progresso de um programa em direção a resultados predeterminados - "na
verdade, monitoramento e avaliação são vistos como práticas essenciais de criação e
gerenciamento de conhecimento para qualquer organização de alto desempenho" (HUNTER;
NIELSEN, 2013). Embora os objetivos da avaliação do programa e da medição do desempenho
sejam semelhantes, suas práticas reais diferem em natureza e escopo. Simplificando, a avaliação
do programa determina periodicamente até que ponto os objetivos do programa foram
alcançados e por que um programa (ação) ou política funcionou ou não como pretendido. A
medição contínua do desempenho (ou monitoramento do programa) visa demonstrar o que está
ocorrendo em termos de resultados e impactos, e não por que ou como eles ocorreram; no
entanto, gera questões que podem ser respondidas através de avaliações periódicas (YANG:
HOLTZER, 2006).
A natureza complementar da avaliação e medição de desempenho é reconhecida há
muito tempo. Hatry (2013) fornece distinções úteis entre esses conceitos; no entanto, ele
enfatiza que o "objetivo essencial da avaliação do programa e da medição do desempenho é
fornecer informações para que os servidores públicos os ajudem a melhorar a eficácia e a
eficiência dos serviços públicos"
Vários benefícios organizacionais são acumulados quando avaliação e medição de

desempenho são usadas de maneira complementar. Primeiro, o suporte à decisão 'em tempo
real' (fornecido através de dados de desempenho oportunos) permite que os avaliadores
enfoquem questões fundamentais de contribuição e realização de resultados. Em segundo lugar,
o acúmulo de conhecimento dos dados de avaliação e desempenho ao longo do tempo fornece
56
às organizações a capacidade de realizar metanálises no nível do instrumento de política, em

vez de no nível do programa individual. Tais análises são muito mais poderosas do que
avaliações individuais e relatórios de desempenho. Em terceiro lugar, como mencionado
anteriormente, os sistemas de medição permitem que as avaliações sejam calibradas com base
na necessidade informacional e, assim, concluídas em tempo hábil. Finalmente, a forte
capacidade de medir o desempenho contribui para o desenvolvimento de um clima de
aprendizado na organização que é altamente valioso para a avaliação. As decisões podem ser
tomadas com base em evidências e a organização pode demonstrar responsabilidade e promover
o aprendizado para iniciativas futuras.
O movimento de accountability exigiu que as organizações públicas, inclusive as

escolas, provassem sua eficácia, e a avaliação de programa é uma abordagem eficaz para medir
o desempenho e melhorar os programas educacionais e responder às demandas de
accountability (NEVO, 2009 apud CHENG; KING, 2017)
Na medida em que o governo brasileiro institucionaliza a accountability e adota a gestão

de riscos como instrumento de governança, na implementação dos controles internos da gestão,
a alta administração, bem como os servidores da organização, deverão observar os componentes
da estrutura de controles internos, quais sejam:
I - Ambiente de controle: é a base de todos os controles internos da gestão,

sendo formado pelo conjunto de regras e estrutura que determinam a qualidade
dos controles internos da gestão. II – Avaliação de risco: é o processo
permanente de identificação e análise dos riscos relevantes que impactam o
alcance dos objetivos da organização e determina a resposta apropriada ao
risco. III – Atividades de controles internos: são atividades materiais e
formais, como políticas, procedimentos, técnicas e ferramentas,
implementadas pela gestão para diminuir os riscos e assegurar o alcance de
objetivos organizacionais e de políticas públicas. (INSTRUÇÃO
NORMATIVA CONJUNTA MP/CGU nª 01/2016)
De acordo ainda com a norma, inclui-se no âmbito dos princípios da boa governança, a
serem seguidos pelos órgãos públicos: i) accountability: obrigação dos agentes ou organizações
que gerenciam recursos públicos de assumir responsabilidades por suas decisões e pela
prestação de contas de sua atuação de forma voluntária, assumindo integralmente a
consequência de seus atos e omissões; ii) integridade: tem como base a honestidade e
objetividade, elevando os padrões de decência e probidade na gestão dos recursos públicos e
das atividades da organização, com reflexo tanto nos processos de tomada de decisão, quanto
na qualidade de seus relatórios financeiros e de desempenho.
57
O papel da avaliação ganha destaque no atendimento a tais princípios, uma vez a função
avaliativa é requerida no alcance de ambos.
Para Shulha et al. (2015), é fundamental ressaltar que indivíduos e grupos cujas
experiências, idéias e sentimentos são fundamentais para responder às questões de avaliação
também são stakeholders. Colaboradores que orientem aqueles que proveem dados a ver a
importância do seu papel e a lógica das ferramentas de coleta de dados podem ser necessários.
Com efeito, ampliará a probabilidade de que os instrumentos de coleta de dados funcionem
como pretendido e até mesmo desenvolver capacidade avaliativa nos próprios colaboradores.
No que tange à avaliação de programas, Chen (2005) desenvolveu uma taxonomia para
avaliação, com vistas a orientar o avaliador na seleção da estratégia mais adequada para atender
as necessidades dos stakeholders. Segundo o autor, uma taxonomia de avaliação é uma
ferramenta importante para auxiliar na caracterização das necessidades da avaliação,
focalizando suas atividades e adequando os meios disponíveis às necessidades e à realidade do
programa (CHEN, 2005). A taxonomia é estruturada a partir dos propósitos da avaliação e
segundo os estágios do programa, para os quais são relacionadas as estratégias e as abordagens
de avaliação pertinentes, conforme apresentadas no quadro 5.
Quadro 5 – Taxonomia para avaliar os meios e os fins dos programas

ABORDAGENS DE
ESTÁGIOS DO PROGRAMA E ESTRATÉGIAS
AVALIAÇÃO
PROPÓSITOS DA AVALIAÇÃO DE AVALIAÇÃO
continua
Fornecer Análise de necessidades
informações sobre os
antecedentes Pesquisa Formativa
Facilitação do
Estágio de Planejamento do Programa Facilitação da conceitualização
desenvolvimento
Fornecer informações e assistência para
auxiliar os stakeholders no Mapa de conceito
desenvolvimento da racionalidade e Teste de relevância
Troubleshooting
plano do programa Teste piloto
Comentário ou conselho
Desenvolvimento de Avaliação de empowerment
parcerias bilateral
Avaliação formativa
Estágio Inicial de Implementação Troubleshooting
Fornecer informações tempestivas sobre Revisão do programa
os problemas de implementação e os
meios para auxiliar os stakeholders a
Desenvolvimento de Avaliação de empowerment
solucionar os problemas e estabilizar o
parcerias bilateral
programa
58
ABORDAGENS DE
ESTÁGIOS DO PROGRAMA E ESTRATÉGIAS
AVALIAÇÃO
PROPÓSITOS DA AVALIAÇÃO DE AVALIAÇÃO
conclusão
Estágio Maduro de Implementação Avaliação formativa
Fornecer informações sobre os Revisão do programa

Troubleshooting
problemas de implementação e as fontes
para aperfeiçoar a implementação do Facilitação da conceitualização
processo Mapa de conceito
Analisar a qualidade da implementação
Análise de Avaliação de
para atender as necessidades de
desempenho Fidelidade/Conformidade
accountability
Monitoramento do
Monitorar o processo de implementação Monitoramento do processo
desempenho
Análise holística da implementação do Análise de Avaliação de processo focado na
processo Enlightenment teoria
Estágio do Impacto
Facilitação do
Analisar se o programa está pronto Análise de avaliabilidade
desenvolvimento
para avaliação do impacto
Monitorar o progresso dos impactos do Monitoramento do
Monitoramento do impacto
cliente desempenho
Avaliação de eficácia
Análise de
Analisar os efeitos no impacto desempenho
Avaliação de efetividade
Análise holística dos efeitos do programa

para atender a accountability e as Análise de Avaliação de impacto focado na
necessidades de aperfeiçoamento do Enligtenment teoria
programa
Fonte: Chen, 2005.
Quando se trata de avaliação, na visão de Simões (2015), deve-se aferir um “quem”

avalia e “o quê” se avalia. Um programa governamental, também caracterizado como
intervenção (ver Figura 7), pode ser considerado:
um sistema organizado de ação que visa, em um determinado ambiente e

durante um determinado período, modificar o curso previsível de um
fenômeno para corrigir uma situação problemática. (CHAMPAGNE et al.,
2011).
59
Figura 7 – Intervenção e seus componentes
Fonte: CHAMPAGNE et al., 2011.
De acordo com CHAMPAGNE et al. (2011), uma intervenção é composta de uma

estrutura, atores, processos, finalidades e um ambiente onde ocorrem. A estrutura de uma
intervenção compreende os recursos financeiros (crédito, fundo público, doações), técnicos
(tecnologia, conhecimento técnico, informação), físicos (pessoal, equipamentos, mobiliários,
instalações) e organizacionais (normas e regulamentos, poder, valores, cultura de trabalho) com
os quais contam os atores responsáveis pelo seu desenho e implementação. Os atores operam
na estrutura, mobilizando recursos na produção de bens e serviços por meio de processos de
trabalho com o propósito de alcançar objetivos de mudança (finalidades). As características,
intenções, interesses e convicções dos atores moldam as intervenções na interação com o
contexto. A ação desencadeada modifica situações ou tendências indesejáveis produzindo um
efeito de mudança de trajetória que transforma a situação problemática em situação objetivo.
As intervenções ocorrem sempre em um contexto que possui uma história e um ordenamento
institucional que condicionam a eficácia da intervenção.
As intervenções se dão em geral em estruturas hierárquicas ou multinível, nas quais as

ações são aninhadas em diferentes níveis da organização social ou de suas instituições
assumindo denominações específicas a depender do nível em que são observadas: política,
plano, programa, ação, projeto, atividade etc. O exemplo da FIGURA 8 ilustra a estrutura
hierárquica de intervenção no contexto do sistema educacional. Uma política nacional, por
exemplo, é implementada visando modificar o sistema educacional, a partir de um conjunto de
programas que incidem sobre os sistemas de ensino (municipais e estaduais) a partir dos quais
ações são desencadeadas cujo foco é a mudança da realidade escolar, de suas práticas e
resultados, para o que concorrem projetos e atividades desenvolvidos por professores e equipe
pedagógica da escola afetando o que ocorre na sala de aula na relação de aprendizagem.
60
Figura 8 – Exemplo de estrutura hierárquica de uma intervenção
Fonte: CHAMPAGNE et al., 2011.
Simões (2015) explica que o desenvolvimento de um programa ou ação tem, em todas

as suas fases, relação com diferentes dimensões de avaliação que instruem e contribuem com o
processo de sua elaboração e execução. Programas e políticas surgem da identificação e seleção
de problemas, demandas ou oportunidades de desenvolvimento, são propostas na fase de
planejamento e desenho, entram em execução e são avaliadas quanto aos seus impactos e custos
de implementação. Em todas essas etapas do ciclo de vida dos programas e políticas, a avaliação
é parte fundamental, devendo ser permanente, e assume diferentes propósitos, tendo sempre a
finalidade de aperfeiçoar os programas e políticas para potencializar os seus resultados.
O planejamento e desenho de programas compreendem: o processamento da realidade

(problema) sobre a qual se quer intervir (descrição, análise causal, simulações, projeções etc);
análise das opções de intervenção e desenho preliminar de intervenções alternativas com a
definição das finalidades e objetivos, do público-alvo, dos meios para implementação
(adotando-se a eficiência como critério de escolha) e do plano de avaliação que presidirá as
atividades avaliativas em todas as fases do programa e, por fim, a definição política de qual
intervenção adotar.
A implementação tem início com a mobilização dos recursos necessários (insumos) para
a execução do programa e se orienta para gerar os resultados esperados a partir do desenho do
programa.
61
Para o autor, a avaliação, parte integrante de todo o ciclo de vida do programa tem, após
a implementação da intervenção, a função de verificar se os resultados sociais pretendidos pelo
programa foram atingidos (conforme Figura 9). Por meio dos impactos e custos implicados na
execução do programa pode-se avaliar a utilidade real do programa na solução ou intercâmbio
dos problemas selecionados, a ponto de concluir se tal intervenção deve continuar ou se chegou
ao seu fim.
Figura 9 – Modelo linear do ciclo da política pública
Fonte: elaborado a partir de De Souza e Sechi, 2015.
2.5.1 Avaliação e medição de desempenho de programas e suas relações com a

capacidade avaliativa organizacional
Alguns dos modelos de capacidade avaliativa a serem analisados na seção seguinte

integram a medição de desempenho como parte das atividades, recursos e sistemas que
suportam a capacidade avaliativa organizacional. Bourgeois (2016) explorou como cada um
desses modelos e instrumentos aborda a medição do desempenho e como eles são teorizados
para apoiar o ECB. Para tanto, foram selecionados cinco modelos e instrumentos de EC / ECB
publicados recentemente. Em seguida, analisamos cada modelo para identificar componentes
relacionados à medição de desempenho ou coleta de dados contínua.
Apenas um dos cinco modelos, o de Bourgeois e Cousins (2013), identifica

especificamente a medição ou o monitoramento de desempenho como um componente da
capacidade avaliativa organizacional. No entanto, todos os cinco modelos analisados incluem
alguma menção a processos, sistemas e recursos alocados para a coleta de dados ou para uma
análise de dados mais ampla que seja semelhante ao monitoramento dos resultados do
programa. Por exemplo, Preskill e Boyle (2008) incluem um "sistema integrado de gestão de
conhecimento" destinado a garantir que "o sistema de avaliação esteja alinhado com os outros
sistemas de coleta de dados da organização", o que pode incluir a medição do desempenho.
Além disso, tal sistema integrado de gestão do conhecimento está claramente vinculado ao
modelo para o desenvolvimento da capacidade avaliativa organizacional. A prática de avaliação
62
sustentável depende, em muitos aspectos, da capacidade da organização de criar, capturar,

armazenar e disseminar dados e documentos relacionados à avaliação. Isso supõe, por exemplo,
que os dados de medição de desempenho, acessíveis por meio deste sistema de gestão do
conhecimento, poderiam contribuir significativamente para a avaliação, reduzindo a
necessidade de coleta de dados primários como parte das avaliações. Taylor-Ritzler et al. (2013)
também enfocam os recursos tecnológicos necessários para conduzir a avaliação e sua
capacidade de apoiar a equipe na compilação e análise de dados de avaliação. Na mesma linha,
Nielsen et. al (2011) identificam um componente de tecnologia em seu modelo que inclui
software de monitoramento. Embora não incluam especificamente um sistema de gestão do
conhecimento, o software de monitoramento pode apoiar atividades relacionadas à captura,
processamento e disseminação do conhecimento avaliativo.
Quadro 6 – Integração de medição de desempenho em instrumentos e modelos de

desenvolvimento de capacidade avaliativa.
MODELO / INSTRUMENTO COMPONENTES DE MEDIÇÃO DE DESEMPENHO

Preskill e Boyle (2008)
■ Modelo multidisciplinar que se concentra na construção da
EC e suas principais características.
■ Sistema integrado de gestão do conhecimento que é complementar
em vez de duplicar os esforços de avaliação.
Labin et al. (2012)
■ Modelo integrativo do ECB que inclui atividades e
processos-chave para construir a EC.
■ Refere-se a políticas, práticas e processos necessários para conduzir
e usar a avaliação - a medição do desempenho pode ser incluída
aqui.
■ O uso de dados é destacado como um dos meios pelos quais a
cultura avaliativa pode ser desenvolvida em uma organização.
Nielsen et al. (2011)
■ Instrumento e modelo conceitual baseado na oferta e
demanda de avaliação.
■ Inclui um componente de tecnologia que se refere
principalmente ao software de monitoramento
Taylor-Ritzler et al. (2013)
■ Instrumento baseado em Suarez-Balcazar et al. (2010) para uso
em organizações sem fins lucrativos.
■ Recursos é uma das principais dimensões do instrumento e inclui a
tecnologia necessária para compilar informações em um modelo
computadorizado.
■ Modelo conceitual da capacidade avaliativa organizacional.
■ Várias dimensões mencionam especificamente a medição de
desempenho, como coleta de dados contínua; infraestrutura
organizacional; vínculo organizacional entre setores; gestão
orientada para resultados; uso no processo.
Fonte: Bourgeois, 2016.
63
A análise de múltiplos instrumentos e modelos de capacidade avaliativa para identificar

elementos específicos de complementaridade oferece uma nova maneira de observar como a
avaliação e medição do desempenho se interseccionam numa organização - no núcleo das
iniciativas do ECB está o desejo de criar um clima organizacional que valorize a aprendizagem
e a tomada de decisão baseada em evidências. Essa atitude deve permear todas as interações
que ocorrem na organização; não é um domínio exclusivo dos avaliadores, mas deve ser parte
integrante do desenvolvimento de políticas e do gerenciamento de programas. Assim como a
avaliação, o verdadeiro benefício da medição de desempenho está em sua utilização. Assim
como a avaliação, ainda restam dúvidas sobre se os dados de desempenho são ou não
considerados sistematicamente na tomada de decisões organizacional. Neste ponto, cabe citar
que:
a maior parte dos órgãos governamentais pode coletar dados que sejam ou
possam ser usados para medição de desempenho; no entanto, eles não
possuem um sistema em que esses dados façam parte dos processos de tomada
de decisão e não assumiram um sério compromisso de fazê-lo, quer professem
ou não. (COPLIN et al., 2002, p.699)
Suporte adicional para a falta de uso de medição de desempenho nas organizações é

fornecido por Hatry (2010), quando afirma que não está claro até que ponto os governos usaram
informações de desempenho regularmente para ajudar a orientar as decisões de planejamento,
orçamento e gerenciamento operacional dos órgãos. O uso destas informações parece ser
particularmente fraco, especialmente nos níveis de governo federal e estadual do setor público
dos Estados Unidos. Dado que todos os cinco modelos de capacidade de avaliação integraram
pelo menos um elemento relacionado ao monitoramento do programa ou à coleta de dados
contínua, poderíamos supor que a medição do desempenho pode atuar como um precursor da
capacidade avaliativa. A inclusão explícita de tais medidas em modelos de capacidade de
avaliação organizacional é, na visão de Bourgeois (2016), essencial. Tais modelos devem
considerar os seguintes elementos (entre outros): modelos lógicos e teoria do programa; coleta
de dados qualitativos relacionados a resultados e impactos iniciais; integração de mensuração
de eficiência e sustentabilidade; e programa de manutenção funcionários e gerentes engajados
pelo envolvimento em monitoramento do programa. A análise também leva a inferir que é por
meio do melhor entendimento do papel da medição de desempenho no desenvolvimento da
capacidade avaliativa de uma organização que tanto a avaliação quanto a medição podem ser
ampliados e aprimorados. No entanto, embora tal mensiração possa contribuir de várias
64
maneiras para a construção da capacidade avaliativa, a complementaridade tem seus limites e

depende muito da medida em que a medição do desempenho foi estabelecida na organização.
Assim como a medição mostrou contribuir para o desenvolvimento da capacidade

avaliativa, o oposto também é verdadeiro. De acordo com De Lancer Julnes (2013), a avaliação
pode contribuir para a capacidade de monitoramento de várias formas.
2.6 CAPACIDADE AVALIATIVA
Após uma revisão aprofundada sobre a literatura relacionada à Capacidade Avaliativa,

pode-se utilizar do conceito construído por Stockdill, Baizerman e Compton (2002) para definir,
com amplo consenso entre os demais teóricos (BOURGEOIS; COUSINS, 2008. PRESKILL;
BOYLE, 2008. NIELSEN et al., 2011), o Desenvolvimento da Capacidade Avaliativa ou
Evaluation Capacity Building (ECB), segundo os quais:
ECB é um sistema de ação contexto-dependente, de processos e práticas

intencionais, orientado para propiciar e sustentar um estado de coisas em que
a continuidade e regularidade das relações entre a realização de avaliações de
programas de qualidade e a sua adequada utilização, dentro e/ou entre uma ou
mais organizações/programas/locais, são comuns e práticas continuas.
(STOCKDILL, BAIZERMAN E COMPTON, 2002, p. 8)
Quadro 7 – Descritores do conceito de desenvolvimento de capacidade avaliativa (evaluation

capacity building – ECB)
DESCRITORES DO CONCEITO DE EVALUATION CAPACITY BUILDING

continua
Contexto-dependente “se” e “como” o ECB é realizado depende das realidades de cada
organização específica.
Sistema de ação intencional ECB é feito em uma organização, programa ou local, juntando-se as
equipes em colaboração contínua e em outras formas de alianças e
relações políticas que, ao longo do tempo, mostram regularidades
que podem ser apresentadas como sistemas intencionais.
65
DESCRITORES DO CONCEITO DE EVALUATION CAPACITY BUILDING

conclusão
Guiado refere-se a facilitar a criação e sustentação do sistema de ação do
ECB; no entanto, os praticantes do ECB raramente controlam
completamente o processo do ECB; eles devem co-criar
continuamente oportunidades para isso.
Processos intencionais todo o esforço intencional para criar e manter um sistema de ação do
ECB.
Práticas proceder maneiras diárias de realizar o ECB
Trazer à tona criar e sustentar a situação em que as avaliações serão usadas agora
e no futuro. Sustentar o ECB é um projeto nunca concluído
Estado de coisas (situação) tudo o que é aparentemente necessário em uma particular
organização para o trabalho de avaliação ser feito e usado. Isso inclui
infraestruturas organizacionais ou de programas, normas sociais e
práticas; significados culturais e discursos; praticantes
adequadamente conhecedores e qualificados; e os outros recursos,
estruturas, políticas, regras, processos e práticas de avaliação de
qualidade.
Dentro e/ou entre um ou contextos e programas intra e interorganizacionais, bem como locais
mais organizações, como comunidades, parceiros colaborativos ou outras coletividades
programas e locais ou formações sociais.
Avaliação de Qualidade avaliação do programa significa modelos e práticas aceitos
Usos adequados múltiplas formas em que uma avaliação pode ser usada ao longo do
tempo pelos stakeholders, incluindo uso conceitual, instrumental ou
no processo.
Práticas comuns Prática institucionalizada como maneira comum de se fazer as coisas
Fonte: Stockdill et al., 2002.
MacKay (2002), entretanto, vai além dessa conceituação e afirma que o ECB deve ter
um alcance mais amplo e se tornar uma pedra angular para garantir que o conhecimento de
monitoramento e avaliação seja aplicado como parte de uma governança pública sólida. Neste
sentido, o autor apoia uma linha de discussão também proposta por outros (JULNES, 2006;
MAYNE; RIST, 2006; NIELSEN; EJLER, 2008; RIST, 2006 apud NIELSEN, 2011), segundo
o qual o escopo de avaliação e a prática devem ser ampliadas, deixando de consistir meramente
de estudos para tornar-se um fluxo de conhecimento avaliativo, além da aplicação do último
66
(prática) em governança pública sólida. Capacidade avaliativa, segundo o autor não deve apenas
gerar estudos de avaliação de programas de alta qualidade, mas também se engajar em práticas
mais amplas que produzam e apliquem conhecimentos avaliativos integrados a todo o ciclo de
políticas. Indiscutivelmente, então as diferentes concepções e propósitos de EC / ECB são, pelo
menos em parte, decorrentes de diferentes interpretações do papel e finalidade da avaliação
como: (a) uma ferramenta de gestão nas organizações, (b) como ferramenta de pesquisa para a
compreensão das intervenções na sociedade e / ou (c) como ferramenta de prestação de contas.
Schaumburg-Müller (1996) definem ECB com uma abordagem ampla, a qual inclui
atividades que fornecem suporte para sistemas de avaliação, auditoria, feedback e aprendizado
de programas ou projetos realizados em vários níveis, principalmente no setor público. Embora
o conceito seja definido de forma ampla, exclui atividades destinadas exclusivamente de
planejamento e avaliação. Além disso, o foco se concentra em atividades, que não são apenas
de natureza temporária, mas têm como objetivo apoiar uma função de avaliação sustentável.
Para Boyle et al. (1999), o regime de avaliação refere-se à configuração da capacidade

de avaliação, prática de avaliação, arranjos organizacionais e institucionalização. O
desenvolvimento da capacidade avaliativa refere-se a atividades e iniciativas tomadas para
implementar tal regime.
Na medida em que o ECB é orientado para tais arranjos, culturas e práticas intra-
organizacionais, segundo Stockdill et al. (2002) uma grande ênfase deve ser dada à natureza
contínua, aberta e emergente da prática com foco em dois aspectos: sustentabilidade da
avaliação e sua utilização:
i) sustentabilidade. O trabalho do ECB é sobre a sustentabilidade contínua de

apoio das estruturas organizacionais, culturas e práticas diárias. ECB inclui o
aspecto de "construção" da institucionalização e o aspecto de centralização do
processo de integração. ECB, ao contrário da maioria das práticas de
avaliação, não é linear nem sequencial, com um único produto final. Sustentar
ECB requer fazer muitas tarefas, fases e etapas do trabalho fora de ordem,
como em um "jogo infinito" (CARSE, 1986) de regras e jogadores sempre
emergentes. ii) Usos. ECB abrange as várias maneiras pelas quais as
avaliações dos programas podem ser usadas por partes interessadas e outros
ao longo do tempo. O principal ponto é que o uso de uma avaliação não precisa
ser uma atividade única, mas pode se tornar um processo contínuo de vários
participantes, no presente e no futuro (STOCKDILL et al., 2002, p.13)
67
Ou seja, o conceito de ECB é bastante distinto da capacidade organizacional para

avaliação, pois exige natureza contínua e, deste modo, sustentabilidade. Para Bourgeois e
Cousins (2008), a capacidade para avaliar pode ser geralmente definida como processos de
avaliação visíveis e organizados da organização, enquanto o ECB é o processo pelo qual uma
organização desenvolve sua compreensão e capacidade de realizar essas práticas e processos.
E é a partir desta visão da compreensão para realizar as práticas que Preskill e Boyle
(2008) associam a construção da capacidade aos níveis individual e organizacional, diferindo
ou ampliando em parte o conceito-base de Stockdill et al. (2002).
Nielsen et al. (2011), após finalizar sua pesquisa sobre o índice de capacidade avaliativa
nos governos locais da Dinamarca, parafraseou Stockdill et al. (2002) para sustentar que a
capacidade avaliativa refere-se à capacidade de uma organização de trazer, alinhar e sustentar
seus objetivos, estrutura, processos, cultura, capital humano e tecnologia para produzir
conhecimento avaliativo que informa as práticas em andamento e a tomada de decisões para
melhorar a eficácia organizacional.
A partir de uma síntese da literatura sobre desenvolvimento de capacidade avaliativa, a

qual incluiu uma análise de diversos frameworks e abordagens, Labin et al. (2012) apontam
que o desenvolvimento da capacidade avaliativa (ECB) é um processo intencional para
aumentar a motivação individual, o conhecimento e as habilidades e para melhorar a capacidade
de um grupo ou organização para realizar ou usar a avaliação.
Para Stockdill et. al. (2002), o ECB é constituído por três elementos estruturais: o
processo geral, as práticas reais, a orientação profissional e o papel do profissional:
Figura 10 – Elementos estruturais do ECB
Práticas atuais
Processo Geral
ECB
Orientação e papel dos praticantes
Fonte: Stockdill et al. (2002)

68
A partir dos três elementos estruturais do diagrama é possível questionar quais as

diferenças ou complementariedade entre a Avaliação de Programas e Evaluation Capacity
Building (ECB), considerando que são duas formas de realizar trabalhos avaliativos no âmbito
de uma organização. No quadro seguinte, é apresentada uma perspectiva comparada em torno
destes dois conceitos:
Quadro 8 – Perspectiva comparada entre avaliação de programa (program evaluation) e

desenvolvimento de capacidade avaliativa (evaluation capacity building)
AVALIAÇÃO DE PROGRAMA ECB

A avaliação do programa é um processo de ECB é um sistema de ação intencional e
uso sistemático de um modelo reconhecido dependente do contexto de processos e
Processo Geral
de acordo com os padrões mínimos práticas guiadas para criar e sustentar um
estabelecidos pelo órgão controlador para estado de coisas em que a avaliação do
completar um estudo de avaliação de programa de qualidade e seus usos
programa acordado. apropriados são práticas comuns e
contínuas dentro e/ou entre um ou mais
organizações/programas/locais.
Avaliações de programas de qualidade Processos e práticas orientadas em curso

com utilização de modelos aceitáveis (por para criar e sustentar um estado de coisas
Práticas atuais
exemplo, Stufflebeam, 2001). em que a avaliação do programa de
qualidade e seus usos apropriados são
práticas comuns e contínuas dentro e/ou
entre um ou mais organizações / programas
/ locais
Orientação ocupacional para Orientação ocupacional para tentar
realizar um estudo e melhorar seus manter a avaliação como uma parte
Orientação
prováveis usos de acordo com a administrativa diária necessária da
Ocupacional e
norma da disciplina / profissão / estrutura, cultura e prática de trabalho
Papel do
campo. interna de uma organização e em
Praticante da
relação a outras entidades em seu
Avaliação
ambiente organizacional.
Fonte: Stockdill et al., 2002
A partir do quadro anterior, os autores explicam que a capacidade de uma organização

em realizar a avaliação de um programa não implica necessariamente em que tenha capacidade
avaliativa.
69
Para que o desenvolvimento da capacidade avaliativa tenha sucesso, diversos autores

trazem em suas pesquisas uma série de premissas (vide Quadro 9), que segundo os mesmos, se
atendidas, aumentam consideravelmente a probabilidade de êxito da iniciativa:
Quadro 9 – Síntese das premissas para o ECB

QUADRO-SÍNTESE - PREMISSAS PARA ECB
continua
AUTOR(ES) PREMISSAS
Schaumburg-Müller, 1996 O teste final da eficácia de um sistema de avaliação e, portanto, também da
assistência do ECB é se ele está sendo usado de forma efetiva e contribuindo para
os processos de tomada de decisão no nível para o qual o sistema foi projetado. A
menos que exista uma demanda e uso dos resultados da avaliação, a
sustentabilidade não será alcançada.
Stockdill et al., 1999 ECB requer uma ampla base de partes interessadas para criar e gerar sua
sustentabilidade.
Hauge, 1998 A ênfase não deve ser excessiva nas necessidades e interesses dos financiadores
do programa, com exclusão de outras partes interessadas.
Stockdill et al., 1999 ECB requer uma demanda ampla. A demanda é usada tipicamente como objetivo,
fonte para avaliação e ECB.
Stockdill et al, 1999 Demanda e propósitos da avaliação devem ser compatíveis. O ECB é mais eficaz
quando há alinhamento entre a fonte e o tipo de demanda e ao propósito da
avaliação (voltada para responsabilização, melhoria do programa ou aprendizagem
ou uma combinação destes) em um processo transparente e negociado.
Stockdill et al, 1999 ECB é um processo político no contexto de organizações e comunidades.
Hague, 1998 ECB necessita de uma base de objetivos e clientes, como resultado de uma
necessidade prática.
Stockdill et al., 1999 ECB trabalha na identificação e integração de atividades de avaliação em vários
níveis e múltiplos sistemas.
Stockdill et al., 1999; Mackay, 1999 ECB efetivo requer uma ampla variedade de abordagens e metodologias de
avaliação.
Stockdill et al., 1999; Boyle, 1999 ECB necessita de recursos financeiros e humanos.
Schaumberg-Müller, 1996;
Arnold, 2006; Taut, 2007; Labin,
2012
Stockdill et al., 1999 ECB requer flexibilidade, atenção e elaboração para múltiplos contextos.
ECB é profundamente contextual em termos de estrutura, cultura, recursos,
política e ideologias da organização, programa ou local.
Torres e Preskill, 2001 O ECB bem-sucedido depende da flexibilidade dos papéis organizacionais, uma
vez que os indivíduos devem poder afastar-se de suas principais responsabilidades
para participar de atividades avaliativas.
70
QUADRO-SÍNTESE - PREMISSAS PARA ECB

conclusão
AUTOR(ES) PREMISSAS
Goh, 2003 A cultura de uma organização envolvida no ECB deve incentivar o questionamento
de processos organizacionais e experimentação de novas abordagens.
King, 2002; Goh, 2003; O apoio gerencial é necessário para a implementação e sustentabilidade da
Cousins et al.., 2004 capacidade avaliativa dentro de uma organização.
Preskill e Boyle, 2008 ECB normalmente ocorre com uma ampla gama de membros organizacionais.
Preskill e Boyle, 2008 ECB deve recorrer a outras teorias sobre: (a) avaliação; (b) aprendizagem de
adultos; (c) aprendizagem no trabalho; (d) mudança individual e (e) mudança
organizacional.
Taut, 2007 ECB necessita de investimento em tempo dedicado à prática
Nielsen et al., 2011 Financiamento é um pré-requisito para a realização de avaliações de qualidade no
contexto do ECB.
Mackay, 2002; Stockdill et al., 2002 Os requisitos de accountability externa muitas vezes criam uma demanda por
Bourgeois e Cousins, 2013 resultados de avaliação
Preskill e Boyle, 2008 Processos, políticas e práticas (PPP) para fazer e utilizar avaliações
Suarez-Balcazar, 2010; Labin, 2012
Milstein e Cotton, 2000; Labin, 2012 Apoio da Liderança é um importante fator para a mudança organizacional e
sucesso do ECB
Preskill e Torres, 1999 Indicadores da Cultura organizacional como valores, atitudes, objetivos e práticas
Cousins et al., 2004 coletivos são essenciais para suporte à mudança organizacional para o sucesso de
Suarez-Balcazar et al, 2010 ECB
Labin, 2012
Labin, 2012 Mainstreaming ou rotinização da avaliação é elemento essencial na
sustentabilidade do ECB.
Milstein e Cotton, 2002 Recursos para suporte à avaliação são necessários para ECB
Preskill e Boyle, 2008
Labin, 2012; Cousins et al., 2014
Cousins et al., 2014 Tornar a avaliação visível com comprometimento administrativo e da liderança
fortalece o ECB.
Cousins et al., 2014 Promover o uso bem-sucedido da avaliação para que os membros da organização
experimentem os benefícios decorrentes dela é importante para a sustentabilidade
do ECB.
Cousins et al., 2014 Promover processos de coaching e mentoring para capacitação das unidades e
pessoas envolvidas com avaliação.
Preskill & Boyle, 2008 Treinamento sempre será parte integral do ECB
Cousins et al., 2014
Bourgeois et al., 2014, 2016 Dados de performance do programa impactam o ECB
Bourgeois et al., 2014 Líderes e campeões de avaliação asseguram recursos adequados para a atividade
avaliativa e promoção do uso
Chen, 2017 Recursos de avaliação, estrutura, dinâmica de poder decisório, políticas e
procedimentos, cultura avaliativa, comunidade local e sistema social conectado.
Fonte: Elaborado a partir dos autores citados no quadro.
71
Compreender a motivação da organização para o engajamento no ECB não apenas

ajuda a determinar se o momento é adequado para tal empreendimento, mas também fornece
informações sobre quem deve participar e quais estratégias de ensino e aprendizagem podem
ser mais benéficas, como demonstra o Quadro 10, a seguir.
Quadro 10 - Síntese das motivações para o ECB
QUADRO-SÍNTESE - MOTIVAÇÕES PARA ECB
AUTOR(ES) MOTIVAÇÕES
Compton et al., 2001; Stevenson et al., 2002 Desejo de buscar um novo ou crescente
financiamento
Compton et al., 2001; Corn et al., 2006 apud Preskyll e Boyle, 2008 Atender aos requisitos externos de prestação de
Gibbs et al., 2002, Katz et al., 2002, Stockdill et al., 2002 apud contas (accountability)
Bourgeois e Cousins, 2013
Compton et al. 2002; Newcomer, 2004 apud Preskyll e Boyle, 2008; Mudanças no ambiente externo que afetam a
Eaton, 2015; Chen, 2017. organização
Mackay , 2002 apud Preskyll e Boyle, 2008 Desejo de esclarecer e apoiar a elaboração e
planejamento de políticas governamentais
Compton et al., 2002; Forss et al., 2006 apud Preskyll e Boyle, 2008 Mudanças na organização (reorganização, nova
liderança ou visão)
Taut, 2007 apud Preskyll e Boyle, 2008 Comando da liderança para aumentar a função
Milstein et al., 2002, Goh, 2003; Cousins et al., 2004 apud Bourgeois e de aprendizagem da avaliação
Cousins, 2013; Bourgeois, 2016.
Donaldson e Gooler, 2003; Brandon e Higa, 2004; Forss et al., 2006 Lacuna percebida de conhecimento e
apud Preskyll e Boyle, 2008 habilidades avaliativas internas
Huffman et al., 2006 apud Preskyll e Boyle, 2008 Percepção de falta de avaliadores com expertise
em conteúdo específico do programa
Gibbs et al., 2002; Solomon e Chowdhury, 2002; Stevenson et al., Desejo de usar a avaliação para melhorar o
2002 apud Preskyll e Boyle, 2008 programa
Stitt-Bergh, 2016. Melhorar a qualidade do programa e cumprir os

requisitos de accountability
Taylor-Ritzler et. al, 2013; Labin, 2014. Melhorar os impactos (resultados) do programa
FONTE: Elaborado a partir dos autores citados no quadro..

72
2.7 MODELOS DE CAPACIDADE AVALIATIVA ORGANIZACIONAL
O impacto do Desenvolvimento da Capacidade Avaliativa (ECB) é a Capacidade

Avaliativa (EC), o que torna uma análise completa da EC importante para a análise do ECB.
Cheng e King (2017) argumentam que, até o momento, muitos estudos têm ofuscado ou deixado
de atender a essa distinção entre EC e ECB, no entanto, em pesquisa conduzida pelos autores
atenta-se sistematicamente à diferença. A análise incluiu estudos que foram publicados antes
de 2015 e que se concentravam explicitamente nas dimensões de EC, bem como no processo
de ECB.
Naccarella et al. (2007) observam que visões diferentes sobre o que está sendo
construído (EC) resultarão inevitavelmente em diferentes conceitualizações de ECB.
Definições de Capacidade avaliativa compartilham características comuns, incluindo tanto a
capacidade de fazer avaliações quanto de usá-las. A capacidade de usar a avaliação geralmente
inclui o uso de achados, bem como o ensino / aprendizagem através do envolvimento de pessoas
na avaliação, isto é, o uso no processo (BOURGEOIS; COUSINS, 2013; KING; VOLKOV,
2005).
Posto de uma forma diferente, alguns autores conceituam EC em termos do lado da

oferta, e outros em termos do lado da demanda, o que implica um equilíbrio necessário entre
ser capaz de fazer e usar a avaliação (COUSINS et al, 2014).
A maior parte das pesquisas foca predominantemente em ECB (KING; VOLKOV,

2005; PRESKILL; BOYLE, 2008; BOURGEOIS et. al., 2008, 2014; LABIN, 2014; SUAREZ-
BALCAZAR; TAYLOR-RITZLER, 2014). Uma revisão desses estudos, segundo Cheng e
King (2017) demostra que todos os acadêmicos identificam a capacidade avaliativa como um
constructo multidimensional. Nielsen et al. (2011) desenvolveram um modelo de EC baseado
em evidências para a administração local dinamarquesa usando quatro dimensões: objetivos,
estruturas e processos, tecnologia e capital humano. Taylor-Ritzler et al. (2013) desenvolveram
um modelo de EC validado para organizações sem fins lucrativos no contexto dos EUA. Nesse
modelo, a capacidade avaliativa apresentava três dimensões: resultados da EC, fatores
individuais e fatores organizacionais, sendo que estes mediam os fatores individuais e os
resultados desta capacidade.
Cousins et al. (2008) propuseram um framework conceitual da capacidade de fazer (to

do) e usar a avaliação (to use). O primeiro elemento incluía requisitos formais, ferramentas /
73
recursos e apoio a práticas de avaliação; o segundo, uso dos achados e uso de processos
avaliativos. Ainda no contexto canadense, Bourgeois e Cousins (2013) ampliaram a capacidade
de fazer e usar a avaliação ao utilizar seis dimensões: recursos humanos, recursos
organizacionais, planejamento e atividades de avaliação, alfabetização de avaliação, integração
com a tomada de decisões organizacionais e benefícios de aprendizagem. Vários estudos
empíricos foram realizados com base nestes dois últimos frameworks (COUSINS et al., 2014;
BOURGEOIS et al., 2015).
A lista de verificação de avaliação institucional de Stufflebeam (2002) já demonstrava

aplicação nos campos relacionados do ECB. Embora projetado para um propósito diferente, a
lista de verificação prescritiva de 18 elementos do autor oferecia uma base de comparação sobre
o que compreende a capacidade avaliativa.
King e Volkov (2005) apresentaram um modelo de ECB que compreendeu três

categorias principais: contexto organizacional, estruturas do ECB e recursos. O modelo foi
desenvolvido através de um trabalho empírico. Para os autores, o contexto organizacional
abrange questões como os requisitos comandados externamente, bem como o contexto interno
sob a forma de itens como apoio da liderança, a presença de um campeão de avaliação e uma
demanda por informações de avaliação, um ambiente interno que incentive a mudança e
contribua suficientemente para tomada de decisões. As estruturas do ECB abrangem itens como
a presença de um plano de ECB, uma infraestrutura para apoiar o processo de avaliação,
treinamento formal e estruturas de aprendizagem entre pares (por exemplo, mecanismos de
feedback, esforços sustentados, etc.). A categoria de recursos inclui treinamento formal, pessoal
qualificado e acesso a bases de pesquisa e conhecimento relevantes. Inclui ainda o apoio à
avaliação de programas através de infraestrutura, financiamento e suporte simbólico.
O modelo ECB de King e Volkov está orientado para os itens que são necessários para
criar capacidade e, portanto, é preciso procurar diferenciar entre os elementos constituintes do
processo de mudança, por exemplo, o apoio da liderança e a presença de campeões de avaliação
e os elementos do que está sendo construído (a capacidade). No entanto, King e Volkov
mencionam uma série de itens que não foram abordados nem por Nielsen et al. (2011) nem por
Stufflebeam (2001), como o acesso a uma base de pesquisa, a presença de um sistema de
rastreamento interno, um sistema para medir necessidades organizacionais, além de uma série
de itens relacionados ao incentivo de uma "cultura avaliativa", como a construção de confiança,
estratégias para aumentar o interesse e o envolvimento e a facilitação da aprendizagem
organizacional.
74
2.7.1 Pesquisa com avaliadores canadenses
Cousins et al. (2008) operacionalizaram um modelo como uma ferramenta de medição

consistindo em um questionário de 125 itens que abrangeu todos os elementos em seu modelo.
O questionário, um instrumento híbrido, usou escalas existentes e também novas escalas
desenvolvidas especificamente para o estudo. Para esse fim, ampliaram a pesquisa anterior
realizada por Cousins et al. (2004), com o objetivo de coletar dados sobre a percepção e opinião
dos avaliadores internos que atuavam em organizações canadenses com capacidade avaliativa
desenvolvida ou com capacidade para fazer avaliações e, também, aquelas com capacidade
organizacional para utilizar os resultados e os processos da avaliação, com vistas a subsidiar os
processos decisórios. Os achados não abordaram, naquele momento, a validade do modelo, algo
que seria feito anos depois por Gagnon et al. (2018). O modelo fornece, assim, segundo os
autores uma abordagem promissora para medir a capacidade avaliativa fundamentado em
pesquisa teórica e empírica, bem como em base de metodologias qualitativas e quantitativas.
Mais especificamente, a pesquisa buscou descrever as percepções dos avaliadores

internos sobre a capacidade de avaliação em suas organizações, bem como os fatores que
influenciam a capacitação da avaliação e o uso de resultados e processos de avaliação para a
tomada de decisões. Além disso, examinou-se preliminarmente os padrões de diferenças entre
os tipos organizacionais (governo versus outras organizações) e os papéis dos participantes da
pesquisa (avaliador versus gerente). Com esse conjunto de dados, investigou-se de forma mais
aprofundada as diferenças em torno dos grupos e a análise fatorial do conjunto de itens;
Quanto à capacidade para realizar avaliação, a pesquisa buscava quais atividades são
prioritárias para o desenvolvimento de capacidade avaliativa e os tipos de ações e recursos
disponíveis para apoiar essas atividades. Na pesquisa anterior de 2004, os autores identificaram
que a investigação avaliativa e a capacidade de aprendizado organizacional eram fatores
importantes para o desenvolvimento de uma cultura de aprendizado avaliativo.
Quanto à utilização da avaliação, os autores buscaram compreender junto aos 340

respondentes as potenciais condições (mecanismos) que mediavam o uso dos achados, o uso no
processo e a participação dos stakeholders.
Os construtos são apresentados de forma contextualizada no quadro a seguir:

75
Quadro 11 – Dimensões do modelo de análise da capacidade avaliativa de Cousins et al. (2008)
DIMENSÕES CONTEXTUALIZAÇÃO
Capacidade avaliativa é entendida como sendo integrada a um
constructo mais amplo de capacidade de aprendizado
organizacional. Organizações com alta capacidade de
aprendizado organizacional tem mais probabilidade de
demonstrar as cinco características de aprendizado
organizacional definidas no modelo de Goh (1998): i)
Capacidade de aprendizado
organizacional definição clara e apoio para missão e visão; ii) liderança que
apoia o aprendizado; iii) cultura organizacional que favorece
a experimentação; iv) habilidade de transferir efetivamente o
conhecimento; v) trabalho em equipe e cooperação. Esses
atributos são condições mutuamente necessárias para
favorecer o aprendizado organizacional.
Capacidade de aprendizado organizacional depende, em parte,
de estruturas e suporte das organizações. As cinco
características acima mencionadas dependem de duas
condições: i) do desenho organizacional; e, ii) das habilidades
e competências das pessoas. As estruturas de apoio
Estruturas e suporte organizacional
organizacional, que favorecem o aprendizado organizacional
incluem: sistemas de comunicação com vistas à disseminação
do conhecimento produzido bem como do que advém dos
programas, como mecanismo para incentivar e motivar as
pessoas envolvidas.
Conhecimento, competências e habilidades necessárias para
executar ou supervisionar as atividades avaliativas: ética,
Capacidade para fazer avaliações instrumentos, coleta, análise e interpretação dos dados,
elaboração do relatório e acompanhamento
Expressa a natureza e extensão em que as práticas avaliativas
estão presentes e como estão sendo executadas na organização.
Investigação avaliativa
Para tanto deve considerar as necessidades de informações da
organização
Refere-se a capacidade dos atores do lado da demanda de
Capacidade para utilizar a processar e utilizar os achados ou benefícios da avaliação. Os
avaliação achados deveriam apoiar os processos decisórios e de
aprendizagem relativos ao programa ou organização.
Fatores ou condições que mediam a utilização da avaliação:
qualidade da avaliação, credibilidade do avaliador,
Mecanismos de mediação
envolvimento dos atores interessados na utilização,
tempestividade, dentre outros.
FONTE: Cousins et al., 2008.
Na oportunidade, Cousins et al. (2008), desenvolveram um framework da capacidade

de fazer e usar avaliação (Figura 11). Este modelo é ancorado pelos trabalhos anteriores
desenvolvidos pelo autor.
76
Figura 11 – Modelo conceitual da capacidade para fazer e usar avaliação de Cousins et al.
(2008)
Fonte: Cousins, 2008.
Os resultados dessa pesquisa apresentam as frequências das respostas e representam

uma primeira visão dos dados da pesquisa canadense que teve por objetivo compreender as
condições necessárias para o efetivo desenvolvimento da capacidade avaliativa. A partir dos
resultados os autores indicam que outras análises seriam necessárias para explicar as
observações e as variações encontradas. No entanto, apontaram que as atividades avaliativas
executadas nas organizações que participaram da amostra são fortemente direcionadas por
demandas de accountability.
Taylor-Powell e Boyd (2008) conceituaram um modelo de três componentes que

descrevia o ECB em termos de desenvolvimento profissional, recursos e suporte e ambiente
organizacional. Os autores também enfatizaram a importância da tutoria e coaching, a presença
de um campeão de avaliação e o estabelecimento de comunidades de prática dentro de uma
organização. Desta forma, eles reforçaram a abordagem de questões que dizem respeito ao
incentivo de uma cultura de avaliação. Eles ainda incluiram um item sobre a importância dos
incentivos, não meramente estruturas e procedimentos, por exemplo, através do
estabelecimento de um sistema de avaliação do desempenho do pessoal.
77
2.7.2 Pesquisa com quatro organizações canadenses
Bourgeois e Cousins (2008) desenvolveram um framework para análise de ECB por

meio de uma auto-avaliação de quatro organizações de governo federal canadense em torno de
sua capacidade de avaliação organizacional. Em seguida, integrou-se os perfis
multidimensionais resultantes dos níveis observados de capacidade de avaliação organizacional
aos estágios acima mencionados de ECB para proporcionar valor agregado ao pensar sobre a
direção do ECB organizacional. Um dos propósitos do estudo foi obter a validação das
dimensões e sub-dimensões incluídas de acordo com a Figura 12 e Quadro 12 a seguir:
Figura 12 – Modelo da capacidade para fazer e usar avaliação
Recursos Humanos Recursos Organizacionais
Orçamento
Coleta de dados contínua
paraFAZER
fazer
Infraestrutura
Desenvolvimento Profissional
PARA
Capacidade
CAPACIDADE
Integração organizacional
Aprendizagem avaliativa Tomada de Decisão Org.
Orientação gerencial para

CAPACIDADE PARA USAR
resultados Processos de gerenciamento de
Participação / Envolvimento suporte à decisão
Benefícios da Aprendizagem
Uso conceitual
Uso Instrumental
Uso no processo
Fonte: Bourgeois; Cousins, 2008.

78
Quadro 12 – Dimensões do framework do modelo de análise da capacidade avaliativa de

DIMENSÕES E SUB-DIMENSÕES
CAPACIDADE PARA FAZER AVALIAÇÃO
Recrutamento, treinamento e retenção de avaliadores com as competências

técnicas e interpessoais necessárias para realizar projetos de avaliação interna
RECURSOS HUMANOS e para gerenciar contratos de avaliação quando necessário; liderança dentro da
unidade de avaliação para o desenvolvimento de uma boa função de avaliação
para toda a organização.
Orçamento como estabilidade à suficiência dos recursos financeiros alocados

nas atividades de avaliação; coleta contínua de dados", que se concentra na
RECURSOS disponibilidade de dados de medição de desempenho; e infraestrutura
ORGANIZACIONAIS organizacional, que se refere à estrutura de governança da organização,
políticas e outros apoios organizacionais que permitem a função de avaliação
prosperar.
Desenvolvimento de um plano de avaliação em consulta com outras partes

interessadas; inclusão de um processo de exame de risco na identificação de
ATIVIDADES E
prioridades da avaliação; coleta de informações de inteligência em curso e uma
PLANEJAMENTO DA
revisão sistemática da própria unidade de avaliação. uso de consultores para
AVALIAÇÃO
prestar assistência em diversos assuntos; compartilhamento de informações
dentro da organização e os vínculos organizacionais com suporte externo.
CAPACIDADE PARA USAR AVALIAÇÃO
APRENDIZAGEM Amplo conhecimento da avaliação em toda a organização.

AVALIATIVA
TOMADA DE DECISÃO Integração de informações de avaliação com os processos de tomada de decisão

ORGANIZACIONAL organizacional.
Tipos de usos que podem ser feitos dos achados da avaliação dentro de uma
organização:
- para ações e mudanças através da implementação de recomendações de
BENEFÍCIOS DA avaliação (uso instrumental).

APRENDIZAGEM - para compreensão e atitudes dos interessados sobre um programa (uso
conceitual).
– para mudanças comportamentais ou cognitivas nos indivíduos com base na
exposição à avaliação (uso no processo).
Fonte: Bourgeois; Cousins, 2008.
79
De acordo com a literatura publicada sobre o tema, para Bourgeois e Cousins (2008), o
desenvolvimento da capacidade de uma organização de fazer e usar avaliação segue quatro
etapas: avaliação tradicional, caracterizada por atividades de avaliação comandadas
externamente; conscientização e experimentação, durante o qual os membros da organização
aprendem sobre avaliação e seus benefícios participando de uma série de atividades
relacionadas à avaliação; implementação da avaliação, o estágio no qual o papel da avaliação
está mais claramente definido na organização; e a adoção da avaliação, que ocorre quando o
inquérito avaliativo se torna uma atividade regular e contínua dentro da organização através da
alocação de recursos financeiros e humanos continuados.
A partir da pesquisa de campo mencionada anteriormente, os autores analisaram os

dados coletados como parte de um estudo mais amplo e conduziram uma nova análise focada
na correspondência potencial entre os referidos estágios do ECB identificados através da
revisão da literatura e os quatro níveis de capacidade de avaliação desenvolvidos na pesquisa.
Embora as etapas do ECB (avaliação tradicional, conscientização e experimentação,
implementação de pesquisa avaliativa e adoção de avaliação como função de gerenciamento).
Em relação aos estágios, os autores os caracterizam de seguinte forma:
O primeiro estágio, avaliação tradicional, é o estado inicial do ECB. Nesta

fase, a avaliação é inteiramente exigida por fatores externos; os programas
individuais são avaliados conforme necessário, muitas vezes por externos
contratados especificamente para esse fim. Esta etapa também é caracterizada
pelo envolvimento mínimo por parte dos participantes do programa
(GILLIAM et al., 2003; SANDERS, 2002; TORRES; PRESKILL, 2001 apud
BOURGEOIS; COUSINS, 2008). O segundo estágio, conscientização e
experimentação, começa quando os membros organizados tomam
conhecimento da necessidade de mudar certas atividades, geralmente devido
a mudanças que ocorrem no ambiente externo da organização. Esta etapa
envolve coleta e análise de dados através de abordagens de avaliação mais
participativas e leva a uma maior compreensão dos objetivos e resultados do
programa (SANDERS, 2002; TORRES; PRESKILL, 2001; BOURGEOIS;
COUSINS, 2008). Uma vez que as organizações experimentam sucesso com
essas abordagens de avaliação participativa, elas podem começar a
implementar a investigação avaliativa em toda a organização, o que constitui
a terceira etapa do ECB. São desenvolvidos planos específicos e os recursos
são comprometidos com as iniciativas do ECB nesta fase, e a cultura
organizacional começa a avançar para uma maior aceitação da reflexão
sistemática sobre práticas e procedimentos. Finalmente, a organização adota
o inquérito avaliativo como uma função de gestão e sustenta sua prática,
independentemente de outras restrições internas ou externas. Nesta quarta
etapa, o inquérito avaliativo torna-se parte dos valores firmemente mantidos
da organização e novos membros são iniciados nesta cultura de auto-reflexão
e aprendizagem (GIBBS et al., 2002; LEWIS; THORNHILL, 1994;
SANDERS, 2002; TORRES; PRESKILL, 2001; BOURGEOIS; COUSINS,
2008)
80
Embora os quatro níveis de capacidade avaliativa (baixa, em desenvolvimento,

intermediária e exemplar), como demonstrados na Figura 13, possam parecer similares, eles são
conceitualmente muito diferentes. Os quatro níveis de capacidade representam um retrato
instantâneo multidimensional das características organizacionais presentes em cada nível,
enquanto os estágios se referem às atividades específicas que as organizações podem assumir
para melhorar sua capacidade. Em outras palavras, implementar as atividades descritas nas
etapas do ECB teoricamente aumenta a probabilidade de mudança de um nível mais baixo de
capacidade para um nível mais alto. A integração dos níveis de capacidade avaliativa, suas
dimensões, e as etapas pelas quais as organizações se movem enquanto desenvolvem tal
capacidade permite uma maior conceituação de avaliação como um instrumento ou sistema de
aprendizagem em organizações, conforme pode-se observar no framework desenvolvido pelos
autores.
As atividades que levam ao desenvolvimento deste framework, segundo Bourgeois e

Cousins (2008) foram associadas a uma metodologia para o desenvolvimento de "perfis de
inovação", perfis multidimensionais de crescimento para compreensão da implementação da
inovação educacional planejada (Leithwood e Montgomery, 1987 apud Bourgeois e Cousins
(2008). A abordagem reconhece a complexidade das intervenções e construções e a necessidade
de entendê-las em termos multidimensionais. É criada uma ferramenta de perfil que permite
auto-avaliação por indivíduos, equipes ou organizações como base para a tomada de decisões
e planejamento para melhoria. A ferramenta destina-se a fornecer uma descrição das etapas
gerenciáveis necessárias para mover de um nível para o outro, uma característica que está
totalmente alinhada com os objetivos do ECB. Embora essa abordagem tenha sido desenvolvida
no contexto da implementação da inovação educacional, ela foi aplicada em outros domínios,
como a avaliação da implementação do programa em saúde mental comunitária (COUSINS et
al., 2004).
81
Figura 13 – Quatro níveis da capacidade avaliativa organizacional
Capacidade Exemplar
Benefícios de  A unidade de avaliação tem uma excelente equipe e faz uso apropriado de consultores externos
Aprendizagem  Utilização inovadora de métodos e abordagens para a coleta de dados
 O orçamento de avaliação é assegurado através do financiamento contínuo especificamente atribuído à unidade de avaliação
 Os gerentes seniores promovem orientação de gerenciamento de resultados para toda a organização e a torna uma prioridade, fornecendo tempo e recursos
 As conclusões e recomendações de avaliação são consideradas na alocação orçamentária e outras decisões organizacionais de alto nível
Tomada de Capacidade Intermediária

Decisão
Organizaciona
 As recomendações nos relatórios de avaliação estão claramente ligadas a resultados de avaliação e baseiam-se numa metodologia rigorosa
 Orçamento de avaliação é adequado, dado o plano de avaliação
 Relação bem estabelecida entre a unidade de avaliação e seus clientes, partes interessadas e gerentes sênior da organização
Aprendizagem  Os membros da organização estão familiarizados com os princípios gerais de avaliação e com os serviços prestados pela equipe de avaliação
Avaliativa  Os resultados de avaliação são utilizados como base para a ação e mudança
Atividades e
Capacidade em Desenvolvimento
Planejamento da  Diferentes níveis de qualidade técnica nas avaliações produzidas
Avaliação  Pouca conscientização/compreensão da avaliação dentro das áreas do programa
 A unidade de avaliação não está ligada à administração sênior ou a outras áreas
organizacionais
Recursos  Pouco valor à avaliação e suas conclusões e recomendações para a tomada de decisão política
Organizacionais
Baixa Capacidade
 Avaliação de programas de modo individualizado
 Baseada em recomendações externas
Recursos  Baixa visibilidade da avaliação dentro da organização
Humanos  Equipe pequena / baixo nível de competência técnica
 Orçamento de avaliação instável ou pequeno
 Alta confiabilidade em consultores externos
Avaliação Consciência e Implementação da Avaliação como

Tradicional Experimentação Pesquisa Avaliativa Função da Gestão
Fonte: Bourgeois e Cousins, 2008.

82
2.7.3 Pesquisa com definição de modelo multidisciplinar de ECB
Para Preskill e Boyle (2008), ECB envolve a concepção e implementação de estratégias

de ensino e aprendizagem para ajudar indivíduos, grupos e organizações a aprender sobre o que
constitui prática de avaliação efetiva, útil e profissional. O objetivo final do ECB é a prática de
avaliação sustentável - onde os membros continuamente fazem perguntas que importam,
coletam, analisam e interpretam dados, e usam os achados de avaliação para a tomada de
decisões e ação. Para que a prática de avaliação seja sustentada, os participantes devem receber
suporte, incentivos, recursos e oportunidades da liderança para transferir sua aprendizagem
sobre a avaliação para seu trabalho diário. A prática de avaliação sustentável também requer o
desenvolvimento de sistemas, processos, políticas e planos que ajudem a incorporar o trabalho
de avaliação na forma como a organização cumpre sua missão e objetivos estratégicos. Na
Figura 14, observa-se o modelo multidisciplinar desenvolvido pelas autoras para o
desenvolvimento de capacidade avaliativa em organizações.
Figura 14 – Modelo Multidisciplinar de Desenvolvimento de Capacidade Avaliativa de Preskill

e Boyle (2008)
Fonte: Preskill e Boyle, 2008.

83
Neste modelo multidisciplinar do framework desenvolvido por Preskill e Boyle

(2008) considera-se que o lado esquerdo do modelo representa a iniciação, o planejamento, a
concepção e a implementação do esforço do ECB. O círculo externo reflete o objetivo que é
desenvolver competências avaliativas. Dentro deste círculo, reconhece-se que aqueles que
iniciam atividades e processos do ECB têm vários tipos de motivações e operam sob um
conjunto de pressupostos com expectativas implícitas ou explícitas sobre o que o esforço do
ECB alcançará. Essas motivações, pressupostos e expectativas afetam em última análise o
projeto e a implementação de todas as atividades do ECB.
No meio dos círculos estão 10 estratégias do ECB que refletem várias abordagens de
ensino e aprendizagem para ajudar as pessoas a desenvolver conhecimento, habilidades e
atitudes para pensar de forma avaliativa e se envolver em práticas de avaliação.
Conectando os dois grandes círculos há uma seta de dois lados - transferência de

aprendizagem, que se refere à aplicação de competências da avaliação ao contexto do trabalho.
Essa seta de transferência de aprendizagem liga o esforço do ECB ao que é requerido para
sustentar o pensamento e a prática avaliativa.
Destaca-se ainda a importância de compreender a capacidade de aprendizagem

organizacional do sistema em que o ECB está ocorrendo. A extensão e as formas como a
liderança da organização valora a aprendizagem e a avaliação cria uma cultura de investigação,
em que são necessários sistemas e estruturas para se engajar em práticas avaliativas e a
disponibilidade de canais de comunicação e oportunidades de acesso e disseminação da
informação de avaliação afeta significativamente não somente se e como as pessoas aprendem
sobre a avaliação, mas também a medida em que a prática de avaliação se sustenta.
Isso leva ao círculo grande no lado direito do modelo. Neste círculo estão os
processos, práticas, políticas e recursos necessários para práticas de avaliação sustentáveis.
O componente final do modelo é a difusão, como mostrado na parte externa do modelo

com duas setas apontando para fora.
O framework construído pelas autoras para processo de desenvolvimento da

capacidade avaliativa inclui uma série de etapas que se relacionam para formar os círculos e
fluxos que são melhor detalhados a seguir:
84
3) Conhecimentos, habilidades e atitudes avaliativos: representa a base de

formação do processo de ECB uma vez que tais competências devem ser transferidas ao
contexto de trabalho:
- Estratégias de ensino e aprendizagem: uma vez que o compromisso foi feito para
criar a capacidade de avaliação dos membros, deve selecionar-se imediatamente a estratégia de
aprendizagem (estágio, materiais escritos, tecnologia, reuniões, consulta apreciativa,
comunidades de prática, treinamento, envolvimento em um processo avaliativo, assistência
técnica, treinamento ou mentoria). Esta seleção deve, pelo menos, levar em consideração as
características dos participantes, recursos organizacionais disponíveis, teorias de avaliação,
aprendizado e mudança organizacional e objetivos de aprendizagem desejados e resultados
esperados.
- Desenho da iniciativa: outro fator a considerar ao escolher quais estratégias do ECB
serão mais eficazes são os recursos organizacionais que serão necessários para projetar e
implementar o esforço do ECB.
- Implementação da iniciativa: os facilitadores do ECB devem considerar as formas
como as informações sobre o propósito, as metas e as expectativas são comunicadas com os
participantes envolvidos. Isso envolve planejar e gerenciar comunicação – (a) métodos, (b)
fontes, (c) conteúdo, (d) metas e (e) frequência – para envolver com sucesso os participantes
nas atividades avaliativas e em cultivar demanda e entusiasmo entre os participantes para
aprender e realizar avaliações.
- Avaliação das iniciativas: este componente do modelo enfatiza a importância de
avaliar até que ponto os objetivos do ECB têm sido atingidos e também a determinar se outros
resultados foram atingidos (resultados secundários e não previstos).
4) Transferência de aprendizagem: entendida como o uso de princípios, conceitos e

habilidades aprendidas em um contexto aplicado a outro contexto em que permanecem
aplicáveis. No que diz respeito ao ECB, são importantes dois tipos de transferência: (a)
transferência próxima (aplicação a curto prazo da aprendizagem de avaliação) e (b)
transferência distante (transferência a longo prazo e generalização da avaliação aprendida para
novas situações) (HOLTON; BALDWIN, 2003 apud PRESKILL; BOYLE, 2008).
- Capacidade de aprendizagem organizacional: reflete a importância de entender

até que ponto a organização possui as condições necessárias para apoiar as atividades do ECB
e os usos de longo prazo dos processos de avaliação. Este componente refere-se aos elementos
85
da cultura, liderança, sistemas e estruturas de uma organização e comunicações que apoiam e

encorajam a aprendizagem organizacional (PRESKILL; BOYLE, 1999 apud PRESKILL;
BOYLE, 2008).
5) Prática avaliativa sustentável: representa os objetivos fundamentais a longo prazo
do ECB. Se a organização realmente acredita na avaliação e no papel que esta pode
desempenhar no futuro, então a prática avaliativa deve ser sustentável. Isso significa que a
organização está empenhada em internalizar os processos, sistemas, políticas e procedimentos
avaliativos que se auto-renovam e evoluem. A prática de avaliação sustentável depende da
capacidade de adotar uma abordagem holística, proativa e consciente de avaliação que
incorpore os seguintes elementos:
- Procedimentos e políticas de avaliação: destinam-se a fornecer as estruturas e os

meios pelos quais a avaliação se institucionaliza na organização.
- Processos e modelos de avaliação: o desenvolvimento de modelos e processos em
toda a organização ajuda a orientar as práticas avaliativas e esclarecer as crenças e expectativas
sobre quais abordagens e métodos de avaliação podem ser mais adequados, tendo em vista
contextos organizacionais específicos e propósitos para a realização da avaliação.
- Recursos destinados à avaliação: avaliação de qualidade requer uma variedade de
recursos financeiros (financiamento contínuo), de pessoal (experiência, tempo e oportunidade
adequados) e materiais (tecnologias apropriadas).
- Uso dos achados avaliativos: para que a prática de avaliação seja sustentada, os
membros da organização devem não só usar os resultados da avaliação para a tomada de decisão
e ação, mas também se comunicar e celebrar os usos destes achados. Como os impactos da
avaliação são usados para melhorar os programas e tomar decisões importantes, é provável que
a avaliação se torne mais incorporada à cultura da organização.
- Comprometimento e crença na avaliação compartilhada: os membros da
organização devem acreditar no valor da avaliação e devem comprometer-se a garantir que ela
se torne parte da forma como a organização atinge seus objetivos.
- Sistema de gerenciamento da avaliação integrado ao conhecimento: a prática de
avaliação sustentável é, de muitas formas, dependente da capacidade da organização de criar,
capturar, armazenar e divulgar dados e documentos relacionados à avaliação (por exemplo,
arquivos de dados, instrumentos de coleta de dados, relatórios de avaliação), bem como
processos, procedimentos e lições aprendidas com os esforços avaliativos.
86
- Plano Estratégico para avaliação: a prática de avaliação sustentável é aprimorada

quando há uma visão clara em relação ao motivo pelo qual as avaliações são demandadas em
qualquer momento. Um plano estratégico para avaliação descreve como, quando, por quem e
em que medida serão avaliados programas, serviços, processos ou políticas.
- Aprendizagem contínua: a organização deve fornecer oportunidades contínuas para
os membros aprenderem de e sobre a prática de avaliação. O ECB precisa ser apoiado no nível
cultural, dentro da avaliação de desempenho e sistemas de desenvolvimento profissional e nos
sistemas e estruturas da organização.
6) Difusão da prática avaliativa: as metas do ECB não devem parar na porta da

organização. A difusão do aprendizado de avaliação ocorre quando os participantes do ECB
compartilham sua aprendizagem sobre a avaliação com stakeholders de fora da organização, os
quais também se tornam expostos ao pensamento e prática avaliativa.
2.7.4 PESQUISA COM AVALIADORES DOS MUNICÍPIOS DA DINAMARCA
Nilsen et al. (2011) desenvolveu um modelo conceitual de capacidade avaliativa na

Dinamarca utilizando como primeira ordem de definição a visão de ECB oferecida pela
Stockdill et al. (2002). Consequentemente, buscou-se provar a concepção do conceito,
concentrando-se na avaliação do programa e na sua aplicação. Inferiu-se que se apropriados, os
usos e processos de avaliação de programas ocorrem, a capacidade avaliativa estará
intrincadamente relacionada com o funcionamento geral de uma organização porque o
conhecimento avaliativo irá alimentar os vários níveis de tomada de decisão operacional. O
modelo aplicado baseia-se na teoria organizacional, uma vez que se baseia no modelo
organizacional clássico de Leavitt (1978) apud Nilsen et al. (2011).
Assim como Cousins et al. (2004), o autor afirma que a capacidade avaliativa de uma
organização está intrinsecamente ligada aos seus objetivos, estrutura e processos, tecnologia e
capital humano:
Os objetivos devem ser entendidos como os propósitos explícitos para os quais
uma organização realiza avaliações. Os estudos de avaliação devem ser
considerados apenas uma das várias formas de produção de conhecimento que
informam os processos de tomada de decisão em organizações públicas. Além
disso, a utilização institucional das práticas e achados de avaliação na tomada
de decisões e no ciclo de políticas são indicativos da intencionalidade da
organização em relação à avaliação. Estruturas e processos referem-se à
aplicação de conhecimento avaliativo no funcionamento da organização. A
tecnologia refere-se à extensão dos meios e recursos que permitem a avaliação
87
da qualidade. Abrangem, ainda, tecnologia de suporte, como sistemas de

monitoramento ou software para coleta e análise de dados quantitativos e
qualitativos que permitiriam aos avaliadores impor qualidade nas fases de
desenho da avaliação, coleta de dados e fases de análise. O capital humano
compreende as habilidades dos responsáveis pelo trabalho de avaliação dentro
da organização, incluindo seu nível de educação formal e treinamento de
avaliação específico e a experiência de avaliação prática da equipe de
avaliação. (NIELSEN et al., 2011, p. 326-327)
Ao desenvolver o modelo, Nielsen et al. (2011) considera que a capacidade avaliativa

preocupa-se com a dimensão de oferta e de demanda dentro da organização. A dimensão da
demanda de avaliação em uma organização é conduzida por duas subdimensões, objetivos e
suas estruturas e processos; Em contrapartida, a dimensão da oferta de avaliação em uma
organização consiste em uma combinação das duas subdimensões da tecnologia e do capital
humano, que fornecem blocos de construção para projetar e implementar avaliações. No
framework são atribuídos 12 subcomponentes às quatro subdimensões, cada uma especificando
os aspectos essenciais referentes ao objetivos, do capital humano e assim por diante. Cada um
desses subcomponentes foi acoplado com um conjunto correspondente de itens de pesquisa em
um questionário e, em extensão, a um alcance de pontuação em um índice de capacidade
avaliativa. Por avaliação, os autores empregam, como dito anteriormente, uma definição restrita
em consonância com a definição de Stockdill et al. de que ECB se concentra na avaliação
independente baseada em critérios.
Figura 15 – Modelo para medição da vapacidade avaliativa na Dinamarca
Fonte: NIELSEN et al., 2011

88
O questionário empregado no estudo abrange seis temas: (a) informações básicas sobre
o entrevistado (por exemplo, idade, duração do emprego, etc.); (b) atividade de avaliação (por
exemplo, número e tipos de avaliações realizadas); (c) estrutura e processos organizacionais
(por exemplo, localização organizacional e função da unidade de avaliação); (d) capital humano
(por exemplo, experiência de avaliação e treinamento); (e) tecnologia e modelos de avaliação
(por exemplo, modelos de avaliação e software); e (f) objetivos (por exemplo, estrutura de
avaliação, finalidade e formalização). Um total de 30 itens de escolha fixa e 6 itens abertos
compreendem o questionário para o estudo, dos quais 18 itens de escolha fixa foram incluídos
no Índice de Capacidade Avaliativa – Evaluation Capacity Index (ECI).
Em seguida, Nielsen et al (2011) distribuiu os 100 pontos entre as duas dimensões do

modelo entre demanda avaliativa e oferta avaliativa. Embora existam muitas perspectivas
persuasivas (MacKay, 2002; McDonald et al., 2003; Naccarella et al., 2007), favorecendo
qualquer um dos dois em termos de sua importância relativa para a capacidade avaliativa, foram
atribuídas pontuações idênticas.
Na sequência, sob cada uma das duas dimensões, foram atribuídos pontos às quatro
subdimensões: Objetivos (0 a 25 pontos), estrutura e processos (0 a 25 pontos), tecnologia (0 a
15 pontos) e capital humano (0 a 35 pontos). Embora objetivos e estruturas e processos sejam
igualmente importantes para a dimensão da demanda de avaliação, diferenciou-se os pontos
atribuídos ao capital humano e à tecnologia, uma vez que Nielsen et al. (2011), consideram o
capital humano, por si só, como uma condição necessária para o desenvolvimento da
capacidade avaliativa na medida em que a tecnologia não constitui uma condição necessária.
Finalmente, os subcomponentes específicos e itens de pesquisa foram premiados,

especificando-se a contribuição exata de cada um destes para o escore de ECI. Os pontos
atribuídos a cada item também levaram em consideração a importância relativa dos itens em
relação à capacidade avaliativa. Os pesos específicos dos itens levaram em conta a experiência
e perspectiva dos autores sobre a importância relativa dos diferentes componentes no
desenvolvimento da capacidade avaliativa, bem como a proeminência dos componentes
específicos na literatura. Os procedimentos para atribuir valores a respostas de itens individuais
foram adaptados aos tipos específicos de itens. Para ambos, unipolar (itens com opções de
resposta positiva ou negativa) e escalas bipolares (itens com categorias de resposta positiva e
negativa), as opções de resposta foram numeradas consecutivamente de baixo a alto. Como tal,
nenhum dos itens pode resultar em uma pontuação ECI negativa.
89
2.7.5 Pesquisa para desenvolvimento de um modelo integrado de ECB
A definição 1 gerada por Labin et al. (2012) para ECB foi utilizada para identificar os
estudos a serem incluídos na síntese de sua pesquisa, a partir da qual foi desenvolvido um
modelo integrado de ECB (Figura 15) com base nos frameworks existentes e na revisão da
literatura teórica e empírica do ECB (BAIZERMAN; COMPTON; STOCKDILL, 2002b;
COUSINS et al., 2004; DUFFY; WANDERSMAN, 2007; MILSTEIN; COTTON, 2000;
OWEN, 2003; PRESKILL; BOYLE, 2008; SUAREZ-BALCAZAR et al., 2010 apud LABIN
et al., 2012).
Em particular, foi utilizado o modelo multidisciplinar de ECB de Preskill e Boyle

(2008). O modelo integrado de ECB foi desenvolvido para garantir que a síntese refletisse e
integrasse os elementos-chave na teoria e literatura empírica existente e não se restringisse às
informações a partir de qualquer framework existente ou subconjunto da literatura. A intenção
de Labin et al. (2012) era maximizar a amplitude da informação para extrair e avançar o
desenvolvimento e uso da terminologia comum e operacionalizar a definição de trabalho do
estudo de ECB. Um modelo lógico de necessidades-atividades-impactos da Fundação Kellogg
de 2001 foi utilizado para organizar e retratar as principais circunstâncias, atividades, processos
e resultados do ECB. A estrutura do modelo lógico implica uma direção causal da esquerda
para a direita no framework a seguir, ou seja, as necessidades afetarão as estratégias e as
estratégias afetarão os resultados alcançados. Além disso, os descritores de implementação e
avaliação podem mediar os efeitos das estratégias sobre os resultados. O objetivo das autoras
foi criar um modelo (Figura 16) que incluísse atividades-chave e processos no ECB.
1
O desenvolvimento da capacidade avaliativa (ECB) é um processo intencional para aumentar a motivação
individual, o conhecimento e as habilidades, e para melhorar a capacidade de um grupo ou organização para
realizar ou usar a avaliação. (LABIN et al, 2012, p. 308, tradução nossa)
90
Figura 16 – Modelo integrado de desenvolvimento de capacidade avaliativa de Labin
I.NECESSIDADES II. ATIVIDADES III. RESULTADOS

III. RESULTADOS /IMPACTOS
IMPACTOS
PORQUÊ O QUÊ E COMO
Longo-prazo
Curto e sustentável
- Razões e motivações - Estratégias
 Público  Teoria - Nível Individual
 Método  Atitudes
Interno e externo  Conhecimento
 Premissas  Níveis Individual e
Organizacional Habilidades /
 Expectativas  Tipo Comportamento
 Conteúdo
- Objetivos e metas - Nível Organizacional
- Implementação  Processos
- Contexto  Meta Políticas
 Análise de necessidades População Práticas
Organização  Liderança
 Acompanhamento  Cultura Organizacional
Domínio
 Tempo /  Mainstreaming
- Recursos e suporte  Recursos
Frequência /
 Individual - Atitudes Dosagem
 Organizacional  Correções - Impactos do Programa
 Equipe / Tempo / intermediárias em  Desenvolvimento
Dinheiro curso  Implementação
 Expertise em avaliação  Barreiras  Resultados
 Práticas / Liderança /
- Avaliações de ECB - Impactos negativos
Cultura /
Mainstreaming  Abordagem
 Desenho - Lições Aprendidas
 Indicadores
 Tipos de dados
 Cronograma
interno e externo
Fonte: Labin et al., 2012.
A primeira coluna do modelo relaciona-se com as necessidades que levam à condução

do processo de ECB e “quem” e “o que” motiva o interesse (PRESKILL; BOYLE, 2008). O
ECB pode ser conduzido por fatores internos e externos à organização ou por uma combinação
ambos. Como visto anteriormente, Preskill e Boyle (2008) enfatizam a importância de
considerar três elementos relacionados à necessidade do ECB: (a) motivação; (b) pressupostos
e expectativas; e (c) identificação de metas e objetivos. Para as autoras, compreender a
motivação da organização para se envolver no desenvolvimento de capacidade avaliativa
fornece informações sobre quem deve participar e quais estratégias de ensino e aprendizagem
podem ser mais benéficas. É importante, ainda, que pessoas-chave na organização estejam
envolvidas no desenvolvimento do ECB. A realização de uma análise das necessidades e a
adaptação dos esforços do ECB para as pessoas e contexto em particular podem afetar a seleção
e a implementação de suas estratégias. As características existentes de uma organização
também podem afetar o tipo de estratégias utilizadas e sua eficácia.
91
De acordo com Labin et al. (2012), alguns desses fatores específicos observados na
literatura incluem atitudes em relação à avaliação; disponibilidade de recursos para o ECB
(pessoal, tempo e recursos financeiros); expertise em avaliação interna, práticas e capacidade
organizacional, como suporte de líderes para avaliação e para ECB; a cultura organizacional e
da disseminação da prática avaliativa como uma rotina da organização (MILSTEIN; COTTON,
2000; OWEN, 2003; PRESKILL; BOYLE, 2008; SUAREZ-BALCAZAR et al., 2010 apud
LABIN et. al., 2012). Esses fatores podem afetar o aprendizado organizacional e a
sustentabilidade dos resultados do ECB (PRESKILL; BOYLE, 2008).
A segunda coluna do modelo integrado de ECB classifica as estratégias de

desenvolvimento de capacidade avaliativa, as especificidades de implementação e a avaliação
dos esforços empreendidos. Vários aspectos das estratégias são definidos para capturar
dimensões importantes que definem sua natureza e eficácia. Alguns esforços de ECB são
justificados por uma teoria ou abordagem subjacente, como avaliação de capacitação ou
aprendizagem organizacional.
As estratégias de ECB podem ser fornecidas através de múltiplos modos, como reuniões
presenciais, teleconferências ou telefonemas, e-mail ou outros mecanismos baseados na web, e
através de materiais escritos, como manuais de avaliação. As estratégias podem ser direcionadas
ao nível individual de aprendizado e mudança de comportamento e ao nível organizacional.
No nível individual, o conteúdo da estratégia concentra-se em atitudes e currículo

avaliativo, por exemplo, elaborando avaliações e analisando dados. No nível organizacional, o
conteúdo da estratégia concentra-se em atividades coletivas, como o uso da avaliação como
parte dos processos e práticas organizacionais, oferecendo apoio dos líderes para as atividades
avaliativas; disseminando a cultura do aprendizado e popularizando a avaliação como uma
função da organização; ou aumentando os recursos para essas atividades (COMPTON et al.,
2002; DUFFY; WANDERSMAN, 2007; SANDERS, 2003; SUAREZ-BALCAZAR et al.,
2010 apud LABIN et al., 2012).
A terceira coluna trata dos resultados, dos impactos promovidos pelo ECB. Os
resultados no nível individual aferiram melhoria das atitudes, conhecimentos e habilidades
evidenciados pelo engajamento em práticas avaliativas. Nesta linha, Preskill e Boyle (2008)
deduzem que a aprendizagem individual é afetada pelo contexto organizacional e Suarez-
Balcazar et al. (2010) concluem que as características de suporte organizacional são necessárias
para a aprendizagem individual e a mudança de comportamento.
92
Os resultados em nível organizacional no modelo integrado de ECB consistem em cinco

características organizacionais que são importantes para um esforço bem sucedido de ECB:
i) Processos, políticas e práticas (PPP) para fazer e utilizar avaliações (GAO, 2003;
GIBBS et al., 2002; PRESKILL; BOYLE, 2008; SUAREZ-BALCAZAR et al., 2010 apud
LABIN et al., 2012).
ii) Liderança como importante fator para a mudança organizacional (KOTTER, 1996;
MILSTEIN & COTTON, 2000 apud LABIN et al., 2012).
iii) Indicadores da Cultura organizacional como valores, atitudes, objetivos e práticas

coletivos como suporte à mudança organizacional para o sucesso de ECB (BOYLE, 1999;
COUSINS et al., 2004; GAO, 2003; OWEN, 2003 PRESKILL; TORRES, 1999; SUAREZ-
BALCAZAR et al., 2010 apud LABIN et al., 2012).
iv) Mainstreaming ou rotinização da avaliação como elemento essencial na

sustentabilidade do ECB, um dos objetivos mais importantes a longo prazo (BOYLE, 1999;
PRESKILL; BOYLE, 2008; SANDERS, 2003; STOCKDILL et al., 2002).
v) Recursos para suporte à avaliação (BOYLE et al., 1999; GIBBS et al., 2002;
MILSTEIN; COTTON, 2002; PRESKILL; BOYLE, 2008 apud LABIN et al., 2012).
Por fim, os resultados do programa referem-se à missão da organização que promove o

ECB. Os mesmos foram adicionados ao modelo em função de evidências empirícas de seu
aprimoramento como resultado do ECB. Os resultados do programa têm sido uma lógica de
longa data para conduzir o ECB (WANDERSMAN, et al., 2005 apud LABIN et al., 2012).
De modo compilado, Labin et al. (2012), a partir do modelo de ECB apresentado

anteriormente, investigaram as seguintes questões por meio do método broad-based research
synthesis (utilizado pela autora em 2008 cujo princípio baseia-se no uso de regras de decisão
sistemáticas derivadas de princípios de meta-análise e que distinguem a síntese das revisões de
literatura tradicionais):
a) Quais necessidades precedem os esforços de ECB?
b) Quais estratégias estão sendo utilizadas para ECB e quais as variáveis de

implementação que estão sendo apresentadas?
c) Quais abordagens e métodos de avaliação estão sendo utilizados para avaliar os

esforços de ECB?
93
d) Quais resultados de ECB estão sendo divulgados para os níveis individual e

organizacional?
e) Como as estratégias variam na presença de recursos pré-existentes?
f) Como os resultados variam de acordo com as estratégias?
Os achados da síntese da literatura empírica de ECB refletem a natureza emergente deste

campo, mas também sugerem, segundo os autores, que os esforços de ECB têm um conjunto
relativamente comuns de princípios e estratégias e que alcançam alguns resultados de curto
prazo e de médio prazo tanto no plano individual como no nível organizacional. Apesar da
variação nas narrativas de ECB, há um alto grau de consistência entre os conceitos teóricos e
os achados da literatura empírica, confirmando a evolução do ECB e a necessidade de se
prontificar para intensificar as práticas sistemáticas e métodos avaliativos em torno do tema.
2.7.6 Pesquisa sobre as dimensões-chave da capacidade avaliativa nas organizações

canadenses
A partir do aumento da demanda por avaliação do Governo Canadense e ao avaliar que

poucos estudos empíricos se concentravam em como a capacidade de avaliação se
manifestavam nas organizações e como elas poderiam ser avaliadas, Bourgeois e Cousins
(2013) realizaram um estudo para identificar as dimensões-chave da capacidade avaliativa nas
organizações, operacionalizadas através de um framework baseado na abordagem de Inovation
Profile desenvolvido por Leithwood e Montgomery (1987) apud Bourgeois e Cousins (2013).
Este framework pode ser usado como base para o desenvolvimento de um instrumento que se
concentra na auto-avaliação organizacional da capacidade avaliativa. A aplicação da
abordagem do perfil de inovação resultou em uma matriz multidimensional que descreve o
crescimento do desempenho e, no escopo da pesquisa, o desenvolvimento da capacidade
avaliativa nas organizações.
Os autores, deste modo, se propuseram a responder às seguintes questões: i) Quais são

as dimensões essenciais da capacidade avaliativa nas organizações federais no Canadá? ii)
Como são caracterizados os desempenhos mínimo e máximo em cada uma dessas dimensões?
e iii) Quais são os requisitos para passar do desempenho mínimo para o máximo?
Para tanto a estratégia metodológica consistiu em três fases. A primeira tratou da

identificação das dimensões-chave da capacidade avaliativa (fase divergente), por meio de uma
94
revisão aprofundada da literatura e entrevistas com experts. Como resultado apresentou-se as

potenciais dimensões para capacidade avaliativa, as quais foram usadas para identificar as
principais categorias para codificação. Na segunda fase (convergente) a coleta de dados teve
por objetivo confirmar as dimensões-chave identificadas na primeira fase (revisão e feedback
do modelo preliminar). Por fim a terceira fase buscou a triangulação dos achados para validar
o modelo preliminar de avaliação das dimensões-chave da EC. O modelo foi estruturado em
duas categorias: capacidade para fazer avaliação e capacidade para usar avaliação. Cada
categoria foi subdividida em subdmimensões com vistas a melhor descrever cada dimensão,
conforme o quadro a seguir. Para cada componente das subdimensões foi proposta uma escala
para avaliar o nível de desenvolvimento da capacidade avaliativa: i) baixa capacidade; ii)
capacidade em desenvolvimento; iii) capacidade intermediária; iv) capacidade exemplar.
Quadro 13 – Modelo de avaliação das dimensões-chave para capacidade avaliativa nas organizações
DIMENSÕES-CHAVE PARA CAPACIDADE AVALIATIVA NAS ORGANIZAÇÕES

continua
DIMENSÕES SUBDIMENSÕES DESCRIÇÃO
Quantitativo de pessoal e sua adequação para cumprir os

Pessoal
trabalhos previstos no plano de avaliação
Capacidade Capacidade técnica

Competência técnica para realizar as atividades avaliativas:
metodologia, analise e interpretação dos dados, formulação
para fazer de recomendações
avaliação I
Confiança; comunicação clara e transparente; atender as
Recursos Habilidades interpessoais
necessidades de informação dos atores
Humanos
Desenvolvimento Atividades de capacitação e treinamento

profissional
Liderança Qualidade da liderança
Orçamento para Recursos financeiros suficientes para o desenvolvimento de

atividades avaliativas atividades avaliativas planejadas
II
Sistemas existentes nas organizações com o objetivo de
Coleta de dados
produzir informações sobre o desempenho para alimentar os
sistemática
estudos avaliativos
Recursos
organizacionais
Estrutura de governança; política de avaliação; apoio
Estrutura organizacional
organizacional para as atividades avaliativas
95
DIMENSÕES SUBDIMENSÕES DESCRIÇÃO
Planejamento das atividades avaliativas em conjunto com os

outros atores interessados, incluindo processo de análise de
Plano de avaliação
risco para identificar as avaliações prioritárias, atividades de
inteligência e revisão sistemática das avaliações realizadas
Capacidade
Consultores Uso de consultores externos
para fazer
avaliação III
Compartilhamento de
Plano de avaliação informações
Disseminação das informações
e atividades
relacionadas
Apoio externo Relações com organizações para apoio técnico-profissional
Relações formais da organização para informar-se sobre as

Apoio interno decisões políticas e melhor compartilhar os resultados das
atividades avaliativas realizadas
Participação nas Participação do staff do programa e outros atores no

IV atividades avaliativas processo avaliativo
Conhecimento das
A orientação para resultados pode ser manifestada através do
práticas avaliativas Gestão orientada para desenvolvimento de uma cadeia de resultados para o
na organização resultados programa e implementação de estratégias para mensurar o
desempenho
V Regras que assegurem recursos para a realização das

atividades avaliativas e disponham sobre a utilização dos
Gerenciamento de
achados e recomendações nas alocações orçamentárias e nos
processos
Capacidade Integração das altos níveis das organizações, assim como nas decisões
informações políticas
para usar
avaliação avaliativas aos
processos decisórios Capacidade para disponibilizar informações avaliativas para
Apoio à decisão
da organização subsidiar os processos decisórios
Utilização instrumental e
Utilização das informações avaliativas no nível operacional
conceitual
VI
Benefícios do
aprendizado Utilização no processo
Participação no processo avaliativo pode resultar em
mudanças cognitivas nos indivíduos
FONTE: Bourgeois; Cousins, 2013.
De acordo com os autores, o estudo produziu pistas importantes sobre o que uma teoria
da mudança de capacidade avaliativa pode parecer, sugerindo que o desenvolvimento
organizacional neste domínio não ocorre de forma linear em uma série de elementos ou
dimensões. Além disso, para os mesmos, o framework amplia a compreensão dos impactos
96
potenciais das iniciativas de melhoria organizacional específicas, mostrando as etapas

necessárias para se mover entre os níveis de capacidade, porém, tais lições se estendem muito
além de uma discussão sobre a capacidade avaliativa organizacional.
A principal implicação prática do estudo é a potencial transformação do framework

proposto em um instrumento para avaliar a capacidade avaliativa em organizações
governamentais. Esse instrumento poderia servir como uma valiosa ferramenta de auto-reflexão
dentro das organizações, gerando discussões e debates sérios sobre a capacidade de avaliação e
melhores estratégias para aperfeiçoá-la.
2.7.7 Pesquisa com instrumento de análise da capacidade avaliativa (ECAI) em

organizações americanas
No mesmo ano, Taylor-Ritzler e Suarez-Balcazar (2013) desenvolviam e validavam um

Instrumento de Análise de Capacidade de Avaliação (ECAI), uma medida destinada a analisar
a capacidade avaliativa entre a equipe de organizações sem fins lucrativos que é baseada em
um modelo-síntese de capacidade avaliativa. A medida de 68 itens analisou as percepções dos
participantes (funcionários das organizações) sobre os preditores individuais e organizacionais
de dois resultados de capacidade avaliativa: integração e uso dos achados da avaliação. A
análise do fator de confirmação e os resultados da consistência interna suportaram a inclusão
dos itens e fatores medidos pelo ECAI (ANEXO I). Além disso, os resultados da modelagem
da equação estrutural suportaram o modelo de síntese e sua representação das relações entre
preditores de capacidade de avaliação e resultados.
Os autores justificam o estudo em face da necessidade de aprofundamento em torno de

um modelo validado e com instrumento de medição da capacidade avaliativa de organizações.
Para abordar a necessidade de um entendimento comum da capacidade avaliativa,

Suarez-Balcazar et al. (2010) propuseram um modelo de síntese que foi desenvolvido através
de uma revisão sistemática de modelos conceituais publicados, princípios do ECB e fatores que
sustentam a prática de avaliação em organizações sem fins lucrativos.
Assim como diversos autores abordados anteriormente, eles concordam que a presença
de fatores individuais e organizacionais facilita a capacidade avaliativa, levando a integração e
uso de avaliação entre participantes membros da equipe.
97
Este modelo de síntese inclui fatores individuais e organizacionais que são premissas
para prever os resultados da capacidade avaliativa, bem como seus resultados. São eles:
a) Fatores individuais que contribuem para a capacidade avaliativa, incluindo

consciência dos benefícios da avaliação, motivação para conduzir avaliação e
competência (conhecimento e habilidades) para se engajar em práticas avaliativas;
b) Fatores organizacionais que contribuem para a capacidade avaliativa, incluindo

Liderança para avaliação, um Clima de Aprendizagem que promove o pensamento
avaliativo e Recursos que apoiem a avaliação; e
c) Resultados críticos de capacidade avaliativa, incluindo o mainstreaming de

práticas de avaliação em processos de trabalho e uso dos resultados da avaliação.
Além disso, Suarez-Balcazar et al. (2010) apud Taylor-Ritzler et al. (2013) vão além de
identificar preditores de capacidade avaliativa para especificar como os fatores individuais e
organizacionais se relacionam com os resultados da capacidade avaliativa. Com base no
trabalho dos autores e de outros como Cousins et al. (2004) e Nielsen et al. (2011), o modelo
postula que fatores organizacionais afetam a relação entre fatores individuais e resultados da
capacidade avaliativa. Especificamente, as práticas do ECB destinam-se a desenvolver
conhecimento, habilidades e atitudes individuais relacionados à avaliação entre os funcionários
da organização. Por sua vez, a capacidade de aprendizagem organizacional, que inclui
liderança, cultura, sistemas e estruturas e comunicação, é assumida como facilitadora e / ou
dificultadora da transferência de aprendizagem individual para processos e práticas
organizacionais. Espera-se que a presença de condições favoráveis de capacidade de
aprendizagem organizacional, como liderança efetiva, clima de aprendizagem e recursos
adequados estejam relacionados à prática avaliativa sustentável, definida como aprendizagem
contínua sobre avaliação e uso dos seus achados, frameworks e processos. Esta compreensão
da capacidade avaliativa é consistente com a de Preskill e Boyle (2008) e sugere que a relação
entre fatores individuais e práticas de avaliação sustentável (resultado da capacidade avaliativa)
é mediada pelo compromisso de uma organização em desenvolver a capacidade de avaliação e
sua capacidade de mudança (fatores organizacionais).
A decisão de testar empiricamente o modelo de síntese visou validar empiricamente um

modelo conceitual de capacidade avaliativa. Para integrar a medição atual, desenvolveu-se o
ECAI com base no modelo de Suarez-Balcazar et al. (2010) e uma revisão dos instrumentos de
98
medição de ECB de outros autores (COUSINS et al., 2000; PRESKILL; TORRES, 2000;
TAUT, 2007; VOLKOV; KING, 2007 apud TAYLOR-RITZLER et al., 2013). Deste modo, o
estudo em questão objetivou validar o ECAI analisando os itens específicos e os fatores
individuais e organizacionais que compõem a capacidade avaliativa.
Para os autores, o campo não possuía um modelo e um instrumento validado e

generalizável para analisar os preditores da capacidade avaliativa e o grau em que ela é
desenvolvida e sustentada.
Métodos quantitativos foram aplicados para buscar testar: (1) a validade do ECAI
através da análise dos múltiplos fatores propostos que estão relacionados à capacidade
avaliativa e os itens que estão incluídos em cada fator no instrumento; e (2) o modelo de síntese
de Suarez-Balcazar et al. (2010), por meio do exame do grau em que os fatores organizacionais
de liderança, recursos e clima de aprendizagem afetam a relação dos fatores individuais de
conscientização, motivação e competência para os resultados de capacidade avaliativa de
mainstreaming e uso.
O desenvolvimento do ECAI seguiu cinco procedimentos estabelecidos no
desenvolvimento da medição.
1) Pesquisa da literatura para identificar as medições existentes de capacidade avaliativa;
2) Revisão da literatura para gerar um conjunto de indicadores para medir os fatores do
modelo de SUAREZ-BALCAZAR et al. (2010):
(a) Fatores individuais, incluindo consciência dos benefícios da avaliação,
motivação para conduzir avaliação e competência para se engajar em práticas
avaliativas;
(b) Fatores organizacionais, incluindo liderança para avaliação, clima de
aprendizagem para promoção do pensamento avaliativo e recursos que apoiem a
avaliação; e
(c) resultados críticos de capacidade avaliativa, incluindo incorporação práticas de
avaliação em processos de trabalho e uso dos resultados de avaliação.
3) Definição de itens (68) para medir os indicadores para cada um dos constructos;
4) Criação de painel de especialistas revisão dos itens e feedback;
5) Teste do ECAI com membros da equipe das organizações analisadas.
Os resultados sugeriram relação entre os fatores individuais e organizacionais e os
resultados da capacidade avaliativa. Especificamente, os fatores organizacionais desempenham
um papel crucial na relação entre os fatores individuais e a integração das práticas avaliativas
99
no cotidiano das organizações e também no uso dos resultados da avaliação para compreender
e aprimorar os programas. Conclui-se, adicionalmente, que os fatores organizacionais são
críticos nos processos do ECB. Foram encontradas evidências estatísticas da importância dos
fatores organizacionais na compreensão sobre capacidade avaliativa. Os resultados suportaram
que ainda que os membros da equipe tenham conhecimento e motivação para engajar-se em
atividades de avaliação, tais como mainstreaming e uso, essas atividades são menos prováveis
de ocorrer se a organização não prover liderança, suporte, recursos e clima de aprendizagem
necessários.
Para os autores, a partir da pesquisa, os esforços de ECB devem se concentrar

na liderança organizacional, na cultura de aprendizagem e no desenvolvimento de recursos
apropriados e adequados dedicados à avaliação. Isso representa uma mudança de ênfase, uma
vez que os esforços de ECB tradicionalmente focavam em fatores individuais, como motivação
e habilidades. Além disso, a ECAI ou outras medidas poderiam ser usadas depois que os tais
esforços foram concluídos para avaliar as mudanças na capacidade organizacional que refletem
os resultados nos fatores individuais, organizacionais e de resultados incluídos no modelo. O
modelo de síntese e o ECAI também podem ser usados ao longo do tempo para avaliar a
sustentabilidade da capacidade avaliativa dentro das organizações e os esforços do ECB em
andamento.
2.7.8 Modelo integrado de ECB (IECB)
Labin (2014) retorna à discussão de ECB com a atualização do framework que

desenvolveu dois anos antes: o modelo integrado de ECB (IECB).
Uma razão fundamental para se fazer o desenvolvimento da capacidade avaliativa

(ECB) é melhorar os impactos (resultados) do programa (Taylor-Ritzler et. al, 2013), que é
presumivelmente um dos principais propósitos das organizações-alvo.
O modelo original do IECB e as categorias de codificação foram derivados da literatura

teórica e empírica existente. Pesquisas de periódicos e bancos de dados foram realizadas com
o intuito de identificar ferramentas recentes que passassem a integrar, deste modo, o novo
modelo. Cada uma das ferramentas foi codificada ou categorizada pelos elementos no modelo
IECB. Isso levou a algumas expansões e modificações no modelo original.
100
O modelo expandido da IECB indica relações diretas e indiretas (Figura 16). Segundo
Labin (2014) este modelo bidimensional linear representa um instantâneo em um ponto no
tempo. As necessidades e os pontos fortes existentes (coluna I) afetam a natureza das estratégias
de ECB (coluna II), e a eficácia das estratégias será mediada por fatores de implementação,
avaliação e capacidade organizacional. Três níveis de impactos são delineados: a teoria do
programa de ECB é que os resultados individuais e organizacionais afetarão as mudanças e os
resultados no nível do programa.
Embora as mudanças individuais afetem a organizacional, há evidências significativas

de que os ambientes organizacionais e, portanto, em algum grau os fatores organizacionais são
necessários para que os resultados individuais ocorram e sejam mantidos. No entanto, uma
fotografia instantânea não captura um processo dinâmico, pelo qual os efeitos iterativos causam
ciclos de feedback. Por exemplo, os resultados organizacionais afetam a necessidade em um
ponto subsequente no tempo, o que afeta as estratégias e mediadores subsequentes.
A complexidade de questões como aquelas relacionadas à prontidão deriva, pelo menos

em parte, dessa causalidade iterativa dinâmica. Ao se medir os níveis básicos de necessidades,
estratégias associadas e mediadores (Colunas I e II) em relação aos impactos (coluna III), os
limites dos níveis ou a prontidão podem ser quantificados. Mas mesmo sem estabelecer tais
limites, a autoavaliação com o uso de construtos e indicadores comuns pode ajudar as
organizações a identificar e direcionar as lacunas de prontidão. A prontidão pode ser definida
como a disposição e a capacidade de uma organização de identificar e preencher suas lacunas
específicas (CLINTON, 2013 apud LABIN, 2014).
Um passo importante no desenvolvimento de medidas comuns é o desenvolvimento de

consenso sobre os construtos. Cada constructo indica os instrumentos que incluem indicadores
para ele, indicando também o grau de convergência entre os instrumentos.
Labin (2014) buscou estratificar cada construto para indicar os instrumentos e

indicadores para cada um dos construtos, indicando também o grau de convergência entre os
instrumentos. Como exemplo, pode-se citar o Constructo II (Atividades): 1) Estratégias; 1.1)
Teoria; 1.2) Modo: face, telefone, eletrônico, materiais escritos; 1.3) Nível: organizacional,
individual; 1.4) Tipo: envolvimento em fazer avaliação, aprender fazendo, treinamento,
assistência técnica, desenvolvimento profissional, liderança, construção de times, mentoring,
coaching, comunidade de práticas, investigação apreciativa; 1.5) Conteúdo.
101
Além desse mapeamento de várias ferramentas em uma estrutura comum, uma análise
fatorial foi conduzida com os dados de síntese originais (LABIN et al., 2012) para fornecer
informações adicionais sobre dois importantes construtos. O modelo original tinha cinco
categorias de resultados organizacionais do ECB: i) políticas, práticas e processos (PPP); ii)
mainstreaming; iii) cultura; iv) liderança; e v) recursos.
Todos os indicadores individuais de PPP e estrutura foram introduzidos em uma análise

fatorial. Os quatro indicadores de PPP incluíam fazer e usar avaliações, planejar avaliações
futuras e avaliação como parte do trabalho da equipe. Os indicadores de estrutura rotinizavam
a avaliação, fornecendo oportunidades para aprender sobre avaliação, criando novas relações
com outras organizações e planejando futuros esforços de ECB. A distinção entre PPP e
mainstreaming ou sustentabilidade foi confirmada e um terceiro fator emergiu com dois
indicadores que foram originalmente incluídos no PPP: capacidade organizacional e a
capacidade de obter financiamento. Estes resultados sugerem que a capacidade avaliativa pode
ser distinta de mainstreaming. Além disso, os resultados sugerem que a PPP sejam os principais
impactos organizacionais de ECB e outros fatores como capacidade organizacional, capacidade
avaliativa, cultura, liderança e recursos (financiamento) sejam fatores de prontidão.
Os conceitos e construtos do modelo foram operacionalizados no esquema de

codificação a partir da síntese de estudos empíricos existentes do e e em ferramentas existentes
com seus indicadores específicos para cada construto. Labin (2014) conclui que os conceitos e
construtos do modelo operacionalizados no esquema de codificação a partir da síntese de
estudos empíricos existentes de ECB e em ferramentas existentes com seus indicadores
específicos para cada um dos construtos são os alicerces para testar as relações hipotetizadas
no modelo IECB e em vários outros modelos.
102
Figura 17 - Modelo integrado de ECB de Labin et al. (2014)
III. OUTCOMES
I. NEEDS/REASONS II. ACTIVITIES
Individual Level –ECB Focused
Organizational Level – ECB Focused
II. MEDIATORS
Evaluations of programs
Organizational Capacity
Direct relationships
- - - - Indirect relationships Program Level
 Change
 Outcomes
Fonte: Labin et al., 2014.

103
2.7.9 Modelo conceitual de capacidade organizacional para fazer e utilizar avaliação de

Cousins et al. (2014)
Ainda na linha de que a maioria dos trabalhos na área se concentra apenas no lado da
oferta da avaliação (capacidade de fazer avaliação) e pouca atenção é dada ao lado da demanda
(capacidade de usar a avaliação), Cousins et al. (2014) procuraram demonstrar em um novo
estudo, cuja evolução se deu a partir do modelo anterior proposto em Cousins et al. (2008), que
a utilização das informações avaliativas nas organizações contribui para que as atividades
avaliativas sejam valorizadas pelos atores com poder decisório para promover mudanças nas
organizações ou nos programas (COUSINS; GOH; CLARK, 2005 apud COUSINS et al.,
2014). Assim, na integração da avaliação à cultura organizacional deve-se considerar que a
utilização das informações está diretamente relacionada ao valor da informação avaliativa para
a organização.
Para defender esta linha de raciocínio em torno da ênfase na capacidade para fazer
avaliação, os autores citam o modelo multidisciplinar do ECB desenvolvido por Preskill e Boyle
(2008) no qual se identifica duas principais esferas de interesse (conhecimento de avaliação,
habilidade e atitudes e prática de avaliação sustentável) com alguma consideração dada ao
contexto organizacional no qual o ECB ocorre (por exemplo, liderança, cultura e comunicação),
além do modelo integrado do ECB desenvolvido por Labin et al. (2012, 2014) o qual identifica
explicitamente os resultados do ECB e os níveis individuais (atitudes, conhecimento e
comportamento) e organizacionais (liderança, prática e recursos). Essas práticas e
comportamentos poderiam ser interpretadas como capacidade organizacional para fazer
avaliação, em vez de capacidade para utilizá-la.
Por outro lado, para que a demanda por avaliação seja desenvolvida é necessário,
preliminarmente, que os tomadores de decisão vivenciem e assimilem os benefícios da
avaliação e assim passem a disseminar e incentivar essa prática como um mecanismo para
promoção de mudanças. (SERPA, 2014).
Nesta mesma linha, Patton (2011) concebe que os avaliadores devem trabalhar em
estreita colaboração com os tomadores de decisões organizacionais para navegar na
complexidade e melhorar a inovação. A avaliação neste contexto sistêmico está intrinsecamente
ligada a usos organizacionais de investigação e evidência sistemática.
Em pesquisas recentes. Henry e Mark (2004) identificaram usos instrumentais,

conceituais e simbólicos (persuasivos e legitimatizados) dos achados da avaliação e dos fatores
104
e condições que promovem esse uso. Por exemplo, a utilidade tem sido um elemento explícito
e significativo do Joint Committee Standards for Educational Evaluation. Padrões de Avaliação
de Programas desde a sua criação no início dos anos 80 e os usos apropriados da avaliação são
inerentes aos princípios orientadores da AEA. (COUSINS et al., 2014).
O uso bem-sucedido de dados de avaliação em organizações promove sua valorização

pelos membros bem como uma poderosa força para mudanças organizacionais e de programas
(COUSINS; GOH; CLARK, 2005 apud COUSINS et al., 2014).
Para Cousins et al. (2014), o ECB direto é sempre intencional, mas o ECB indireto não
é necessariamente assim. O constructo central válido no ECB indireto é o uso no processo.
Através da experiência direta ou da proximidade da avaliação, os stakeholders não-avaliadores
aprendem novas formas de conceituar; eles aprendem a pensar "de forma avaliativa". Deste
modo, os autores deduziram que ao aceitar como razoáveis e justificáveis que as considerações
de consequência deveriam ser integradas numa concepção do ECB, então um próximo passo
lógico deveria ser dado, o de descompactar conceitualmente essa noção em um framework de
capacidade avaliativa.
Como dito anteriormente, o modelo evoluiu a partir de uma integração e análise prévia
da pesquisa e intercâmbio colaborativo entre os membros do grupo de pesquisa dos autores.
Utilizou-se como unidade de análise a organização com o desafio de integrar a avaliação

na cultura organizacional (Cousins et al., 2004) e a concepção de avaliação como sistema de
aprendizagem organizacional. O modelo emergiu a partir de um estudo de caso múltiplo
realizado nos anos de 2007 e 2008, conforme visto anteriormente, com organizações do
Governo Canadense. Apesar do desafio de integração e síntese dos dados, os autores defendem
que a pesquisa fornece um olhar detalhado sobre a capacidade avaliativa organizacional em
uma série de organizações comprometidas com a melhoria de suas capacidades.
O foco do modelo buscou integrar a capacidade de fazer e usar a avaliação e, como tal,
considerar a capacidade avaliativa e quais efeitos seriam prováveis de se associarem. Isso é
representado no lado direito da FIGURA 17, sendo a unidade de análise a organização. No lado
esquerdo, representou-se as condições antecedentes e forças que influenciam ou ajudam a
determinar a capacidade avaliativa dentro da organização.
105
Antecedentes do ECB. Foram capturadas as principais forças e influências no ECB

organizacional em duas construções: fontes de conhecimento, aptidões e habilidades de
avaliação (C / A / H) e estruturas de suporte organizacional
As fontes de conhecimento, aptidões e habilidades ( C / A / H ) relacionam-se de forma

muito direta ao desenvolvimento de competências dos avaliadores e, sobretudo, treinamento
pré e em serviço.
O aprendizado por fazer pode surgir através de cursos formais, aprendizagem incidental
ou por ação, trabalho colaborativo em equipes, mecanismos de orientação, auto-aprendizagem.
Assim, as fontes de C / A / H trabalham para melhorar a capacidade de fazer avaliação. Isso
ocorreria primeiro, no indivíduo, e depois no nível organizacional, como a transferência de
aprendizagem ocorre. Tais fontes estão fortemente concentradas em métodos e práticas de
avaliação. Há sobreposição das mesmas com as estruturas e suporte organizacional, um segundo
constructo antecedente à capacidade de fazer e utilizar avaliação que será analisado a seguir.
Figura 18 – Modelo conceitual de Cousins et al. (2014) para descrever a capacidade

organizacional de fazer e utilizar avaliação
Capacidade
avaliativa para Investigação Condições
FAZER avaliativa mediadoras
avaliação
Fontes de
Conhecimento,
Competências e
habilidades
Capacidade
para USAR
avaliação
Estruturas e
suportes
organizacional Capacidade de
aprendizado
organizacional
Consequências
organizacionais
Legenda
Condições antecedentes que afetam a capacidade avaliativa
Processos e capacidade avaliativa
Consequências da avaliação
FONTE: Cousins et. al., 2014.

106
Para Cousins et al. (2014) As estruturas e o suporte organizacional incluem a baixa

formalização do trabalho e a aquisição de conhecimentos e habilidades organizacionais
relevantes e apropriados pelos membros da organização. Eles também são representados por
sistemas de recompensa, sob a forma de mecanismos de incentivos formais e informais e várias
estruturas de comunicação dentro da organização, que servem para promover o fluxo horizontal
e vertical de conhecimento e informação. As atividades de desenvolvimento profissional, seja
formal ou informal, representam ainda outra estrutura de suporte organizacional. Tais
atividades podem ser vinculadas de forma direta ao treinamento de avaliação, por isso a
representação de sobreposição com fontes de C / A / H. Estruturas e suporte organizacional é
um constructo antecedente no framework originalmente desenvolvido por Goh em seu trabalho
de aprendizagem organizacional (GOH, 2000 apud COUSINS et al, 2014) cujo impacto
potencial é a capacidade de fazer e usar avaliação dentro da organização.
Representados no lado superior direito da FIGURA 18, a capacidade organizacional

para fazer e usar a avaliação são elementos associados à natureza da capacidade avaliativa
organizacional e dimensões associadas. As conseqüências dessa capacidade estão representadas
na parte inferior da figura e são descritas abaixo.
Na interpretação de Cousins et al (2014), a capacidade para fazer avaliação surge

predominantemente de treinamento formal ou informal ou das oportunidades de aprendizagem.
Essa capacidade refletiria a transferência de conhecimentos, aptidões e habilidades do
treinamento para aplicações de trabalho. Aplicações podem significar planejar e elaborar a
avaliação; incluindo o desenvolvimento e validação de instrumentos; considerações éticas;
coleta de dados; processamento, análise e interpretação de dados; relatórios e acompanhamento;
dentre outros. A capacidade de fazer avaliação ainda seria representada não apenas pelo
conhecimento técnico processual, mas também por outras aptidões (skills softs), como
resolução de conflitos, dinâmicas interpessoais apropriadas para a cooperação no trabalho em
equipe, habilidades para facilitação.
A investigação avaliativa implica a natureza e extensão em que as práticas avaliativas

ocorrem dentro da organização. A investigação pode ser executada por meio de projetos de
avaliação internos ou comandada por avaliadores externos. Dependendo das necessidades de
informação da organização, tais projetos podem ser de natureza formativa ou somativa; usar
métodos quantitativos, qualitativos ou mistos; ser completamente implementados por
avaliadores treinados; ou, alternativamente, serem altamente colaborativos e participativos. As
107
avaliações podem ser abrangentes para cobrir um programa ou podem ocorrer ao longo do
tempo em um conjunto sequenciado de projetos.
As condições de mediação servirão para temperar ou moldar o impacto da avaliação

dentro da organização. Tais condições foram identificadas a partir de pesquisa sobre o uso da
avaliação (COUSINS, 2003; SHULHA; COUSINS, 1997 apud COUSINS et al, 2014), como
também, mais especificamente, em pesquisa empírica sobre avaliação governamental
(COUSINS et al., 2008) e referem-se à tempestividade, natureza construtiva do feedback,
necessidades de informação dos usuários primários, credibilidade dos achados, acessibilidade
aos usuários primários, comunicabilidade, envolvimento dos stakeholders não-avaliadores e
relevância para as prioridades de decisão.
A capacidade de usar a avaliação é, desta forma, um constructo que reflete a natureza e

a extensão em que o uso e a influência da avaliação ocorrem dentro da organização (por
exemplo, COUSINS et al., 2004; MARK; HENRY, 2004; SHULHA; COUSINS, 1997 apud
COUSINS et al., 2014).
Neste ponto, surge um questionamento para Cousins et al., 2014: Em que medida o
programa-chave e os tomadores de decisão têm conhecimento sobre os processos e resultados
da avaliação?
Os usos conscientemente planejados dos achados avaliativos deveriam incluir usos

instrumentais como suporte à decisão, seja no nível de disposição do programa (por exemplo,
término, continuidade e expansão) ou revisão do programa para sua melhoria; usos conceituais
ou educacionais refletidos pelo aprendizado e descoberta associados ao próprio programa ou
aos seus efeitos (intencional, não intencional) em curso; e usos simbólicos ou persuasivos, como
o processo de valoração do programa, conformidade com os comandos de financiadores do
programa e de dirigentes. O uso dos achados pode ser planejado e / ou consciente, ou o impacto
pode assumir a forma de influência casual sobre a forma de ver a organização, o programa e a
tomada de decisão.
A influência e o uso podem também surgir de processos de avaliação,

independentemente da natureza dos achados ou do conteúdo proveniente dos dados avaliativos.
O uso e a influência do processo ocorrem através da participação ou envolvimento do membro
da organização na avaliação, seja por proximidade ou através da construção de relacionamentos
entre avaliadores, treinados e stakeholders não-avaliadores (COUSINS, 2007; FORSS;
REBIEN; CARLSSON, 2002; PATTON, 2008 apud COUSINS et. al., 2014).
108
Como exemplos, seriam o desenvolvimento de conhecimentos e habilidades na lógica

de avaliação ou o desenvolvimento de uma abordagem de opinião para negócios e processos
organizacionais de rotina. O uso no processo pode ser conscientemente planejado ou pode surgir
incidentalmente através de indagação avaliadora ou exposição a ele.
A partir da visão de integrar a avaliação na cultura organizacional e de posicionar a

avaliação como um sistema de aprendizagem organizacional, a capacidade organizacional para
avaliação passa a estar naturalmente relacionada à capacidade de aprendizagem organizacional,
uma construção multifacetada composta por blocos chave estratégicos encontrados nas
organizações que aprendem (GOH, 2000 apud COUSINS et al., 2014).
Tais blocos são elencados da seguinte forma: missão e visão, liderança, cultura de
experimentação, transferência de conhecimento e trabalho em equipe e cooperação. São
dependentes, porém, das estruturas e suporte organizacional, ao passo que são aprimorados pela
investigação avaliativa sistemática.
Em face disso, COUSINS et al. 2005 apud COUSINS et al., 2014 constatou: quanto
mais uma organização experimenta o uso bem-sucedido da avaliação, mais inclinada estaria
para engajar-se em tal prática, consoante a hipótese dos autores de que o uso dos dados leva à
valoração dos dados.
O uso da avaliação no processo de forma planejada surgiu como um meio potencial de

criar um processo organizacional sustentável, com base no comprometimento das pessoas nas
atividades de avaliação (KING, 2007).
A capacidade de uma organização para usar a avaliação pode ser subdividida em dois
fatores: uso no processo e uso dos achados (GAGNON et al., 2018):
O uso no processo refere-se e é indicado por mudanças individuais no

pensamento e comportamento e mudanças no programa ou organização nos
procedimentos e cultura, que ocorrem entre os envolvidos na avaliação como
resultado da aprendizagem que ocorre durante o processo avaliativo. A
evidência do uso no processo é representada por declarações como esta após
uma avaliação: "O impacto em nosso programa veio não apenas dos
resultados, mas também em passar pelo processo de pensar que a avaliação
exigiu". (PATTON, 1997, p. 90)
Com base neste conceito, para Alkin e King (2016), se, por exemplo, o programa foi
alterado devido ao processo de reflexão inspirado no envolvimento na avaliação, então essa era
uma indicação do uso no processo. Ou o avaliador pode ter indicado que determinados tipos de
dados seriam coletados como parte da avaliação. Uma compreensão das medidas a serem
109
utilizadas pode levar ao reconhecimento das deficiências do projeto antes de qualquer

informação de avaliação ter sido coletada.
O uso no processo tem sido desde então vinculado a abordagens colaborativas,

participativas, empoderadoras, centradas na utilização e orientadas para a aprendizagem
avaliativa que defendem vários níveis de envolvimento direto ou indireto dos stakeholders no
processo de avaliação (COUSINS; EARL, 1992; FETTERMAN, 2003; PRESKILL;
CARACELLI, 1997, PRESKILL et al., 2003 apud AMO; COUSINS, 2007). O uso no processo
também se apresenta conceitualmente muito próximo de outras conseqüências da avaliação
observadas, como o aprendizado organizacional (COUSINS et al., 2004; PRESKILL, 1994
apud AMO; COUSINS, 2007), desenvolvimento da capacidade avaliativa (STOCKDILL et.
al., 2002). e influência da avaliação (KIRKHART, 2000 apud AMO; COUSINS, 2007).
O uso no processo relaciona-se ainda à medida em que os membros de uma organização

e colaboradores externo se beneficiam por estar perto ou participar da avaliação (Cousins et al.,
2004). Como Patton (2008) sugere, o uso no processo é uma consequência adicional discernível
da participação dos stakeholders nas atividades de avaliação ou conhecimento de suas
atividades de avaliação. Em razão de sua proximidade com a avaliação, o envolvimento dos
stakeholders na avaliação pode se desenvolver de maneiras que sejam bastante independentes
dos achados da avaliação ou do conhecimento emergente da investigação avaliativa. Por
exemplo, a participação na avaliação pode levar a uma melhor compreensão compartilhada do
modelo lógico de um programa, um hábito de pensar avaliativo individual ou coletivo, ou uma
tendência maior de questionar as premissas básicas acerca do programa ou política.
O uso dos achados refere-se às formas de uso tradicional, especificamente instrumentais,

conceituais e simbólicas (WEISS, 1979 apud GAGNON et al., 2018). Por exemplo, inclui
suporte para a tomada de decisão organizacional ou do programa de uma forma instrumental
ou o uso dos resultados da avaliação de uma forma simbólica (por exemplo, de conformidade)
ou política (por exemplo, persuasiva) (COUSINS et al., 2004).
Segundo Alkin e King (2016), alguns escritores identificaram erroneamente o uso no

processo como um tipo de uso paralelo ao uso instrumental ou conceitual. Deve-se notar,
porém, que o uso no processo não é uma categoria de uso adicional. Em vez disso, ele se refere
à fonte do estímulo - isto é, o processo e não os achados.
Assim como com o uso de achados, o uso no processo tem conseqüências instrumentais
e conceituais (ALKIN; TAUT, 2003). Dito isso, Alkin e King (2016) concluem que o processo
110
pode levar a decisões ou ações de programas que ocorrem ou a mudanças no pensamento e

compreensão sobre si mesmo, o programa ou a organização. Assim, uma distinção pode ser
feita entre o uso de resultados e o uso no processo, sendo cada um empregado de forma
instrumental ou conceitual. Além disso, os usos simbólico e legitimador emanam do processo
de avaliação. O uso legitimador, porque depende dos achados da avaliação para racionalizar
uma decisão anterior, situa-se na categoria de uso de resultados; O chamado uso simbólico, que
depende apenas do processo que está sendo conduzido, está na categoria de uso no processo. A
Figura 19 abaixo ilustra os diferentes tipos de uso:
Figura 19 – Tipos de uso associados com os achados e o processo
USO DOS ACHADOS USO NO PROCESSO
INSTRUMENTAL INSTRUMENTAL
CONCEITUAL CONCEITUAL
LEGITIMATIVO SIMBÓLICO
FONTE: Elaborado a partir de Alkin e Taut, 2003.
Alkin e King (2016) explanam ainda que o uso no processo pode ocorrer em momentos
diferentes quando comparado ao uso dos achados. O uso no processo instrumental ou conceitual
pode ocorrer durante o curso da avaliação ou na sua conclusão. No último caso, pode-se
considerar o resultado líquido e o impacto da participação no processo avaliativo completo. Em
uma avaliação participativa, por exemplo, pode-se esperar que as habilidades avaliativas sejam
adquiridas pela conclusão do processo de avaliação (uso no processo instrumental) ou que as
atitudes das pessoas mudaram e podem ser aplicadas a outras situações (uso no processo
conceitual).
Não obstante, Cousins et al. (2007) e Preskill e Torres (2000) ampliam a idéia de uso no
processo para o impacto nos níveis organizacional e da equipe. Amo e Cousins (2007) explicam
o mecanismo que transforma o uso no processo para a construção da capacidade organizacional
e, em última análise, para um maior uso da avaliação. Segundo estes o uso no processo é
pensado para melhorar a prontidão organizacional para a avaliação através do aumento da
111
capacidade organizacional para fazer e usar a avaliação. O impacto do processo avaliativo sobre
o desenvolvimento da organização pode ocorrer durante o processo de avaliação ou na sua
conclusão. Do mesmo modo, uma maior apreciação do valor do engajamento no processo de
avaliação pode ser adquirida durante o processo, bem como na sua conclusão.
Segundo Amo e Cousins (2007) apud Shaw e Campbell (2014), o uso no processo é
muitas vezes referido como o desenvolvimento do "pensamento avaliativo": como a equipe do
programa e as organizações mudam como resultado da participação em uma avaliação,
independentemente dos achados da avaliação. Quando o uso no processo é explicitamente
avaliado, faz-se por meio da medição de como um projeto de avaliação contribuiu para
obtenção de novos conhecimentos sobre métodos de avaliação (por exemplo, aquisição de
habilidades na análise de dados), mudanças nos sentimentos e atitudes sobre a avaliação (por
exemplo, redução ansiedade sobre a avaliação) e comportamentos emergentes quanto à
institucionalização da avaliação dentro da organização (por exemplo, mudança de processos
internos, como a manutenção de registros, para facilitar a avaliação contínua). Essas três
categorias amplas são muitas vezes referidas como aprendizado, mudanças no aspecto
emocional / atitudes e na ação / comportamento, respectivamente.
A partir do referencial anterior e adotando a lógica de que o uso no processo para

fortalecimento da aprendizagem organizacional e ECB envolve, fundamentalmente, uma
abordagem colaborativa para avaliação, é importante trazer os argumentos propostos por
Shulha et al. (2015) ao desenvolverem um conjunto de princípios (Figura 20) que guiam tal
abordagem:
112
Figura 20 – Modelo integrado de princípios para uso em abordagens colaborativas guiadas para
avaliação (CAE)
CLARA
MOTIVAÇÃO
PARA
COLABORAÇÃO
PROMOÇÃO DE
PROMOVER
PROCESSOS
PENSAMENTO
PARTICIPATIVOS
AVALIATIVO
APROIPRIADOS
MONITORAR A
DISPONIBILIDADE
DE RECURSOS
Fonte: Shulha et al., 2015.
Os princípios apresentados na figura anterior como conjunto interconectado são

fundamentados nas experiências de mais de 300 avaliadores praticantes os quais foram parte da
pesquisa realizada pelos autores no Canadá.
O conjunto de princípios não é um menu a partir do qual os avaliadores devem escolher

ao adotar o trabalho colaborativo. A adesão aos princípios individuais é uma questão de grau,
em oposição a uma proposição "utilizar ou não". Em suma, cada princípio é essencial para a
prática de avaliação em um contexto colaborativo; O grau de importância de um determinado
princípio dependerá inteiramente de condições contextuais, circunstâncias e complexidades.
Uma segunda consideração é que princípios não devem ser priorizados. Para reiterar,
argumenta-se que uma decisão sobre qual princípio enfatizar e quando, provavelmente,
dependerá do propósito da avaliação, do estágio da avaliação, do contexto em que a aplicação
CAE está sendo implementada e do surgimento de complexidades à medida que a avaliação se
desenvolve.
113
Quadro 14 – Princípios de construção para orientar abordagens colaborativas para avaliação.
PRINCÍPIOS FATORES QUE CONTRIBUEM PARA:
Esclarecer motivação para colaboração Propósito da avaliação

Expectativas dos stakeholders e avaliador
Necessidades do processo e informações
Promover relações significativas Respeito, confiança e transparência

Interatividade estruturada e sustentável
Competência cultural
Desenvolver uma compreensão compartilhada do programa Lógica do programa

Contexto organizacional
Promover processos participativos apropriados Diversidade dos stakeholders

Profundidade da participação
Controle da Tomada de decisões
Monitorar e responder à disponibilidade de recursos Tempo

Orçamento
Pessoal
Monitorar a qualidade e progresso da avaliação Design da avaliação

Coleta de dados
Promover pensamento avaliativo Orientação investigativa

Foco na aprendizagem
Dar sequência à avaliação até perceber o uso Impactos práticos

Impactos de transformação
Fonte: Shulha et al., 2015.
2.7.10 Estudo de caso múltiplo com quatro organizações canadenses de três setores
diferentes.
Bourgeois et al. 2015 desenvolveram um estudo de caso múltiplo de capacidade

avaliativa em quatro organizações de três setores diferentes (uma sem fins lucrativos, uma do
governo provincial e duas do governo federal). Foi aplicada um único instrumento de
mensuração comum desenvolvido em 2013 pelos autores, o que torna a pesquisa relevante do
ponto de vista empírico. A análise cross-case apresentada na pesquisa revela que a capacidade
de avaliação tende a ser maior, tanto em termos de capacidade de fazer quanto de capacidade
de uso, em organizações que desenvolveram mecanismos sistemáticos para instituir uma cultura
avaliativa em âmbito interno. Além disso, constatou-se que a capacidade de usar avaliação não
exige, em primeiro lugar, capacidade para fazer.
114
Um dos objetivos da pesquisa foi identificar as características organizacionais que são

específicas para cada tipo organizacional e que podem ter um impacto na capacidade avaliativa.
O primeiro passo no processo de coleta de dados foi conduzir entrevistas com informantes-
chave com um número de stakeholders em cada organização para obter o perfil de cada
organização. Uma vez elaborados tais perfis, o segundo passo
envolveu medir a capacidade avaliativa de cada organização usando o instrumento de auto-
avaliação de capacidade avaliativa.
O instrumento usa um processo de construção de consenso para avaliar vários itens

relacionados à capacidade organizacional de fazer e usar a avaliação em duas escalas Likert: a
primeira escala requer que os avaliadores identifiquem até que ponto o item corresponde ao
contexto organizacional, enquanto a segunda enfoca na aplicabilidade do item na organização.
As seis dimensões exploradas no instrumento incluem: recursos humanos, recursos
organizacionais, planejamento e atividades de avaliação, alfabetização de avaliação, tomada de
decisões organizacionais e benefícios de aprendizagem.
Cada uma dessas seis dimensões é subdividida em sub-dimensões mais precisas, para
um número total de 19. Os itens apresentados no instrumento são todos organizados por
subdimensionamentos. O instrumento calcula automaticamente a pontuação média por
subdivisão e dimensão. Com base na pontuação obtida para cada subdimensão, o instrumento
produz um nível de capacidade (baixo, em desenvolvimento, intermediário e exemplar).
É fornecida, assim, uma descrição do nível de capacidade atingido para cada

subdimensão, com base em uma estrutura derivada empiricamente da capacidade avaliativa
organizacional. Em relação aos achados do estudo, verificou-se que a capacidade de avaliação
parece aumentar à medida que a avaliação se torna institucionalizada e formalizada nas
organizações. Em outras palavras, a institucionalização produz mais recursos para avaliação, o
que, por sua vez, leva a uma maior capacidade de fazer avaliação.
Também foi notado que pode haver uma correspondência entre a capacidade de uma
organização de fazer e a capacidade de usar a avaliação. De acordo com essa lógica, a
capacidade mais desenvolvida para fazer avaliação leva a estudos avaliativos de maior
qualidade, o que, por sua vez, leva a uma melhor utilização. O oposto também é provavelmente
verdadeiro: uma maior demanda por avaliação e interesse em práticas baseada em evidências
resulta em níveis mais altos de recursos para avaliação e maior capacidade de fazer trabalhos
avaliativos da qualidade.
115
2.8 DIMENSÕES COMUNS AOS MODELOS DE CAPACIDADE AVALIATIVA
Em relação aos modelos conceituais e empíricos anteriormente apresentados, Cheng e

King (2017) destacam quatro temas comuns (estrutura avaliativa, recursos organizacionais,
recursos humanos e cultura avaliativa) a todos os estudos existentes que abordam diretamente
as dimensões de capacidade avaliativa. Os temas destaques são relacionados às respectivas
dimensões que os autores utilizaram em seu trabalho no Quadro 15.
Quadro 15 – Dimensões comuns a vários modelos associados por Cheng e King (2017)
DIMENSÕES COMUNS DE CAPACIDADE AVALIATIVA

continua
DIMENSÕES ESTRUTURA / RECURSOS RECURSOS CULTURA
AUTORES SUPORTE PARA ORGANIZACIONAIS HUMANOS AVALIATIVA
AVALIAÇÃO
Cousins et al. (2008) - Objetivos - Recursos Técnicos para - Força de
Nielsen et al. (2011) Forças motivacionais coletas e análise de dados trabalho e
Taylor-Ritzler et al. - Planejamento e para qualidade da avaliação desenvolvimento
(2013) Atividades (modelos de avaliação, profissional
Bourgeois e Cousins - Ambiente ferramentas, métodos, base - Capital humano

organizacional de dados, sistemas de dados, - Recursos
(2013)
- Recursos software e hardware) Humanos
- Estruturas e Processos - Fatores
- Fatores individuais
Organizacionais - Capacidade para
- Capacidade para fazer fazer avaliação
avaliação
Labin et al. (2012) - Processos, políticas e - Recursos como impacto do - Liderança como - Cultura como
Labin (2014) práticas como impacto ECB impacto do ECB impacto do ECB
do ECB
Cousins et al. (2008) - Política avaliativa - Recursos Financeiros
Nielsen et al. (2011) - Planejamento
Bourgeois e Cousins - Diretrizes
(2013) - Profissionais padrão

para avaliação de
qualidade
Nielsen et al. - Unidade de avaliação - Conhecimento
(2011) avaliativo e
Bourgeois e Cousins habilidades dos

avaliadores
(2013)
116
DIMENSÕES COMUNS DE CAPACIDADE AVALIATIVA

conclusão
Taylor-Ritzler et al. - Acesso a especialistas - Liderança
(2013) e trabalho em rede
Bourgeois e Cousins parcerias com governos
(2013) ou com a comunidade

de avaliação.
- Desenvolvimento
Profissional
Taylor-Ritzler et al. - Compartilhamento de
(2013) informações dentro da
Bourgeois e Cousins unidade de avaliação ou
(2013) com a organização.
Cousins et al. (2008) - Tempo dedicado à

Taylor-Ritzler et al. avaliação
(2013)
Bourgeois et al. (2008) - Conhecimentos,
Preskill e Boyle (2008) aptidões /
Labin et al. (2012) habilidades e
Labin (2014) atitudes como

impactos do ECB
Bourgeois et al. (2008) - Capacidade de
Cousins et al. (2008) uso da avaliação
em termos de uso
dos achados e no
processo
Cousins e Bourgeois - Integração da
(2014) avaliação
Preskill e Boyle (2008) - Prática avaliativa

Taylor-Ritzler et al. sustentável e
(2013) regular
Bourgeois e Cousins - Alfabetização

(2013) avaliativa
- Integração com a
tomada de decisões
- Benefícios da
aprendizagem
Taylor-Ritzler et al. Motivação e
(2013) consciência
individual e
práticas avaliativas
como parte do
processo de
trabalho e uso dos
achados
Fonte Elaborado a partir de Cheng e King, 2017.

117
2.9 SELEÇÃO DO MODELO DE ANÁLISE PARA A PESQUISA
A partir dos modelos apresentados na revisão de literatura, optou-se por aplicar na

pesquisa empírica o modelo conceitual de Cousins et. al (2014) em função dos fatores abaixo
elencados:
i) O modelo conceitual foi amplamente discutido e testado em estudos de caso em

organizações públicas do Canadá;
ii) A gestão pública por resultados (GPR) desenvolvida no Canadá a partir da década de 90
alinha-se com as ferramentas e modelo de gestão adotados na administração pública
brasileira, inspirados na New Public Management - NPM.
iii) Trata-se de um modelo concebido em sua primeira versão em 2004 e aprimorado ao
longo do período através de diversas pesquisas (2008 e 2014);
iv) Em 2004, os autores identificaram que a investigação avaliativa e a capacidade de
aprendizado organizacional eram fatores importantes para o desenvolvimento de uma
cultura de aprendizado avaliativo;
v) O questionário gerado em 2008, um instrumento híbrido, usou escalas existentes e
também novas escalas desenvolvidas especificamente para o estudo. Para esse fim, os
autores ampliaram a pesquisa anterior realizada, com o objetivo de coletar dados sobre
a percepção e opinião dos avaliadores internos que atuavam em organizações
canadenses com capacidade avaliativa desenvolvida ou com capacidade para fazer
avaliações e, também, aquelas com capacidade organizacional para utilizar os resultados
e os processos da avaliação, com vistas a subsidiar os processos decisórios. Em 2008
verificou-se, sobretudo, as potenciais condições (mecanismos) que mediavam o uso dos
achados, o uso no processo e a participação dos stakeholders para o desenvolvimento
de capacidade avaliativa. O modelo forneceu, ainda, segundo os autores uma abordagem
promissora para medir a capacidade avaliativa fundamentado em pesquisa teórica e
empírica, bem como em base de metodologias qualitativas e quantitativas;
vi) Adotando como premissa de que a maioria dos trabalhos na área se concentra apenas no
lado da oferta da avaliação (capacidade de fazer avaliação) e que pouca atenção era dada
ao lado da demanda (capacidade de usar a avaliação), Cousins et al. (2014) procuraram
demonstrar em um novo estudo, cuja evolução se deu, como mencionado, a partir do
modelo anterior proposto, que a utilização das informações avaliativas nas organizações
contribui para que as atividades avaliativas sejam valorizadas pelos atores com poder
118
decisório para promover mudanças nas organizações ou nos programas. Assim, na

integração da avaliação à cultura organizacional deve-se considerar que a utilização das
informações está diretamente relacionada ao valor da informação avaliativa para a
organização. Utilizou-se como unidade de análise a organização com o desafio de
integrar a avaliação na cultura organizacional e a concepção de avaliação como sistema
de aprendizagem organizacional;
vii) O foco do modelo buscou integrar de forma ampla a capacidade de fazer e usar a
avaliação e, como tal, considerar a capacidade avaliativa e quais efeitos seriam
prováveis de se associarem.
viii) A unidade de análise no modelo, tal como proposto na presente pesquisa, é a
organização, representada no lado direito da FIGURA 18. No lado esquerdo,
representam-se as condições antecedentes e forças que influenciam ou ajudam a
determinar a capacidade avaliativa dentro da organização;
ix) O modelo ora proposto converge, integra ou amplia várias das dimensões exploradas
por outros autores como Nielsen et. al (2011), Taylor-Ritzler et al. (2013) e Bourgeois
e Cousins (2013), conforme visto em Cheng e King (2017);
x) O modelo do questionário para análise da capacidade avaliativa foi validado por Gagnon
et. al (2018);
xi) Esforços anteriores de validação sugerem que o questionário mede a capacidade de uma
organização de fazer e usar avaliações no setor público. Resultados da administração de
pesquisa com avaliadores internos do governo federal canadense mostraram boa
consistência interna (p.ex., alfa de Cronbach acima de 0,80) em escores de subescala
associados a categorias no modelo conceitual. Outrossim, antes do estudo realizado por
Gagnon et. al (2018), nenhuma evidência foi fornecida na extensão de que a escala e as
subescalas correspondiam às estruturas teóricas e racionais subjacentes à capacidade de
uma organização fazer e usar a avaliação.
Através de uma análise secundária do conjunto de dados original usado pelos autores
(2008, 2014), o trabalho desenvolvido por Gagnon et. al (2018) buscou fornecer evidências
relacionadas à estrutura da validade de constructo do instrumento, o qual foi administrado,
originalmente, no Canadá em 2007.
De acordo com os autores, uma medida validada de capacidade organizacional para

fazer e usar avaliação em âmbito governamental permitirá que pesquisadores e profissionais
entendam melhor as condições que estimulam tal capacidade dentro de uma organização.
119
Uma conceituação atual da capacidade avaliativa nas organizações define o ECB como
um processo intencional que visa aumentar a motivação individual, o conhecimento, as
habilidades e para melhorar a capacidade de uma organização de conduzir e usar avaliações
(LABIN et al., 2012)
Conceitualmente, três correntes de investigação apoiam esta definição atual: a

capacidade da organização de fazer avaliação, a capacidade organizacional de usar a avaliação
e o aprendizado organizacional. O primeiro fluxo, a capacidade organizacional de fazer a
avaliação, concentra-se em como desenvolver dentro das organizações o conhecimento e as
habilidades necessárias para conduzir ou comissionar avaliações que sejam metodologicamente
defensáveis e relevantes para as necessidades de informação organizacional (BAIZERMAN et
al., 2002; MILSTEIN et al., 2002; PRESKILL; BOYLE, 2008)
O segundo fluxo, a capacidade organizacional de usar avaliações, dimensiona a

capacidade avaliativa não apenas na habilidade de fazer avaliação de qualidade, mas também
no uso dentro do contexto organizacional (STOCKDILL et al., 2002). A premissa é que o ECB
eficaz exige uma ampla demanda de avaliação e que a sustentabilidade para conduzir a
avaliação depende da medida em que a avaliação é usada dentro da organização. Como
argumentado anteriormente por Cousins et al. (2004), a integração da avaliação na cultura das
organizações tem a ver com as conseqüências da avaliação, assim como o desenvolvimento de
habilidades e conhecimento da lógica e dos métodos de avaliação. Este último argumento
conecta a capacidade organizacional de usar avaliação com a aprendizagem organizacional.
Argumenta-se que a investigação avaliativa, ou seja, a investigação sistemática que leva

a julgamentos sobre o mérito, o valor e a importância do programa em apoio à tomada de
decisões, é uma forma de sistema de aprendizagem organizacional. (COUSINS et al., 2004;
PRESKILL, 1994; PRESKILL; TORRES, 1999). Quando integrada à cultura organizacional,
acredita-se que a investigação avaliativa se torna parte integrante da criação e compartilhamento
de novos conhecimentos (COUSINS et al., 2004; PRESKILL; TORRES, 1999). Mediada pela
prontidão organizacional para avaliação, a investigação avaliativa deve explicar a variação
dentro e entre organizações da capacidade de aprendizagem organizacional. Ou seja, quanto
mais integrada for uma função avaliativa dentro de uma determinada organização, melhor
compreendida e mais útil será a avaliação para os stakeholders. A evidência de vários estudos
de caso sugere que, de fato, a prontidão organizacional para avaliação modera a variação intra
e interorganizacional da capacidade de aprendizado organizacional (COUSINS et al., 2014).
120
O framework adotado neste modelo de análise que contempla o constructo da estrutura

de Capacidade Organizacional para fazer e usar avaliações medida pelo Questionário de
Capacidade Avaliativa em Organizações – ECOQ foi validado por Gagnon et al. (2018). Como
parte de um programa de pesquisa empírica de método misto e aplicada ao longo de vários anos,
os autores desenvolveram o questionário para gerar uma série de descobertas sobre o ECB e
capacidade avaliativa organizacional (2008, 2014).
121
3. PROCEDIMENTOS METODOLÓGICOS
A presente pesquisa qualitativa e quantitativa, de natureza exploratória e descritiva,

utilizará a abordagem de estudo de caso.
Segundo Cooper e Schindler (2011), a pesquisa qualitativa visa atingir um entendimento

mais aprofundado de uma situação ou sobre um fenômeno específico. Esse entendimento
converge ao parecer de Flick (2009), segundo o qual, em pesquisa qualitativa, os objetos não
podem ser reduzidos a simples variáveis, mas sim representados em sua totalidade, no âmbito
dos contextos cotidianos.
As características da pesquisa qualitativa são: objetivação do fenômeno; hierarquização

das ações de descrever, compreender, explicar, precisão das relações entre o global e o local
em determinado fenômeno; observância das diferenças entre o mundo social e o mundo natural;
respeito ao caráter interativo entre os objetivos buscados pelos investigadores, suas orientações
teóricas e seus dados empíricos; busca de resultados os mais fidedignos possíveis; oposição ao
pressuposto que defende um modelo único de pesquisa para todas as ciências.
A despeito do enfoque qualitativo, também está prevista a adoção de instrumento de

mensuração após a coleta de dados uma vez que será analisado o nível de capacidade avaliativa
da organização considerada como unidade de análise. Para tanto, está previsto o uso do software
SPSS.
Quanto à abordagem quantitativa, esclarece Fonseca (2002):
Diferentemente da pesquisa qualitativa, os resultados da pesquisa quantitativa

podem ser quantificados. Como as amostras geralmente são grandes e
consideradas representativas da população, os resultados são tomados como
se constituíssem um retrato real de toda a população alvo da pesquisa. A
pesquisa quantitativa se centra na objetividade. Influenciada pelo positivismo,
considera que a realidade só pode ser compreendida com base na análise de
dados brutos, recolhidos com o auxílio de instrumentos padronizados e
neutros. A pesquisa quantitativa recorre à linguagem matemática para
descrever as causas de um fenômeno, as relações entre variáveis, etc. A
utilização conjunta da pesquisa qualitativa e quantitativa permite recolher
mais informações do que se poderia conseguir isoladamente. (FONSECA,
2002)
122
A pesquisa quantitativa, que tem suas raízes no pensamento positivista lógico, tende a
enfatizar o raciocínio dedutivo, as regras da lógica e os atributos mensuráveis da experiência
humana. Por outro lado, a pesquisa qualitativa tende a salientar os aspectos dinâmicos,
holísticos e individuais da experiência humana, para apreender a totalidade no contexto
daqueles que estão vivenciando o fenômeno (POLIT et al., 2004)
A abordagem adotada na realização da pesquisa é o estudo de caso. O método é usado
para realização de estudos acerca de fenômenos individuais, grupais, sociais e organizacionais
e quando as questões de pesquisa exigirem uma descrição ampla e profunda de um fenômeno
específico (YIN, 2010), conforme está previsto no objetivo específico que analisará os fatores
que podem contribuir para o desenvolvimento da capacidade avaliativa na organização.
Pretende-se adotar a pesquisa aplicada a fim de gerar conhecimentos para utilização

prática sobre capacidade avaliativa, dirigidos à solução de problemas específicos a partir dos
resultados da análise, tais como recomendações para o aprimoramento da ação governamental
implementada pela organização, bem como para o desenvolvimento da capacidade avaliativa e
do nível de aprendizagem organizacional.
A pesquisa apresenta natureza exploratória com objetivo de proporcionar maior

compreensão sobre o problema, com vistas a torná-lo mais explícito, envolvendo sobretudo: (a)
revisão da literatura; (b) entrevistas com pessoas que tiveram experiências práticas com o
problema pesquisado; e (c) análise de exemplos que estimulem a compreensão (GIL, 2007).
Apresentará também natureza descritiva, em função da aplicação de instrumento quantificável
com uso de escalas. A combinação de ambos possibilitará ao pesquisador uma descrição exata
do fenômeno além da observação.
Serão aplicados procedimentos de pesquisa bibliográfica, documental e estudo de caso.
A pesquisa bibliográfica foi feita a partir das referências teóricas já analisadas e

publicadas como artigos científicos ou livros. A pesquisa documental recorre a fontes mais
diversificadas e dispersas, sem tratamento analítico, tais como: tabelas estatísticas, relatórios e
documentos oficiais. Tais documentos (leis, normas e relatórios) serão obtidos através da
intranet, sistemas e arquivos da organização pesquisada.
A pesquisa de levantamento é utilizada em estudos exploratórios e descritivos e pode ser

de dois tipos: levantamento de uma amostra ou levantamento de uma população. Entre as
vantagens dos levantamentos, têm-se o conhecimento direto da realidade, economia e rapidez,
123
e obtenção de dados agrupados que possibilitam uma riqueza na análise estatística. Um estudo
de caso pode ser caracterizado como um estudo de uma entidade bem definida como um
programa, uma instituição, um sistema educativo, uma pessoa, ou uma unidade social
(FONSECA, 2002, grifo nosso).
A unidade de análise é composta pelos Centros regionais de Treinamento da Escola de

Administração Fazendária no Nordeste. Será pesquisada toda a população, conforme
explicitado anteriormente, por meio da utilização de questionário aplicado in loco em grupos
de 5 a 6 respondentes em cada uma das unidades investigadas.
3.1 OBJETIVOS ESPECÍFICOS E COLETA DE DADOS
Os objetivos específicos estão definidos a seguir de acordo com as fases e

procedimentos detalhados para coleta de dados:
3.1.1) Objetivo específico 1 (F1): Compreender a evolução conceitual de capacidade avaliativa

– EC e desenvolvimento de capacidade avaliativa – ECB a partir de uma perspectiva
longitudinal no período de 1996 a 2018.
Nesta etapa será utilizada como instrumento de coleta a pesquisa bibliográfica e a técnica
de tratamento será a análise de conteúdo, com o objetivo de identificar e mapear os conceitos
relacionados à avaliação que levam ao constructo do termo capacidade avaliativa e
desenvolvimento de capacidade avaliativa.
A análise dos documentos será realizada utilizando-se o roteiro de análise (F1.1) a

seguir:
1) Identificar e descrever os conceitos de capacidade avaliativa e desenvolvimento

de capacidade avaliativa;
2) Caracterizar as premissas e motivações para desenvolvimento de capacidade

avaliativa;
3) Relacionar as capacidades de fazer e usar avaliação;
4) Conceituar avaliação e medição de desempenho de programas e suas relações

com o conceito de capacidade avaliativa organizacional.
124
3.1.2) Objetivo específico 2 (F2): Caracterizar, a partir da teoria do programa, a ação

governamental de seleção, formação e desenvolvimento de pessoal de modo a contextualizá-la
no âmbito da pesquisa;
Nesta etapa será utilizada como instrumento de coleta a pesquisa bibliográfica e análise
documental com o objetivo de identificar e mapear os conceitos relacionados à avaliação que
levam ao desenho da ação e instrumentos avaliativos utilizados para monitorar o desempenho
da mesma.
A pesquisa bibliográfica e análise dos documentos será realizada utilizando-se o roteiro

de análise (F2.1) a seguir:
1) Identificar e descrever os conceitos de avaliação, abordagens avaliativas, teoria

do programa e avaliação de programa / ação governamental;
2) Caracterizar a ação governamental com ênfase nos estágios de implementação

e avaliação;
3.1.3) Objetivo específico 3 (F3): Definir o modelo de análise selecionado para aferir o a
capacidade avaliativa da Escola;
Nesta etapa será utilizada como instrumento de coleta a pesquisa bibliográfica e a

técnica de tratamento será a análise de conteúdo, com o objetivo de identificar e selecionar o
modelo (framework) mais adequado para análise da capacidade avaliativa da Escola.
A análise dos documentos será realizada utilizando-se o roteiro de análise (F3.1) a

seguir:
1) Identificar e descrever modelos existentes para análise de capacidade avaliativa

em organizações;
2) Identificar as dimensões-chave de capacidade avaliativa empregadas em cada

modelo modo a compreender suas inter-relações;
3) Selecionar modelo a ser aplicado na pesquisa de campo;
4) Analisar dimensões associadas ao modelo selecionado.
3.1.4) Objetivo específico 4 (F4): Aferir o grau de capacidade avaliativa dos centros regionais
da Esaf no Nordeste e os fatores que podem contribuir para o seu desenvolvimento.
125
Nesta etapa será utilizada como instrumento de coleta um questionário aplicado com os
servidores e empregados públicos dos centros regionais da Escola de Administração Fazendária
no Nordeste que participam direta e indiretamente da implementação da ação governamental.
A elaboração do questionário e sua análise será realizada utilizando-se o roteiro de

análise (F4.1) a seguir:
1) Definir modelo de questionário a ser aplicado;
2) Aplicar o questionário junto aos respondentes;
3) Consolidar questionários e tabular os dados;
4) Aferir a pontuação obtida em cada dimensão do modelo de capacidade avaliativa

na unidade de análise de acordo com as notas atribuídas.
5) identificar pontos críticos a partir dos resultados e relacioná-los à literatura de

modo a verificar possíveis ajustes para o desenvolvimento da capacidade
avaliativa.
3.1.5) Objetivo específico 5 (F5): Analisar as dimensões e suas inter-relações no âmbito do

modelo de análise da capacidade avaliativa e na comparação entre os centros regionais da Esaf
no Nordeste.
Nesta etapa serão utilizados os resultados advindos da tabulação do questionário

aplicado com os servidores dos centros regionais da Escola de Administração Fazendária no
Nordeste.
A análise dos fatores será realizada utilizando-se o roteiro de análise (F5.1) a seguir:
1) Analisar os índices obtidos em cada dimensão;
2) Comparar os resultados das dimensões;
3) Definir as inter-relações entre as dimensões por meio de análise fatorial;
4) Analisar o comportamento das dimensões, pela média, em cada um dos centros

regionais de modo a comparar os resultados obtidos;
5) Propor melhorias que contribuam para o desenvolvimento de capacidade

avaliativa a partir dos resultados identificados em cada dimensão, na relação
entre as mesmas e no desempenho dos centros.
126
3.2 LEVANTAMENTO PRÉVIOS
De acordo com levantamento realizado no âmbito da organização e unidades

investigadas, há 36 membros de equipe que atuam diretamente na implementação da Ação
Governamental “Seleção, Formação e Desenvolvimento de Pessoas” no Centros regionais da
Escola de Administração Fazendária no Nordeste, distribuídos estruturalmente em diversas
áreas de atuação, incluindo os setores de recrutamento e seleção, administrativo, financeiro e
capacitação. Foi possível identificar que 21 pessoas da equipe trabalham diretamente em
capacitação, 7 em administração e 6 na área financeira e 2 em recrutamento e seleção, porém
todos com atividades e rotinas relacionadas à implementação e da referida ação. As atividades
relacionadas à etapa de recrutamento e seleção em concursos públicos ocorrem de forma
esporádica e requerem a participação ad hoc dos servidores de outros setores em sua
implementação. Apenas o Centro Regional da Bahia mantém uma unidade específica deste
setor em seu organograma. Além dos servidores, cada unidade possui um diretor-regional.
Com base nesses dados, optou-se por definir um estudo de caso com aplicação de
questionário com toda a população (pesquisa censo), a qual contemplou os servidores de três
Estados nos quais se situam os referidos Centros Regionais do Nordeste: Bahia (10), Ceará (09)
e Pernambuco (17). tendo em vista que, tal qual a natureza da pesquisa e a abordagem escolhida,
pretende-se uma ampla compreensão e maior exatidão acerca do fenômeno estudado.
Para isso, primeiramente foram aferidas características descritivas dos dados,

frequenciais e absolutas; em um segundo momento, com o uso da análise fatorial, foram
delineados sete modelos para estimar dimensões que explicitaram associação entre as respostas,
considerando o grau de comunalidade; na sequência foi construído um ranking com o grau de
alcance das dimensões pela frequência das notas atribuídas pelos respondentes e, por fim, com
o uso de uma análise não paramétrica, foi realizado um estudo comparado entre os estados.
A aplicação do questionário foi realizada de forma presencial pelo autor em cada um
dos centros regionais com o objetivo de compreender melhor as peculiaridades de cada unidade,
uma vez que houve possibilidade de reunir a equipe em grupos, contextualizar os objetivos da
pesquisa junto aos respondentes, auxiliá-los na compreensão das questões, minimizar o impacto
de circunstâncias diversas na fase de resposta com possível redução do viés, evitar respostas
combinadas ou com auxílio dos pares, além de potencializar o engajamento dos membros na
discussão do tema e no reconhecimento espontâneo sobre sua importância para a organização.
127
Fotografia: Aplicação da pesquisa com os grupos de servidores nos Centros Regionais da Esaf
A seguir, detalha-se o perfil dos respondentes de acordo com o quantitativo por critério:
Gráfico 1 – Perfil dos Respondentes
SEXO FAIXA ETÁRIA (anos) FORMAÇÃO

25 12 20
10 15
20
8 10
15
6 5
10 0
4
5 2
0 0
FEMININO MASCULINO <30 30-39 40-49 50-59 60>
TEMPO DE EXERCÍCIO NÍVEL DE CONHECIMENTO NÍVEL DE CONHECIMENTO

NA FUNÇÃO SOBRE TEORIA E/OU SOBRE PRÁTICAS
20
ABORDAGEM AVALIATIVA AVALIATIVAS
15 15
15
10 10
10 5 5
5 0 0
Fonte: Elaborado pelo autor

128
3.3 MODELO DE ANÁLISE
3.3.1 Análise das dimensões utilizadas no modelo
1) Capacidade para a Aprendizagem Organizacional. Uma premissa da pesquisa dos

autores é que a capacidade de uma organização para avaliação é essencial para o constructo
mais amplo de capacidade de aprendizagem organizacional (OLC). Organizações com maior
capacidade de aprendizagem têm maior probabilidade de demonstrar os cinco principais blocos
de construção a seguir: (1) clareza e apoio dos funcionários à missão, estratégia e valores
adotados pela organização; (2) liderança que é percebida como um empoderamento de
funcionários, encorajando a cultura experimental e demonstrando forte compromisso com a
organização; (3) uma forte cultura de experimentação que é recompensada e apoiada em todos
os níveis da organização; (4) capacidade de organização para transmitir conhecimento dentro e
fora da organização e para aprender sobre falhas; e (5) ênfase no trabalho em equipe e na
resolução de problemas em grupo como modo de operação e desenvolvimento de idéias
inovadoras. Esses atributos são considerados interdependentes e se apoiam mutuamente em
uma organização de aprendizagem. Uma suposição na estrutura atual é que quanto mais os
avaliadores enxergarem suas organizações como tendo esses atributos, maior será o grau em
que a organização será percebida como tendo capacidade de aprendizado. Tal capacidade
determina posteriormente até que ponto as conseqüências organizacionais ocorrem.
2) Suporte Organizacional (antecedentes). Duas estruturas de suporte organizacional
(OSS) são necessárias para facilitar o aprendizado organizacional. A primeira, a formalização,
refere-se ao fato de que a aprendizagem organizacional é aprimorada quando uma organização
tem uma estrutura plana não hierárquica, com poucos controles formalizados sobre o trabalho
dos empregados. O segundo, sistemas de suporte ao desempenho, refere-se aos sistemas
implementados pela organização para construir e apoiar o desempenho da equipe. Estes incluem
sistemas de desenvolvimento profissional voltados para a construção de competências dos
empregados por meio de experiências compartilhadas, sistemas de comunicação destinados a
melhorar a disseminação de conhecimento e programas de reconhecimento com o objetivo de
recompensar os empregados por sua contribuição. Uma hipótese é de que quanto maior o nível
de suporte ao desempenho, maior a capacidade de aprendizagem da organização.
3) Capacidade para Fazer Avaliação. A capacidade para fazer a avaliação refere-se ao

conhecimento e às habilidades necessárias para realizar avaliações externas internamente ou
129
para supervisionar as avaliações externas (COUSINS et al., 2004). Isso inclui conhecimentos e
habilidades sobre planejamento de avaliação, prática ética, desenvolvimento de instrumentos,
coleta de dados, análise, interpretação e relato, bem como estratégias para o acompanhamento
de resultados de avaliações e recomendações.
4) Investigação Avaliativa. A investigação avaliativa refere-se a uma gama de

atividades, desde a avaliação de necessidades, avaliação de programas e monitoramento de
impactos (COUSINS et al., 2004). Os objetivos dessa investigação variam desde exercícios
somativos orientados para o julgamento aos formativos orientados para melhoria.
A pesquisa avaliativa também se refere às atividades de desenvolvimento de capacidade

avaliativa. Um caso especial de investigação avaliativa (COUSINS et al., 2004; PRESKILL;
TORRES, 1999) considera que ações associadas ao desenvolvimento de infraestrutura,
processos e procedimentos que sustentam o desenvolvimento da capacidade avaliativa
representam intervenções que têm um componente avaliativo distinto. Assim, a investigação
avaliativa pode levar a várias formas de utilização ou, mais direta e intencionalmente, à
construção da capacidade de aprendizagem de uma organização.
Questões relacionadas à investigação avaliativa avaliam o grau de evidência de

atividades de avaliação ocorrendo em uma organização. De uma perspectiva relacional, a
investigação avaliativa é presumida como uma estrutura de suporte organizacional com o
potencial de promover o aprendizado organizacional (COUSINS et al., 2004). Por sua vez, a
pesquisa avaliativa pode ser suportada por outras estruturas organizacionais, como a
formalização e sistemas de suporte à performance.
5) Participação dos Stakeholders na Avaliação. Acredita-se que o tipo e a profundidade

da participação de vários grupos de stakeholders facilitem a tomada de decisões e melhorem o
uso dos achados da avaliação. (BRANDON; FUKANAGA, 2014 apud GAGNON et al., 2018).
Vários stakeholders podem ser envolvidos nesses processos, incluindo desenvolvedores de
programa, gerentes, tomadores de decisão e, em casos específicos, beneficiários do programa.
Estes membros da comunidade do programa trabalham com avaliadores internos e membros da
equipe envolvidos na avaliação, avaliadores externos encarregados de conduzir a avaliação em
nome da organização ou uma combinação dos dois para produzir conhecimento avaliativo. As
questões relacionadas a este construto avaliam até que ponto vários grupos de stakeholders
participam tipicamente de avaliações em sua organização ou para uma organização.
130
6) Condições de Mediação. As condições de mediação referem-se a fatores que foram

encontrados para mediar o uso da avaliação. Estes incluem, por exemplo, qualidade de
avaliação, credibilidade do avaliador, envolvimento de usuários internos e oportunidade. Vários
desses fatores ou condições são consistentes com variáveis que foram relatadas anteriormente
na literatura de avaliação (LABIN, 2014).
7) Capacidade para Usar Avaliação. Em última análise, a avaliação leva a reconhecer a

produção, a validade, a credibilidade, a relevância e a oportunidade das quais dependem os
processos de avaliação. Avaliação também influencia o uso da produção de conhecimento. A
extensão em que uma organização desenvolve a capacidade para aprender é uma função de dois
processos ou subdimensões relacionadas: uso no processo e uso dos achados
a) Uso no Processo. refere-se à extensão em que os membros da organização e os não

membros se beneficiam por estarem próximos ou participarem da avaliação (COUSINS et al.,
2004). Como Patton (2008) sugere, o uso no processo é uma consequência adicional discernível
tendência maior de questionar as premissas básicas acerca do programa.
b) Uso dos Achados. refere-se a formas tradicionais de uso, especificamente

instrumentais, conceituais e simbólicos (WEISS, 1979). para que a prática de avaliação seja
sustentada, os membros da organização devem não só usar os resultados da avaliação para a
tomada de decisão e ação, mas também se comunicar e celebrar os usos destes achados. Como
os impactos da avaliação são usados para melhorar os programas e tomar decisões importantes,
é provável que a avaliação se torne mais incorporada à cultura da organização.
A Figura 21 mostra os constructos que foram teorizados por Gagnon, Cousins, Aubry e
Goh (2018) para representar a capacidade de uma organização para fazer e usar a avaliação e
como estão relacionados entre si. Trata-se de uma evolução dos modelos anteriormente
apresentados por Cousins (2004, 2008)
131
Figura 21 - Modelo conceitual gerado a partir de Gagnon et al. (2018), com base no framework
de Cousins (2014) para descrever a capacidade organizacional de fazer e utilizar avaliação
Antecedentes Participação
Stakeholder
Suporte
Condições
Organizacional
de Mediação
Treinamento
Capacidade Capacidade Capacidade de Consequências

Investigação
para FAZER para USAR Aprendizagem para
Avaliativa
Avaliação Avaliação Organizacional Organização
Suporte
Organizacional
Formalização
Fonte: Gagnon et al., 2018
3.3.1 Questionário de Capacidade Avaliativa nas Organizações (ECOQ)
O ECOQ foi desenvolvido como um instrumento híbrido que mapeia a estrutura

conceitual descrita acima (FIGURA 21). Ele desenha-se através de itens e sub-escalas de
pesquisa existente na aprendizagem organizacional, investigação avaliativa e capacidade de
fazer e usar a avaliação (COUSINS et al., 1996, 1997, 2006; PRESKILL; TORRES, 1999;
PRESKILL et al., 1999; SEIDEN, 1999; TURNBULL, 1999 apud GAGNON et al., 2018). O
questionário solicita dos entrevistados que classifiquem seu nível de concordância com
afirmações específicas ou com a frequência estimada de ocorrência de vários eventos /
atividades associados ao arcabouço conceitual apresentado no modelo. Há onze partes no
questionário. A primeira e a última seção de afirmações solicitam informações básicas sobre o
respondente e sobre a organização. As demais seções medem opiniões auto-relatadas (avaliadas
em uma escala do tipo Likert de sete pontos - variando de 1 “discordo totalmente” a 7 “concordo
fortemente”) ou frequência de comportamento ou prática (variando de 1 “nunca” a 7 “sempre”).
Na pesquisa desenvolvida por COUSINS et al. (2014), as subescalas foram construídas
com base nas subseções do instrumento. A consistência interna foi calculada pelo alfa de
Cronbach para cada uma das subescalas e considerada satisfatória (variando de 0,68 a 0,97).
Os onze fatores identificados, compreendendo 111 dos 119 itens originais,
corresponderam a 61,5% da variância total com os dados. Os autores, por meio de uma tabela,
132
interpretaram cada fator, identificando os itens que estes fatores representam e os relatórios
sobre porcentagem de variância explicada por cada fator, bem como o índice de confiabilidade,
alfa de Cronbach, calculado para cada fator. Praticamente todos os fatores obtiveram
consistência interna de 0,80 ou mais, o que foi interpretado como um resultado bom a excelente.
Isto se tornou possível, porque Gagnon et al. (2018) desenvolveram uma análise fatorial
exploratória (EFA) e análise de trajetória latente (LPA) para entender melhor a estrutura
subjacente da capacidade organizacional para fazer e usar os dados avaliativos. Foi escolhida a
EFA ao invés de análise fatorial confirmatória (CFA), pois a abordagem CFA de fixar muitas
ou todas as cargas cruzadas em zero pode forçar um pesquisador a especificar um modelo mais
parcimonioso do que o adequado para os dados. Em situações onde a teoria substantiva e o
potencial para cargas cruzadas justificáveis existe, o uso de EFA com rotação da matriz de
fatores é recomendado em vez do CFA, que é muito restritivo. (ASPAROUHOV; MUTHÉN,
2009 apud GAGNON et al. (2018).
Foi adotada no processo de validação do ECOQ a análise PATH, de trilha, o que
permitiu, por meio da padronização das variáveis e equações de regressão, estimar os efeitos
diretos e indiretos das variáveis explicativas sobre uma variável explicada.
Gagnon et al. (2018) submeteu a amostra dos questionários respondidos na pesquisa à
EFA para identificar quais variáveis no conjunto formaram subconjuntos ou fatores coerentes,
e quais foram observados refletindo-se em processos subjacentes que criaram correlação entre
as variáveis.
Em resumo, a estrutura de fator revelada confirma a concepção de capacidade avaliativa
para fazer e usar avaliações em organizações (FIGURA 21), com três exceções. Por isso, com
base nos resultados obtidos na validação do ECOQ pelos autores, foram realizadas
reconfigurações a posteriori de representações de constructos a priori. A variável latente a
priori "stakeholder" foi melhor representada como duas variáveis a posteriori, "usuários
primários" e "stakeholders secundários". E da mesma forma, as variáveis latentes a priori
"investigação avaliativa" foram melhor representadas por duas variáveis latentes a posteriori
"avaliação do programa" e 'medição de desempenho' enquanto 'uso de avaliação' é melhor
representada por "uso no processo" e "uso dos achados".
As evidências acumuladas na pesquisa desenvolvida por Gagnon et al. (2018)
convergem para promover uma compreensão do ECB como uma capacidade organizacional de
fazer e usar avaliações. Os resultados da análise fatorial são consistentes com modelos que
conceituam a capacidade de aprendizagem organizacional como uma função da capacidade de
uma organização para fazer e usar a avaliação. A estrutura conceitual de Preskill e Torres (1999)
133
identifica cultura, liderança, equipes, comunicação e sistemas e estruturas como centrais para a
capacidade de uma organização conduzir avaliações e fazer uso de suas descobertas. Da mesma
forma, o modelo conceitual selecionado para esta pesquisa apresenta evidências de que a
capacidade de aprendizado de uma organização se baseia nas estruturas internas de suporte
(treinamento e formalização), na capacidade de fazer e usar avaliações da organização e no
engajamento ativo das partes interessadas no processo de investigação.
Consistente com o modo conceitual de King e Volkov (2005), os resultados da pesquisa
que valida o ECOQ indicam que o desenvolvimento profissional, recursos e suporte, e ambiente
organizacional são condições antecedentes da capacidade organizacional para aprender. A
pesquisa de Bourgeois et al. (2013) coloca a capacidade avaliativa e os esforços de
desenvolvimento de capacidade avaliativa em um framework conceitual mais amplo no que diz
respeito a sistemas de aprendizagem organizacional e sua capacidade para fazer e usar a
avaliação. Os resultados deste estudo concordam, sugerindo que à medida que a investigação
avaliativa se torna enraizada na cultura de uma organização, a relação entre a capacidade de
uma organização para fazer e usar as avaliações aumenta.
E, complementarmente, os resultados da pesquisa de Gagnon et al. (2018) indicam que
a capacidade de aprendizagem de uma organização é de fato expressada por uma relação entre
a capacidade da organização de fazer e usar avaliações, conforme demonstrado pelo teste de
Nielsen et al. (2011) em seu próprio modelo conceitual. Essas observações fornecem ainda mais
evidências da validade do constructo do EQOC.
Por fim, evidências fornecidas pelo teste estatístico LPA sugerem que a capacidade de
aprendizagem de uma organização é reforçada pelas relações entre os vários fatores. Por
exemplo, a capacidade de aprendizagem é estimulada por níveis crescentes de suporte
organizacional para treinamento e outras formas de suporte a desempenhos individuais ou de
grupo. Por sua vez, o suporte organizacional leva ao aumento na capacidade de fazer avaliações,
o que, por sua vez, leva a uma maior participação e envolvimento na investigação avaliativa,
seja na forma de avaliação de programa ou medição de desempenho. O aumento da participação
e do envolvimento na avaliação leva a uma maior capacidade para usar a avaliação, seja por
meio do uso no processo, do uso dos achados ou de ambos. Quanto mais stakeholders estiverem
envolvidos no processo avaliativo e, especificamente, na medição do desempenho, maior a
capacidade de uma organização para usar a avaliação e, mais precisamente, maior a capacidade
de uma organização para utilizar os achados da avaliação.
134
4. ANÁLISE DOS RESULTADOS
4.1 ANÁLISE DESCRITIVA
O questionário utilizado fora aplicado em pesquisa realizada no Canadá por Gagnon et

al. (2018), e, portanto, validado para replicar em outros contextos, especialmente na
administração pública. Dessa forma, o teste utilizado para estimar o grau de confiabilidade do
tipo de consistência interna da escala, alpha de Cronbach, resultou em 0.98. Ou seja, há uma
significativa magnitude de correlação entre os itens desse questionário quando aplicados no
Brasil, especificamente na região Nordeste.
De acordo com Gagnon et al. (2018), a aferição da capacidade avaliativa pode ser
subdividida em dez seções, associadas a sete dimensões, dentre as quais a primeira seção (“A”)
questiona somente o vínculo federativo dos respondentes. Nesse caso, todos assinalaram
vínculo com o governo federal, e como esse quesito não variou, essa seção foi descartada nas
estimações quantitativas.
Foram utilizados os seguintes itens das seções B a J do questionário (ver apêndice) para
identificar e extrair os fatores analisados posteriormente, excluindo-se a seção “E”, a qual não
integra nenhuma das dimensões e tem natureza predominantemente qualitativa.
• Seção B - Capacidade de Aprendizagem Organizacional, itens B1 a B18 (n = 18);

• Seção C - Estruturas de Suporte Organizacional, itens C1 a C15 (n = 15);
• Seção D - Capacidade de Fazer Avaliação, itens D1 a D12 (n = 12);
• Seção F - Tipos Específicos de Atividades Avaliativas, itens F1 a F16 (n = 16);
• Seção G - Participação dos Stakeholders na Avaliação, itens G1A a G6A – nível de
participação) e G1B a G6B – frequência de participação (n = 12);
• Seção H - Uso dos Achados da Avaliação H1 a H10 (n = 10);
• Seção I - Uso no Processo Avaliativo, itens I1 a I17 (n = 17); e
• Seção J - Condições de Mediação do Uso da Avaliação; itens J1 a J19 (n = 19).
Observa-se, obviamente, um maior número de itens nas seções B, I e J. Para fins de

análise descritiva foram geradas as médias de cada seção e em seguida as demais medidas
estatísticas. Cabe ressaltar que as seções H e I são subdimensões da Capacidade para Usar
Avaliação e a seção F refere-se à dimensão Investigação Avaliativa. Isto posto, segundo a
Tabela 1, as seções apresentaram os seguintes resultados:
135
Tabela 1 – Capacidade avaliativa e a média por seção

Desvio
Seção do Questionário Média Moda Mediana
Padrão
B. Capacidade de aprendizagem organizacional 3.99 3.72 3.89 0.89
C. Estrutura de suporte organizacional 4.42 4 4.27 0.87
D. Capacidade de fazer avaliação 3.51 3.33 3.45 0.84
F. Tipos específicos de atividades avaliativas 4.05 4.72 4.11 1.07
Ga. Participação dos stakeholders na avaliação – nível
de participação; e Gb. Participação dos stakeholders 4.26 5.85 4.28 1.10
na avaliação – frequência de participação
H. Uso dos achados da avaliação 4.64 4.18 4.59 1.31
I. Uso no processo avaliativo 4.42 4 4.39 1.41
J. Condições de mediação do uso da avaliação 3.97 4.73 3.97 1.14
Os dados indicam que os respondentes atribuem um leve aumento de concordância entre

as seções C, G, H e I. Portanto, concordam que a estrutura organizacional, a participação dos
stakeholders na avaliação e a capacidade de uso dos achados e de uso no processo avaliativo
são fatores que tem influenciado mais a capacidade avaliativa do que os demais fatores.
Tais respostas são verificadas nos dados de Moda e Mediana (dentre as médias), quando
os dados indicam prevalência da nota 4 em várias seções, porém o desvio padrão baixo indica
pouca variância entre as respostas. Isso sugere afirmar que as médias de cada item pouco variam
entre os respondentes.
As seções anteriores estão associadas às dimensões do modelo de análise conforme o
Quadro 16 a seguir:
Quadro 16 – Relação entre as seções e dimensões do modelo de análise

Seção do Questionário Dimensão
Capacidade de aprendizagem
B. Capacidade de aprendizagem organizacional
organizacional
Suporte Organizacional –
C. Estrutura de suporte organizacional
Treinamento e Formalização
Capacidade para Fazer
D. Capacidade de fazer avaliação
Avaliação
F. Tipos específicos de atividades avaliativas Investigação Avaliativa
Ga. Participação dos stakeholders na avaliação – nível de
participação; e Gb. Participação dos stakeholders na avaliação – Participação dos Stakeholders
frequência de participação
H. Uso dos achados da avaliação Capacidade para Usar
I. Uso no processo avaliativo Avaliação
J. Condições de mediação do uso da avaliação Condições de Mediação
Fonte: Adaptado de Gagnon et. al (2018)
136
4.1.1 Análise das Dimensões de Capacidade Avaliativa
Figura 23 – Modelo de análise
Antecedentes
Participação
Suporte Stakeholder
Organizacional
Treinamento
Condições
de Mediação
Capacidade Capacidade Capacidade de Consequências

Investigação
para FAZER para USAR Aprendizagem para
Suporte Avaliativa
Avaliação Avaliação Organizacional Organização
Organizacional
Formalização
Fonte: Gagnon et. al (2018).
4.1.1.1 Suporte Organizacional
A referida dimensão Suporte Organizacional – treinamento e formalização - do

modelo de análise validado por Gagnon et al. (2018) está associada à Seção “C” do questionário
aplicado nesta pesquisa. Buscou-se nesta seção (ver Tabela 2) indicar até que ponto o servidor
concorda ou discorda com cada uma dessas declarações sobre a organização:
Tabela 2 – Pontuação dos itens da Seção “C”

C. ESTRUTURA DE SUPORTE ORGANIZACIONAL PONTUAÇÃO
C7 A maior parte do nosso trabalho deve obedecer a regras formais e procedimentos. 5,81
C13 A capacitação dos servidores da organização é relevante para o nosso trabalho 5,67
C3 O treinamento das habilidades que recebemos pode ser aplicado para melhorar o nosso trabalho. 5,22
C2 As informações e a tomada de decisões devem sempre passar pelos canais apropriados. 5,06
C14 Nosso trabalho é geralmente monitorado de perto e inspecionado pela gestão 4,67
C11 A capacitação dos servidores da organização é feita em equipes, quando apropriado. 4,61
C8 Aprendizagem que melhora a competência para o trabalho da equipe é incentivada. 4,31
C12 Procedimentos operacionais foram estabelecidos para quase todas as situações de trabalho. 4,31
C9 A capacitação dos servidores da organização é enfatizada igualmente em todos os níveis. 4,00
Os servidores nesta organização são incentivados a melhorar continuamente e aumentar seus
C4 3,94
conhecimentos e nível educacional.
C15 Há muito pouca sobreposição no trabalho entre as diferentes unidades na organização 3,92
C1 Os servidores recebem treinamento das habilidades relacionadas ao trabalho. 3,81
C10 Nós precisamos de aprovação por escrito para a introdução atividades de trabalho. 3,81
C5 Na minha opinião, nossa organização tem muitos níveis de hierarquia. 3,64
Esta organização apoia o desenvolvimento de habilidades como liderança, coaching e trabalho em
C6 3,58
equipes entre os servidores.
137
Na análise das respostas, serão destaques os itens que obtiveram médias acima de 5 e
abaixo de 3, de forma a contrapor os fatores que contribuíram ou não para o desempenho da
respectiva. A partir da verificação dos resultados acima, observa-se que foi manifestada maior
concordância quanto aos itens C7, C13, C3, C2, em ordem decrescente de pontuação. Para
Cousins et al. (2014), as estruturas e o suporte organizacional incluem a baixa formalização do
trabalho e o sistema de suporte ao desempenho com a aquisição de conhecimentos e habilidades
organizacionais relevantes e apropriados para os membros da organização uma vez que são
necessárias para facilitar o aprendizado organizacional, no entanto os resultados da referida
dimensão sinalizaram um alto grau de formalismo (item C7), o que tende a impactar a
capacidade avaliativa da organização. O item C2 também evidencia o alto nível de
procedimentos e regras mesmo no que diz respeito ao fluxo de procedimentos e tomada de
decisões. Os itens C13 e C3, que tratam da relevância da capacitação dos servidores e da
aplicabilidade do aprendizado no trabalho, reforça a aquisição das competências e denota que
os treinamentos tendem a estar apropriados para os trabalhos desenvolvidos pelos membros.
4.1.1.2 Capacidade para Fazer Avaliação
A referida dimensão Capacidade para Fazer Avaliação do modelo de análise validado

por Gagnon et al. (2018) está associada à Seção “D” do questionário aplicado nesta pesquisa.
Buscou-se nesta seção indicar até que ponto o servidor concorda ou discorda com cada uma
dessas declarações sobre a organização:
Tabela 3 – Pontuação dos itens da seção “D”

D. CAPACIDADE PARA FAZER AVALIAÇÃO PONTUAÇÃO
D12 A medição do desempenho é parte integral do nosso modelo de prestação de contas. 4,36
D3 Nossa organização nos fornece as ferramentas e recursos básicos para dar suporte à avaliação 4,28
Temos um “campeão” na equipe que apoia nossos esforços de avaliação e advoga em nosso
D5 3,92
favor quando requerido.
D7 Em geral, nossa organização possui as competências técnicas para realizar avaliações 3,78
Nossa organização tem as competências necessárias para supervisionar as avaliações realizadas
D8 3,78
por avaliadores externos
D4 Aos servidores é dado tempo suficiente para refletir sobre os sucessos ou falhas organizacionais. 3,67
D9 Nossa organização fornece encorajamento positivo para realizarmos avaliações. 3,56
D11 Temos requisições formais para relatarmos o desempenho da ação que executamos. 3,56
Temos planejamento e processo operacional para iniciar, avaliar e avançar em nossas atividades
D6 3,11
de avaliação.
Nossa organização tem suporte orçamentário dedicado de longo prazo para as nossas atividades
D1 2,98
de avaliação.
Nós somos capazes de acessar facilmente informações sobre as “melhores práticas” dentro do
D2 2,67
nosso campo de atuação.
D10 Somos recompensados por usar informações de desempenho. 2,53
138
Manifestou-se maior discordância quanto aos itens D1, D2 e D10, em ordem

decrescente de pontuação.
Destaca-se neste ponto a observação de Bourgeois e Cousins (2018), por meio da qual
uma organização com capacidade avaliativa exemplar deve apresentar um orçamento
assegurado para a atividade avaliativa através do financiamento contínuo e permanente
especificamente atribuído à unidade de avaliação. Nielsen (2011) reforça este entendimento ao
afirmar que o financiamento é um pré-requisito para a realização de avaliações de qualidade no
contexto do ECB. Por outro lado, uma organização com baixa capacidade tem um orçamento
instável e pequeno para as funções avaliativas. Os autores observam a importância do
orçamento como fator de estabilidade à suficiência dos recursos financeiros alocados nas
atividades de avaliação; na coleta contínua de dados, que se concentra na disponibilidade de
dados de medição de desempenho, e infraestrutura organizacional, que se refere à estrutura de
governança da organização, políticas e outros apoios organizacionais que permitem a função
de avaliação prosperar. Assim, a nota atribuída ao item D1 reforça a importância de a
organização garantir mais recursos orçamentários para a avaliação da ação. Ressaltou-se ainda
que o acesso às informações sobre melhores práticas não é facilitado. Além disso, a organização
parece não recompensar a utilização de informações de desempenho no processo avaliativo.
Neste ponto, cabe citar que O apoio gerencial é necessário para a implementação e
sustentabilidade da capacidade avaliativa dentro de uma organização (KING, 2002; GOH,
2003, COUSINS et. al, 2004)
4.1.1.3 Investigação Avaliativa
A referida dimensão Investigação Avaliativa do modelo de análise validado por

Gagnon et al. (2018) está associada à Seção “F” do questionário aplicado nesta pesquisa.
Buscou-se nesta seção indicar até que ponto a organização tem se envolvido nas seguintes
atividades de avaliação nos últimos dois anos:
139
Tabela 4 – Pontuação dos itens da seção “F”
F. TIPOS ESPECÍFICOS DE ATIVIDADES AVALIATIVAS PONTUAÇÃO

F3 Conduz avaliações formais da ação. 5,04
F4 Estabelece metas de desempenho 4,61
F10 Emprega avaliações com métodos qualitativos e quantitativos 4,53
F14 Produz relatórios para a Direção-Geral ou demais Diretorias do órgão central e regional. 4,44
F1 Revisa a documentação da ação 4,39
F7 Avalia o grau em que as metas e objetivos da ação foram atingidos. 4,28
F13 Produz relatórios sobre as atividades da ação. 4,25
F2 Conduz observações em primeira mão das atividades da ação. 4,22
F15 Usa um sistema de medição do desempenho. 4,17
Monitora a implementação da ação (ou seja, garante que a ação é entregue conforme
F5 4,08
pretendido).
F6 Monitora os resultados da ação 4,06
F12 Produz relatórios anuais com base nas medidas de desempenho. 4,00
F16 Usa modelos lógicos para o desenho da ação 3,89
F8 Envolve-se em processos formais de planejamento de avaliação 3,78
F9 Usa modelos avançados de avaliação. 3,44
Faz o fluxograma da ação para ligar os seus componentes aos resultados e impactos
F11 2,98
pretendidos.
F17 Usa outros sistemas de avaliação ou gerenciamento 2,92
FONTE: Elaborado pelo autor
O item F3 manifestou maior intensidade e os itens F11 e F17 menor intensidade.
Os Centros Regionais da Esaf realizam avaliações formais das ações, uma vez que estão
previstas nos normas internas e atendem a solicitações externas, sejam dos órgãos de controle
ou dos órgãos demandantes de serviços. Neste ponto destaca-se o item F3 que se refere
justamente à formalidade descrita. Para Gagnon et al. (2018), uma maior participação e
envolvimento na investigação avaliativa, seja na forma de avaliação do programa ou ação ou
medição de desempenho, conforme item F4, leva a uma maior capacidade para usar a avaliação.
Além dos principais sistemas utilizados pela Escola para avaliação (Sigep e Sisfie) não
há evidência de outros sistemas empregados para mesma função, conforme indica o item F17
no qual os respondentes apresentaram baixo uso. Não há registros formais de utilização de um
fluxograma da ação pela Escola, questão apurada pelo item F11 e também identificada na
pesquisa documental. De acordo com CASSIOLATO et al. (2010) a organização deve orientar
a estratégia de execução do programa e a definição dos indicadores para o monitoramento e
avaliação. O processo de formulação de um do modelo lógico do programa deverá contribuir
para garantir as seguintes condições: (i) definição clara e plausível dos objetivos e resultados
140
esperados do programa; (ii) identificação de indicadores relevantes de desempenho, que possam

ser obtidos a um custo razoável; e (iii) compreensão, por parte dos gestores do programa, com
o que está proposto no modelo lógico.
4.1.1.4 PARTICIPAÇÃO DOS STAKEHOLDERS NA AVALIAÇÃO
A dimensão Participação dos Stakeholders na Avaliação do modelo de análise

validado por Gagnon et al. (2018) está associada à Seção “G” (ver Tabela 5) do questionário
aplicado nesta pesquisa. Buscou-se nesta seção indicar até que ponto os membros dos grupos a
seguir normalmente participam de avaliações na organização ou para a organização:
Tabela 5 – Pontuação dos itens da seção “G”
Ga. PARTICIPAÇÃO DOS STAKEHOLDERS NA AVALIAÇÃO - NÍVEL DE PARTICIPAÇÃO PONTUAÇÃO

G2A Diretores e Gerentes 4,69
G4A Equipe responsável pela implementação da Ação 4,56
G1A Desenvolvedores da Ação 4,39
G3A Órgãos Demandantes e financiadores da Ação 4,28
G5A Público / Beneficiários da Ação 4,25
G6A Grupos de Interesse Especial na Ação 3,67
G7A Outros 3,64
Gb. PARTICIPAÇÃO DOS STAKEHOLDERS NA AVALIAÇÃO - FREQUÊNCIA DE
PONTUAÇÃO
PARTICIPAÇÃO
G2B Diretores e Gerentes 4,81
G4B Equipe responsável pela implementação da Ação 4,64
G3B Órgãos Demandantes e financiadores da Ação 4,58
G1B Desenvolvedores da Ação 4,50
G5B Público / Beneficiários da Ação 4,28
G6B Grupos de Interesse Especial na Ação 3,78
G7B Outros 3,67
Manifestaram maior intensidade, porém ainda moderada, em relação ao nível e

frequência de participação, os itens G2A e G2B e G4A e G4B, os quais destacam os diretores
e gerentes da organização e a equipe responsável pela implementação da ação. Por outro lado,
o público beneficiado pela ação e outros grupos de interesse especial (ex. instrutores dos
treinamentos) obtiveram de acordo com os respondentes menores níveis de participação e
frequência. Isso pode ser reflexo de a avaliação não ser obrigatória para estes stakeholders. Para
os demais grupos a avaliação é uma etapa obrigatória no desenvolvimento da ação.
141
Para Preskill e Boyle (2008), as metas do ECB não devem parar na porta da organização.
A difusão do aprendizado de avaliação ocorre quando os participantes do ECB compartilham
sua aprendizagem sobre a avaliação com stakeholders de fora da organização, os quais também
se tornam expostos ao pensamento e prática avaliativa.
Cabe ressaltar ainda que o uso no processo tem sido desde então vinculado a abordagens
colaborativas, participativas, empoderadoras, centradas na utilização e orientadas para a
aprendizagem avaliativa que defendem vários níveis de envolvimento direto ou indireto dos
stakeholders no processo de avaliação (COUSINS; EARL, 1992; FETTERMAN, 2003;
PRESKILL; CARACELLI, 1997, PRESKILL et al., 2003 apud AMO; COUSINS, 2007).
Como Patton (2008) sugere, o uso no processo é uma consequência adicional discernível
tendência maior de questionar as premissas básicas acerca do programa ou ação.
Quanto mais integrada for uma função avaliativa dentro de uma determinada
organização, melhor compreendida e mais útil será a avaliação para os stakeholders.
(COUSINS et al., 2014).
4.1.1.5 CONDIÇÕES DE MEDIAÇÃO DO USO DA AVALIAÇÃO
A referida dimensão Condições de Mediação do modelo de análise validado por

Gagnon et al. (2018) está associada à Seção “J” (ver Tabela 6) do questionário aplicado nesta
pesquisa. Buscou-se nesta seção indicar até que ponto foram observadores os fatores e
condições na organização que podem influenciar no uso da avaliação:
142
Tabela 6 – Pontuação dos itens da seção “J”
J. CONDIÇÕES DE MEDIAÇÃO DO USO DA AVALIAÇÃO PONTUAÇÃO

J18 São acessíveis à Direção-Regional. 5,19
J16 Usam uma metodologia que é entendida pelos usuários. 4,53
J2 Promovem a melhoria. 4,22
J11 Baseiam-se em dados objetivos. 4,22
J9 São providas a partir de inputs (informações) do usuário. 4,17
J14 São produzidas por avaliadores que são considerados confiáveis. 4,14
J17 São consistentes com planos pré-existentes de avaliação dentro da organização. 4,11
J19 Envolvem os usuários durante todo o processo de avaliação. 4,08
J15 São percebidas como tendo recursos adequados para provê-las. 4,03
J7 Deduzem surpresas para os tomadores de decisão. 3,97
J10 São apoiadas por mecanismos de garantia de qualidade. 3,92
J1 São oportunas (ligadas ao ciclo de tomada de decisão da Direção-Geral). 3,89
J8 São percebidas pelos usuários como imparciais. 3,83
J3 Respondem ao feedback dos usuários 3,78
J4 São de alta qualidade. 3,72
J5 Ajudam os usuários a tomar decisões difíceis. 3,67
J6 Fornecem resultados precisos. 3,42
J12 Podem ser comparadas com padrões externos ou benchmarkings 3,39
Manifestaram maior intensidade os itens J18 e J16 e menor intensidade os itens J6 e J12.
As avaliações são quase sempre acessíveis à Direção-Regional, uma vez que há canais
apropriados para sua realização e disponibilidade dos dados. Grande parte das condições de
mediação do uso são observadas na organização, porém com relativa frequência. Nenhuma das
condições deixou de ser observada assim como nem todas são observadas da mesma forma.
Enquanto a equipe do Centro Regional “2” atribuiu uma pontuação média por item de 4,74 o
Centro Regional “3” aferiu apenas 3,50.
Conforme visto anteriormente, as condições de mediação servirão para temperar ou

moldar o impacto da avaliação dentro da organização. Tais condições foram identificadas a
partir de pesquisa sobre o uso da avaliação (COUSINS, 2003; SHULHA; COUSINS, 1997 apud
COUSINS et al, 2014), como também, mais especificamente, em pesquisa empírica sobre
avaliação governamental (COUSINS et al., 2008) e referem-se à tempestividade, natureza
construtiva do feedback, necessidades de informação dos usuários primários, credibilidade dos
achados, acessibilidade aos usuários primários, comunicabilidade, envolvimento dos
stakeholders não-avaliadores e relevância para as prioridades de decisão.
143
4.1.1.6 Uso da avaliação – uso dos achados e uso no processo
A referida dimensão Capacidade para Usar a Avaliação do modelo de análise

validado por Gagnon et al. (2018) está associada às Seções “H” e “I” (ver tabelas 7 e 8) do
questionário aplicado nesta pesquisa. Buscou-se nestas seções indicar, respectivamente, até que
ponto foram observadas consequências da avaliação na organização (Uso dos Achados) e até
que ponto o envolvimento em atividades e processos de avaliação teve consequências para o
pessoal da organização (Uso no Processo), conforme as questões abaixo elencadas.
Tabela 7 – pontuação dos itens da seção “H”
H. USO DOS ACHADOS DA AVALIAÇÃO PONTUAÇÃO

Reportar resultados e outros aspectos para a direção-regional ou direção-geral (ou
H7 equivalente). 5,52
H10 Atender às requisições externas de prestação de contas 5,11
H6 Tomar decisões sobre o trabalho da equipe. 5,04
H5 Justificar a existência ou continuidade da ação. 5,01
H1 Aprender sobre o funcionamento da ação. 4,86
H9 Tomar decisões sobre a alocação de recursos financeiros. 4,56
H2 Fazer alterações na ação existente. 4,53
H3 Conduzir o planejamento estratégico. 4,42
H8 Realizar a divulgação para o público externo. 4,33
H4 Obter novos recursos financeiros. 4,06
As principais consequências observadas pela equipe quanto ao uso dos achados estão
relacionadas aos itens H7, H10, H6 e H5, quais sejam reportar resultados para os dirigentes ou
para a equipe de modo a subsidiar a tomada de decisão e gerar informações para atender às
requisições de prestação de contas junto aos órgãos de controle, além de justificar a
continuidade da ação. Nenhum item foi pontuado abaixo de 4, demonstrando que há maior
tendência de que o uso dos achados gere tais consequências do que não.
Como sustenta Preskill e Boyle (2008), para que a prática de avaliação seja sustentada,
os membros da organização devem não só usar os resultados da avaliação para a tomada de
decisão e ação, mas também se comunicar e celebrar os usos destes achados. Como os impactos
da avaliação são usados para melhorar os programas e tomar decisões importantes, é provável
que a avaliação se torne mais incorporada à cultura da organização.
144
É oportuno salientar, ainda, que o uso dos achados se refere às formas de uso tradicional,
especificamente instrumentais, conceituais e simbólicas (WEISS, 1979). Por exemplo, inclui
suporte para a tomada de decisão organizacional ou do programa de uma forma instrumental
ou o uso dos resultados da avaliação de uma forma simbólica (por exemplo, de conformidade)
ou política (por exemplo, persuasiva) (COUSINS et al., 2004).
Como observa-se na literatura há forte relação entre a continuidade da prática avaliativa

e o uso dos achados para tomada de decisão, conforme se aferiu ne presente pesquisa.
Tabela 8 – Pontuação dos itens da seção “I”
I. USO NO PROCESSO AVALIATIVO PONTUAÇÃO

I14 Aumentar o comprometimento organizacional. 5,14
I13 Aumentar o nosso compromisso com a ação que está sendo avaliada. 5,06
I16 Apreciar o valor da avaliação. 4,93
I17 Apreciar o poder da avaliação como força de mudança. 4,83
I15 Aumentar o domínio sobre o que fazemos. 4,75
I12 Desenvolver uma mentalidade sobre a importância do pensamento avaliativo. 4,69
I4 Desenvolver uma melhor compreensão da ação que está sendo avaliada. 4,58
I6 Integrar a avaliação em nossas práticas de trabalho. 4,44
I5 Promover uma compreensão compartilhada do funcionamento organizacional. 4,42
I11 Questionar os pressupostos subjacentes sobre aquilo que fazemos. 4,36
Expandir o uso dos achados/resultados da avaliação para tomada de decisões,
I9 aprimoramento da ação, etc. 4,31
I3 Desenvolver habilidades técnicas para fazer avaliação. 4,22
I7 Melhorar as práticas de gestão. 4,17
I10 Desenvolver redes de colaboração dentro e/ou fora da organização. 4,08
I8 Acelerar o uso dos achados/resultados da avaliação. 4,06
I1 Desenvolver conhecimento sobre lógica avaliativa. 4,03
I2 Desenvolver conhecimentos sobre métodos de avaliação. 4,03
As principais consequências observadas pela equipe quanto ao uso no processo estão

inseridas aos itens I14 e I13 os quais se relacionam ao aumento do comprometimento
organizacional e compromisso com a ação que está sendo objeto de avaliação. Nenhum item
foi pontuado abaixo de 4, demonstrando que há maior tendência de que o uso no processo gere
tais consequências do que não.
O uso da avaliação no processo de forma planejada surgiu como um meio potencial de

criar um processo organizacional sustentável, com base no comprometimento das pessoas nas
atividades de avaliação (KING, 2007)
145
Para Preskill e Boyle (2008), o comprometimento e crença na avaliação compartilhada:

os membros da organização devem acreditar no valor da avaliação e devem comprometer-se a
garantir que ela se torne parte da forma como a organização atinge seus objetivos.
4.1.1.7 Capacidade de Aprendizagem Organizacional
A referida dimensão Capacidade de Aprendizagem Organizacional do modelo de

análise validado por Gagnon et al. (2018) está associada à Seção “B” (ver tabela 9) do
questionário aplicado nesta pesquisa. Buscou-se nesta seção indicar até que ponto o respondente
concorda ou discorda com cada uma dessas declarações sobre a organização.
Tabela 9 – Pontuação dos itens da seção “B”
B. CAPACIDADE DE APRENDIZAGEM ORGANIZACIONAL PONTUAÇÃO

B1 Nós podemos com frequência trazer novas idéias para a organização. 5,04
A Direção-Regional nessa organização incentiva a equipe a experimentar novas ideias para
B6 melhorar os processos de trabalho. 4,95
B17 A Missão da organização revela valores com os quais toda a equipe está de acordo. 4,78
B16 Nós temos oportunidades de autoavaliação em relação ao alcance dos objetivos e metas. 4,58
Novos processos de trabalho que podem ser úteis para a organização como um todo são
B7 geralmente compartilhados com toda a equipe. 4,31
B10 Novas ideias da equipe são tratadas com seriedade pela gestão. 4,31
A Direção-Regional frequentemente fornece feedback em relação às atividades para nos
B15 ajudar a identificar possíveis problemas e oportunidades. 4,31
B11 A Direção-Regional freqüentemente envolve a equipe em decisões importantes. 4,19
Nós geralmente podemos criar grupos informais de trabalho para resolver problemas
B12 organizacionais. 4,17
As práticas atuais da organização incentivam a equipe a resolver problemas juntos antes
B3 de discuti-los com a Direção-Regional. 4,14
B13 A Direção-Regional pode aceitar críticas sem se tornar excessivamente defensiva. 4,08
B5 A Direção-Geral nessa organização aceita mudanças e não tem medo de novas ideias. 3,56
Nós temos um sistema (conjunto de elementos) que nos permite aprender de forma bem-
B14 sucedida com as práticas de outras organizações. 3,42
B8 Ideias inovadoras que se tornam bem-sucedidas são recompensadas pela gestão. 3,36
As pessoas recém-ingressas na organização (últimos 5 anos) são incentivadas a questionar
B4 o modo como as coisas são feitas. 3,33
A Direção-Geral e a equipe desta organização compartilham uma visão comum do que
B9 nosso trabalho deve atingir. 3,31
B2 As falhas são construtivamente discutidas em nossa organização. 3,22
A maioria dos grupos que atuam na solução de problemas da organização inclui servidores
B18 de vários centros, coordenações ou divisões. 2,92
146
A partir dos resultados, observa-se maior concordância quanto ao item B1 e B6, em

ordem decrescente de pontuação. Ambos se relacionam à abertura da organização para novas
ideias, seja pela receptividade quando apresentadas pelos servidores seja pelo incentivo da
Direção-Regional a sua experimentação para melhorar os processos de trabalho. Em
contrapartida, foi observado leve discordância quanto à aceitação de mudanças e ideias pela
Direção-Geral. No limite inferior, com o item B18 apresentou-se maior discordância quanto à
resolução de problemas por equipes de diferentes unidades. Cabe destacar ainda o item B2 que
demonstra que as falhas podem ser melhor discutidas de forma construtiva, uma vez que a
questão se manifestou com maior nível de discordância.
Gagnon et. al (2018) cita que a ênfase no trabalho em equipe e na resolução de

problemas em grupo como modo de operação e desenvolvimento de idéias inovadoras são
elementos identificados em organizações com maior capacidade de aprendizagem
organizacional.
4.2 GRAU DE PERFORMANCE DAS DIMENSÕES DE CAPACIDADE AVALIATIVA

NA ORGANIZAÇÃO
Para melhor visualizar o registro de notas dos respondentes, registrou-se o somatório

total da quantidade de vezes que cada nota fora atribuída em cada seção (transformada em
percentual sobre a quantidade de notas que cada grupo poderia receber no total). Feito isso, as
seções foram ordenadas em sequência que privilegiou em primeiro lugar a seção que obteve o
maior número de notas 7, seguida da seção que obteve o maior número de nota 6 e assim
sucessivamente. A fim de mensurar a frequência das notas atribuídas pelos respondentes,
construiu-se o Gráfico 2:
147
Gráfico 2 – Distribuição de notas de acordo com as frequências para as dimensões de EC
A partir dele, ficou evidenciado que o grupo de respostas em C (Suporte Organizacional)

obteve maior quantidade de notas 7, seguido de H+I (Capacidade para Usar Avaliação), B
(Capacidade de Aprendizagem Organizacional) e demais da sequência indicadas.
A seção E possui somente uma pergunta, então, embora ela varie significativamente
entre as demais, não será considerada para efeito de comparação com as demais seções,
conforme já explicado anteriormente e por não integrar qualquer dimensão.
Observa-se que a dimensão Capacidade para Usar Avaliação teve desempenho superior
à dimensão Capacidade para Fazer Avaliação (composta pela seção “D”), a qual ocupou a
última posição na distribuição das notas.
Além das médias apresentadas para cada um dos itens, conforme Tabela 3, algumas
impressões foram relatadas pelos respondentes cujo teor pode ser relacionado e explicar o baixo
desempenho da dimensão D. De acordo com o R5/CR1 “o sistema avaliativo utilizado pela
instituição é limitado e sem dúvida passível de melhorias, em especial as relacionadas à precisão
dos dados e amplitude das variáveis avaliadas”, constatação cujo teor pode ser relacionado ao
item D7 no questionário. Para o R35/CR3 “no âmbito da atuação dos seus servidores, ainda não
há um reconhecimento pela organização daqueles que mais se esforçam e nem cobrança sobre
os que não se esforçam nas atividades avaliativas”, constatação que remete aos itens D9 e D10.
Para uma diretoria-regional “na organização não existe um acompanhamento de metas

a cumprir. As iniciativas são quase todas regionais. Existe uma sensação de que a Diretoria-
Geral não acompanha o desempenho de cada unidade regional da instituição”, o que tende a
148
refletir nos itens D11 e D12. Para outra, “não há registros de práticas avaliativas planejadas e
institucionalmente estruturadas de modo ordenado e organizado nem permanente”, o que
corrobora para a discordância em relação ao item D6.
No Gráfico 3, foram explicitadas as distribuições das notas nas dimensões Capacidade

para Fazer e Capacidade para Usar Avaliação
Gráfico 3 - Distribuição de notas das dimensões Capacidade para Fazer Avaliação (D) e
Capacidade para Usar Avaliação (H+I) de acordo com as frequências.
Infere-se que a frequência de notas 1 atríbuidas à D foi em torno de 14% enquanto em

H+I aproximadamente 6%. As notas 2 tiveram frequência três vezes maior em D quando
comparado com H+I. A partir da nota 3 até 4, as frequências se aproximaram, porém passaram
a se distanciar novamente quando o movimento deslocou-se no sentido dos níveis máximos de
concordância e intensidade, trajetória esta em que D foi inferior a H+I em todas as notas, isto é
5, 6 e 7. No limite superior, em torno de 13% dos respondentes atribuiram nota 7 para H+I e
apenas 5% para D. Com efeito, pode-se afirmar que a HIPÓTESE 1 de que a capacidade para
fazer avaliação dos centros regionais da Esaf no Nordeste é menor do que sua capacidade para
utilizar avaliação PODE SER CONFIRMADA.
A pesquisa de Bourgeois et al. (2013) coloca a capacidade avaliativa e os esforços de

desenvolvimento de capacidade avaliativa em um framework conceitual mais amplo no que diz
respeito a sistemas de aprendizagem organizacional e sua capacidade para fazer e usar a
avaliação. Os resultados deste estudo coadunam com a confirmação da hipótese, sugerindo que
à medida que a investigação avaliativa (dimensão F) se torna enraizada na cultura de uma
organização, a capacidade de aprendizagem (dimensão B), a relação entre a capacidade de uma
149
organização para fazer e usar as avaliações aumenta (observar que se encontram em posições
distintas na distribuição e também no framework (a capacidade de fazer precede a de usar
avaliação e entre elas há outras dimensões que influenciam o comportamento das subsequentes,
conforme poderá ser verificado posteriormente na análise fatorial). Por fim, evidências
encontradas também nos testes estatísticos de Gagnon et. al (2018) indicam que uma maior
participação e envolvimento na investigação avaliativa (Dimensão “F”), seja na forma de
avaliação de programa ou medição de desempenho levam a uma maior capacidade para usar a
avaliação (dimensão “H+I”), seja pelo uso no processo, uso dos achados ou de ambos.
4.2.1 Análise das dimensões na perspectiva dos dirigentes
O questionário foi aplicado também entre os dirigentes regionais de modo a colher suas
impressões de forma complementar com objetivo de contrastar os resultados com aqueles
aferidos a partir da análise da capacidade avaliativa organizacional realizada com a equipe de
servidores. Os dirigentes não foram incluídos no grupo de servidores por uma escolha
metodológica uma vez que suas próprias ações são avaliadas em determinados momentos do
questionário. Com isso, surge um potencial viés pois em algumas questões seriam registradas
avaliações (em relação à Direção-Regional) ou auto-avaliação (quando feita pelo próprio
dirigente regional).
Gráfico 4 – Distribuição de notas pelos dirigentes regionais em relação às dimensões de

Capacidade Avaliativa
Destaca-se a boa avaliação dos dirigentes quanto à capacidade de uso da avaliação pela
organização, sendo a dimensão mais bem pontuada, tendo mais de 90% das notas com altos
níveis de concordância (acima de 5). Na sequência, aparece o suporte organizacional. As duas
150
dimensões são as melhores pontuadas também pelos servidores, mas em posições inversas com
maior frequência de notas 7 para o Suporte Organizacional. Em relação à capacidade para fazer,
a percepção dos dirigentes é de maior discordância frente a dos servidores, apesar de estar mais
bem posicionada no ranking do que Condições de Mediação do Uso e Participação dos
Stakeholders. Isso se explica pelas notas médias por item dos dirigentes que foram menores em
diversas dimensões quando comparadas com as dos servidores.
A seguir, nota-se no Gráfico 5 as linhas com a demonstração da tendência das notas ao
longo das dimensões do modelo de capacidade avaliativa.
Gráfico 5 – Média das dimensões por estado – de acordo com os dirigentes
Quando observadas de modo dissociado, as médias da nota revelaram-se superiores no

Ceará, tanto em relação à dimensão C (Suporte Organizacional), quanto em D (capacidade para
fazer), F (Investigação avaliativa) e J (Condições de Mediação), nestas duas últimas com
amplitude considerável. Na sequência da pesquisa, será possível inferir do ponto de vista
estatístico (com grau de significância) que tanto a dimensão C quanto a J no Ceará (estado 2)
obtiveram médias superiores as de Pernambuco (estado 3) e Bahia (estado 1), conforme Tabela
10 e Gráficos 7 e 9 quando se considera a percepção da equipe de servidores.
As avaliações dos dirigentes dos centros da Bahia e de Pernambuco têm médias
semelhantes em várias dimensões, quais sejam B, C, D e J. Cabe observar, ainda, a baixa nota
atribuída por ambos para as dimensões D e F, com média de 2 pontos somente, o que equivaleria
à forte discordância em relação aos itens das respectivas seções.
A propósito, a dimensão G que é a única que foi pior avaliada pela direção regional do
Ceará em relação às demais mostrou média superior na percepção dos servidores em relação à
Pernambuco e inferior à Bahia. Neste ponto, é possível extrair que há divergência entre gestor
151
e servidores quando indagados sobre a participação dos Stakeholders no processo avaliativo.
A única dimensão em que os três dirigentes convergiram no sentido do limite superior

da escala tipo Likert foi a da capacidade para usar a avaliação (H+I), que relaciona o uso dos
achados e o uso no processo. Enquanto na Bahia a média foi 5, nos centros do Ceará e de
Pernambuco a média chegou a 6, o que coaduna com a percepção do uso da avaliação pelos
servidores em que a intensidade do uso se revela como um dos fatores com prática mais intensa
no modelo de capacidade avaliativa dos centros regionais da Esaf no Nordeste.
Nota-se que nos gráficos anteriores, a seção E foi incluída, mas não está associada a
nenhuma dimensão dentro do modelo. Estaria mais próxima, teoricamente, da capacidade para
fazer avaliação uma vez que trata do processo de desenvolvimento da capacidade nos servidores
por meio do aperfeiçoamento de suas competências (conhecimentos e habilidades).
4.3 ANÁLISE DAS RELAÇÕES ENTRE OS ESTADOS EM FUNÇÃO DAS

DIMENSÕES DE CAPACIDADE AVALIATIVA
Com o intuito de avaliar se k amostras independentes são provenientes da mesma

população, foi realizado um teste de Kruskal-Wallis. Com isso, foi possível observar diferenças
entre os resultados nos três estados pesquisados. O teste é uma alternativa à análise de variância
quando as hipóteses de normalidade dos dados e igualdade de variâncias forem violadas. Isso
ocorreu entre os dados da nossa amostra, no momento em que os testes de significância das
variáveis conjunta não ficaram entre os valores aceitáveis. Assim, o teste de Kruskal-Wallis foi
realizado com o uso do software IBM SPSS Statistics, o que gerou a seguinte tabela descritiva:
Tabela 10 – Análise descritiva
Desvio
N Média Mínimo Máximo
Padrão
Seção B 36 3,998 0,898 1,944 6,222
Seção C 36 4,422 0,870 2,800 6,866
Seção D 36 3,518 0,846 2,083 6,000
Seção F 36 4,049 1,093 1,824 6,412
Seção G 36 4,266 1,102 1,000 5,857
Seção H 36 4,641 1,311 1,273 7,000
Seção I 36 4,421 1,416 1,278 6,833
Seção J 36 3,974 1,144 1,632 6,053
152
Os resultados reforçam a baixa variância entre os dados, haja vista o desvio padrão
próximo a 1, e as médias em torno de 4. O teste de Kruskal-Wallis em si gerou a Tabela 11 com
estatísticas para cada variável, indicando se há ou não significância no modelo:
Tabela 11 – Estatísticas de Teste Kruskal Wallis
Os resultados indicam que só é possível rejeitar a hipótese nula de que a distribuição da

variável é a mesma para todos os estados na mediac (Média da Seção C); mediag (Média da
Seção G); e mediaj (Média da Seção J). Portanto, para as demais seções as médias não se
diferem significativamente entre os estados. O software gerou a Tabela 12 com o seguinte
resumo de teste de hipóteses:
Tabela 12 – Resumo de teste de hipóteses das médias dos estados

Resumo de Teste de Hipótese
Hipótese nula Teste Sig. Decisão
A distribuição de mediac é a mesma entre Teste de Kruskal-Wallis de Rejeitar a
1 ,014
as categorias de UF. Amostras Independentes hipótese nula.
A distribuição de mediag é a mesma entre Teste de Kruskal-Wallis de Rejeitar a
2 ,004
A distribuição de mediaj é a mesma entre Teste de Kruskal-Wallis de Rejeitar a
3 ,031
São exibidas significâncias assintóticas. O nível de significância é ,05.
Nas demais variáveis não foi possível rejeitar a hipótese nula.
Como o teste Kruskal-Wallis ordena os dados, a tabela a seguir indica a posição dos
respondentes para cada estado e em cada seção. Assim, a pergunta a ser respondida é: se
ordenássemos as médias de todos os respondentes, em qual posição estaria cada estado? A
resposta pode ser observada na Tabela 13 a seguir:
153
Tabela 13 – Teste de posicionamento
UF N Posto médio
Seção C 1 (Bahia) 10 16,65
2 (Ceará) 9 27,28
3 (Pernambuco) 17 14,94
Total 36
Seção G 1 (Bahia) 10 24,60
2 (Ceará) 9 23,22
Total 36
Seção J 1 (Bahia) 10 19,25
2 (Ceará) 9 25,67
Total 36
4.3.1 Análise comparada da dimensão Suporte Organizacional entre os estados
Os dados indicam que na dimensão C (médiac) – Suporte Organizacional – a média de

cada um dos 17 respondentes de Pernambuco coloca o centro em aproximadamente na posição
15 entre 36 (14,94), ou seja, como o ranking posiciona primeiramente as menores notas e em
seguida as maiores, pode-se concluir que esse estado obteve as menores notas em relação aos
outros estados. Quanto mais próximo de 0, pior será o posicionamento da média, portanto.
Gráfico 6 – Posicionamento dos estados nas médias por dimensão – Suporte Organizacional
(Seção C)
média C - Suporte Organizacional
0 4 8 12 16 20 24 28 32 36
estado 3 (Pernambuco) estado 2 (Ceará) estado 1 (Bahia)
Já a média dos respondentes da Bahia a coloca aproximadamente na posição 17, e no

caso do Ceará, a média dos nove respondentes o coloca na posição 27, aproximadamente.
154
Quanto mais próximo da posição 36, melhor a média. Logo, as maiores médias dos
respondentes estão entre os estados do Ceará e Bahia. Isso fica claro quando se observa (mais
a frente) quais foram os grupos que não obtiveram diferenças significativas entre os estados.
A “mediac” obteve significância entre os estados de Pernambuco e Ceará, a uma
Estatística Teste de 8.512, com 2 graus de liberdade e um p<0.01. Logo é possível concluir que
há diferenças significativas entre as respostas nesses grupos, conforme Gráfico 7 a seguir:
Gráfico 7 – Teste de Kruskal-Wallis de Amostras Independentes – Suporte Organizacional

(Seção C)
4.3.2 Análise comparada da dimensão Participação dos Stakeholders entre os estados
Os dados indicam, conforme Gráfico 8, que na dimensão G (médiag) – participação dos

stakeholders – a média de cada um dos 17 respondentes de Pernambuco coloca o centro
aproximadamente na posição 12 entre 36 (12,41), ou seja, pode-se concluir que esse estado
obteve as menores notas, na média, inclusive com um posto bem abaixo quando comparado aos
centros da Bahia e Ceará que apresentaram, respectivamente, as posições 25 e 23. Quanto mais
próximo de 0, pior será o posicionamento da média, e quanto mais próximo de 36, melhor a
colocação.
155
Gráfico 8 – Posicionamento dos estados nas médias por dimensão – Participação dos
Stakeholders (Seção G)
média G - Participação dos Stakeholders
0 4 8 12 16 20 24 28 32 36
De acordo com o gráfico 9, as diferenças significativas ocorrem com uma Estatística

Teste de 10.861, graus de liberdade igual a 2, e um p<0.05 para os estados de Pernambuco e
Ceará e p<0.01 para os centros de Pernambuco e Bahia. Os dados indicam que há diferença
significativa entre os centros de Pernambuco e Ceará e entre aquele e a Bahia, sendo as médias
das respostas de Pernambuco significativamente menores para o centro do que em relação aos
outros estados.
Gráfico 9 – Teste de Kruskal-Wallis de Amostras Independentes – Participação dos
Stakeholders (Seção G)

156
4.3.3 Análise comparada da dimensão Condições de Mediação entre os estados
Os dados indicam que na dimensão J (médiaj) – condições de mediação do uso – a média

de cada um dos 9 respondentes do Ceará o coloca aproximadamente na posição 26 entre 36
(25,67), ou seja, pode-se concluir que esse estado obteve as melhores notas, na média, inclusive
com um posto acima quando comparado aos centros da Bahia e Pernambuco que apresentaram,
respectivamente, as posições 19 e 14. Quanto mais próximo de 0, pior será o posicionamento
da média, e quanto mais próximo de 36, melhor a colocação, consoante o Gráfico 10.
Gráfico 10 – Posicionamento dos estados nas médias por dimensão – Condições de Mediação
do Uso (Seção J)
média J - Condições de Mediação do Uso
0 4 8 12 16 20 24 28 32 36
Conforme o Gráfico 11 somente as diferenças entre os estados de Pernambuco e Ceará

foram significativas a uma estatística de teste de 6.970, e graus de liberdade 2, com significância
a p < 0.05. Portanto, nessa dimensão as diferenças entre as respostas dos centros da Bahia e
Ceará ou Pernambuco e Bahia.
157
Gráfico 11 – Teste de Kruskal-Wallis de Amostras Independentes – Condições de Mediação

do Uso (Seção J)
A partir do exposto nos resultados da análise não paramétrica, é possível concluir que
os três centros regionais da Esaf no Nordeste não demonstram graus de desempenho
equivalentes em todas as dimensões do modelo de análise de capacidade avaliativa
organizacional, uma vez que revelou diferenças significativas nas medias de Suporte
Organizacional, Participação dos Stakeholders e Condições de Mediação dos Usos, o que nos
leva a REJEITAR A HIPÓTESE 2 da presente pesquisa.
158
4.4 COMENTÁRIOS DOS SERVIDORES E DIRETORES REGIONAIS SOBRE

CAPACIDADE AVALIATIVA NA ORGANIZAÇÃO
Quadro 17 – Comentários sobre as práticas de avaliação na Esaf referentes à questão aberta

constante no item K do Questionário:
Comente sobre as práticas de avaliação, tomada de decisões e resolução de problemas em sua organização ou
sobre quaisquer outras questões de interesse relacionadas ao objeto desta pesquisa
continua
Nº Respondente Centro Regional Observação
Acredito que a Esaf não tem claros os seus objetivos e assim é difícil realizar
R2 CR1
avaliações.
Creio que o sistema avaliativo utilizado pela instituição é limitado e sem
R5 CR1 dúvida passível de melhorias, em especial as relacionadas à precisão dos
dados e amplitude das variáveis avaliadas.
A avaliação é uma rotina na organização, porém não há um enfoque em
R6 CR1 melhorias baseado nos resultados. As práticas de tomada de decisão são
centralizadas.
As avaliações de satisfação do público-alvo da ação são usadas apenas para
a correção de problemas pontuais. A avaliação por parte da direção costuma
R7 CR1 dar-se apenas pelo número de capacitações (meta física) e em geral não vejo
as avaliações sendo utilizadas como instrumento de melhoria contínua na
instituição.
As práticas de avaliação são consideradas na organização apenas no processo
de finalização das atividades o que tornam os resultados divergentes e
contraditório em relação à concepção do que seja um processo avaliativo e
R8 CR1
sua importância para ressignificar as ações de planejamento e suas práticas.
Constata-se também que até os processos de avaliação que existem na
organização não são utilizados para tomadas de decisão.
Avaliação é fundamental para produzir o todo da organização com foco na
R10 CR1
importância do planejamento e comprometimento organizacional.
Observo que as decisões vêm muito de cima para baixo, quando a regional é
R11 CR2 consultada parece ser proforma. Não há tempo suficiente para refletir, avaliar
e responder com segurança.
Nosso modelo de avaliação é muito bom, porém apresenta falhas por não
R13 CR2
termos um feedback por parte dos gestores.
O grande gargalo referente às práticas de avaliação é o uso dos resultados
para implementar as mudanças. Há muita resistência nas organizações
R15 CR2
públicas quanto a esse tema. Formalmente as avaliações existem, mas na
prática não observamos bom uso delas.
No Centro Regional há vários tipos de avaliação: i) avaliação institucional
R17 CR2 quando do planejamento da unidade; ii) avaliação de evento pelos
participantes, educadores e clientes; e iii) avaliação da aula pelo educador.
Se tratando da Esaf Brasília não possuímos nenhum apoio avaliativo,
R21 CR3
acarretando inércia do assunto neste centro regional.
As avaliações são de níveis confiáveis a todos os participantes que tem acesso
R22 CR3
e melhoram os resultados atingindo-se as reivindicações.
As práticas avaliativas insuficientes. Não existe a prática de mapeamento de
processos. As tomadas de decisões ocorrem do nível operacional para outro
R23 CR3 na tentativa de atender a demanda do usuário externo, tratando-se de um
aspecto puramente “sanativo” ou “apagador de incêndios”. O aspecto
preventivo da avaliação não é explorado.
159
Comente sobre as práticas de avaliação, tomada de decisões e resolução de problemas em sua organização ou
sobre quaisquer outras questões de interesse relacionadas ao objeto desta pesquisa
conclusão
Nº Respondente Centro Regional Observação
Os elementos ou itens da avaliação dos servidores envolvem questões
R24 CR3
subjetivas, a exemplo de “atender satisfatoriamente”, valor não objetivo.
Espero que a organização possa utilizar os resultados das avaliações para
R27 CR3
melhoria do serviço prestado.
Acredito que as práticas avaliativas da Esaf estão em processo de mudança,
R28 CR3 o que considero muito positivo, pois as realizadas anteriormente considero-
as sem influência para tomada de decisão.
A avaliação no âmbito do serviço público é vista com muita desconfiança
pelo servidor. Geralmente, tem-se a percepção de um instrumento punitivo,
R29 CR3
uma vez que tem ligação com remuneração e nunca é vista como um
instrumento de melhoria de desempenho da ação.
Não trabalhamos com avaliação de impacto a longo prazo. Sobre os
R34 CR3 resultados das avaliações, infelizmente nem sempre conseguimos reparar o
problema devido às limitações do serviço público.
Como organização tradicional no âmbito federal, a Esaf e os seus centros
ainda demonstram inexperiência e parcialidade em sua gestão e tomada de
R35 CR3 decisões. No âmbito da atuação dos seus servidores, ainda não há um
reconhecimento daqueles que mais se esforçam e nem cobrança sobre os que
não se esforçam.
São avaliações subjetivas e sem direcionamento da prática de nossas
R36 CR3
atividades em relação à missão.
Em nossa organização não existe um acompanhamento de metas a cumprir.
DR CR As iniciativas são quase todas regionais. Existe uma sensação de que a
Diretoria-Geral não acompanha o desempenho de cada unidade regional.
Há um distanciamento entre o órgão central (Esaf-Sede) e os centros
regionais e entre estes. É como se eles não conversassem entre si, como se
DR CR cada um tivesse plena autonomia. Há um esforço crescente do Centro em
avançar em práticas avaliativas e em tomada de decisão e resolução de
problemas a partir das informações advindas dos processos avaliativos.
Não há registros de práticas avaliativas planejadas e institucionalmente
DR CR
estruturadas de modo ordenado e organizado nem permanente.
(DR = Diretor-Regional / R = Respondentes (servidores) / CR = Centro Regional)
A partir das observações dos respondentes conforme o quadro 17 acima e a Figura 24,
é pertinente destacar que na Esaf há o entendimento de que apesar de a avaliação ser uma prática
continua na organização, ainda que em certo grau insuficiente, e apresentar razoável
confiabilidade, não há clareza dos objetivos, precisão dos dados, enfoque em melhorias
contínua e de resultados, uso dos resultados com foco na mudança, apoio avaliativo e
reconhecimento dos envolvidos. A avaliação ocorre principalmente após a implementação da
ação e não durante todo o ciclo, além disso não há feedback e a tomada de decisão ocorre de
cima para baixo. Todavia, acentua-se que a avaliação é importante para o planejamento e o
comprometimento, tal qual vimos como evidências nas respostas dos questionários em que se
verificou falta de planejamento avaliativo na Esaf (Ex. itens D6 e F8) mas aumento do
comprometimento pelo uso da avaliação (Ex. I13 e I14). Acrescenta-se ainda o distanciamento
do órgão central em relação aos centros regionais no que tange ao suporte.
160
Figura 24 – Conteúdo dos comentários em formato de nuvem de palavras

161
4.5 ANÁLISE FATORIAL
Essa técnica diz respeito a um método estatístico multivariado, o qual tem como
propósito estabelecer uma estrutura fatorial subjacente a um determinado grupo de variáveis
correlacionadas. O método fatorial analisa a estrutura das interrelações entre muitas variáveis,
sem distinção entre dependentes e independentes, e resulta em dimensões latentes, chamadas
de “fatores”, que tem como objetivo explicar as relações entre as variáveis, considerando a
comunalidade entre elas (LEÓN, 2011).
Trata-se, portanto, de uma técnica de redução de variáveis em fatores que agrupam
variáveis comuns, agrupamento esse que só tem sentido se houver interpretabilidade e
parcimônia, ou seja, capacidade de descrever melhor a realidade de acordo com a literatura e
de modo mais simplificado.
A estimação do modelo com essa técnica passa primeiramente pela definição do número
de graus de liberdade, definido matematicamente como a diferença entre o número de
parâmetros conhecidos (elementos da matriz de covariância) e o número de parâmetros
desconhecidos (cargas fatoriais, variâncias únicas e correlações entre os erros da variável). Ou
seja, por
Onde,
df: é o número de graus de liberdade;
p: número de variáveis indicadoras;
k: número de parâmetros livre.
p(p+1)/2: indica o número de elementos da matriz de covariância
E quando essa diferença resulta em um df<0 (chama-se Underidentified). Harrington

(2009) diz que o modelo não tem solução porque ele admite um número infinito de parâmetros
para ajustamento. Quando ocorre df=0 (número de parâmetros conhecidos e desconhecidos são
iguais), chama-se Just-Identified, e se diz que esses modelos não são informativos pois não
admitem testar o modelo. Agora, quando resulta em df>0, chama-se Overidentified, e esse
modelo possui múltiplos métodos de estimação (WOODRIDGE, 2015).
O método mais utilizado, aplicado nessa pesquisa, é o da Máxima Verossimilhança

(MV), dada pela função:
162
Onde |S| é o determinante da matriz de covariância amostral, |Σ| é o determinante da

matriz de covariância predita e p é o número de variáveis indicadoras. E segundo Brown (2006)
o determinante de S será igual ao determinante de Σ e a diferença dos logaritmos desses
determinantes (ln|S| - ln|Σ|) será igual a zero. Da mesma forma, (S)(Σ-1) será igual a uma matriz
identidade com a diagonal composta de 1. Quando os elementos da diagonal são somados
(usando o traço da matriz) o resultado será o valor de p. Assim, se obtém um ajuste perfeito e a
função de verossimilhança será zero (WOOLDRIGE, 2015).
Esse processo de estimação é contínuo e interativo, e o pesquisador tem o trabalho de,

em paralelo com a literatura, incluir relações e/ou excluir parâmetros até chegar no melhor
ajuste, com a melhor estimação possível. Segundo Harrington (2009), é possível tratar variáveis
como contínuas quando a escala possui um constructo subjacente contínuo, como muitas
escalas de Likert, como por exemplo, 07 (sete) categorias de resposta, quando os dados não são
severamente assimétricos, ou seja, quando seguem uma distribuição aproximadamente normal.
Nessa pesquisa foi utilizada uma escala tipo Likert com 07 possíveis respostas -
“Discordo Totalmente” até “Concordo Totalmente” ou “Nunca” até “Sempre” – de acordo com
a seção, sendo então aplicável ao modelo Fatorial com ajustamento pela Máxima
Verossimilhança.
Assim, testes foram feitos com o intuito de verificar se o modelo está bem ajustado. O
primeiro, é o índice absoluto “Overall Fit” que indica se a Matriz de covariância predita se
ajusta à matriz de covariância amostral, ou seja, H0:Σ=S. Para isso, foi usado o teste de
Esfericidade de Bartlett, que recupera o valor aproximado do qui-quadrado, graus de liberdade
e significância, quando o indicador não rejeita a hipótese nula (H0), e sugere um bom
ajustamento do modelo ao montar as relações entre as dimensões.
Nas saídas do software, esse Overall Fit recupera a relação entre qui-quadrado e graus
de liberdade por meio da sigla CMIN/DF, o qual é indicado pela literatura como bom ajuste do
modelo, aqueles valores abaixo de 5,0.
Outro teste utilizado foi o KMO (Kaiser-Meyer-Olklin), o qual varia de 0 a 1, realçando

que quanto mais próximo de 1, melhor será o ajustamento do modelo. Os valores do índice
KMO (indicam se a análise fatorial é apropriada) varia entre autores. Para Hair, Anderson e
Tatham (1987) são valores aceitáveis entre 0.5 a 1.0. Portanto, quando menor que 0.5 a análise
fatorial é inaceitável.
163
Esses testes são realizados previamente com o banco de dados, após construção do
modelo fatorial e outros testes são realizados, em um processo interativo entre
retiradas/inclusão de relações, a fim de que o modelo final esteja bem ajustado, dentre eles o
SRMR (Standardized Root Mean Residual), que é a média da discrepância entre a matriz de
correlação amostral e a matriz de correlação estimada, ou seja, uma medida da média das
correlações não explicadas do modelo. Brown (2006) afirma que quanto mais próximo de zero,
melhor será o ajuste do modelo, e que valores acima de 0.08 para KMO são indicativos de um
modelo não bem ajustado. Outros índices são descritos no Quadro 18 a seguir:
Quadro 18 – Índices de ajustamento do modelo

ÍNDICE DEFINIÇÃO MEDIDA DE AJUSTE
Mede uma melhora relativa no ajuste do
Próximo a 1 indica modelo
CFI (Comparative Fit Index) modelo do pesquisador em relação a um
bem ajustado.
modelo padrão.
o TLI inclui uma função de penalização
TLI (Tucker-Lewis Index) ou NFI
pela adição de mais parâmetros estimados Próximo a 1 indica modelo
(Índice de Tucker-Lewis não
e que podem não melhorar o ajuste do bem ajustado.
padronizado)
modelo
Fonte: Elaborado pelo autor (com dados de Wooldrige, 2015; Hair, 1998; Harrington, 2009.
Com isso, os dados foram analisados agrupando seções para estimar o grau de
associação entre os itens. Para tanto, foram realizados testes com 07 (sete) modelos, dentre os
quais foram escolhidos 4 que obtiveram os melhores testes de ajustamento e 1, o modelo 1, por
questões metodológicas. Quanto ao teste de KMO e Esfericidade de Bartlet, os modelos tiveram
os seguintes resultados (Tabela 14):
Tabela 14 – Testes de adequação da amostra (KMO e Esfericidade)

MODELO KMO Esfericidade
1. Capacidade de Aprendizagem e Suporte Organizacional 0,518 0,00
2. Capacidade de Fazer Avaliação e Uso dos Achados 0,508 0,00
3. Capacidade de Fazer Avaliação e Uso no Processo 0,737 0,00
4. Suporte Organizacional e Capacidade de Fazer Avaliação 0,537 0,00
5. Suporte Organizacional e Participação dos Stakeholders 0,631 0,00
6. Investigação Avaliativa e Uso no Processo 0,591 0,00
7. Condições de Mediação e Uso dos Achados 0,721 0,00

164
Conforme os dados, todos os modelos obtiveram resultados satisfatórios para o teste

KMO, e em todos os testes de Esfericidade de Bartlet não fora possível rejeitar a hipótese nula,
portanto, dentre esses resultados, todos os modelos têm possibilidade de serem analisados.
Não obstante, os demais testes obtiveram resultados variados quando à significância
estatística:
Tabela 15 – Teste de ajuste da análise fatorial

MODELO CMIN SRMR GFI AGFI CFI NFI TLI
/DF
1. Capacidade de 1,597 0,123 0,640 0,543 0,699 0,491 0,653
Aprendizagem e Suporte
organizacional
2. Capacidade de Fazer 1,418 0,086 0,615 0,531 0,875 0,687 0,851
Avaliação e Uso dos Achados
3. Capacidade de Fazer 1,739 0,059 0,614 0,506 0,874 0,752 0,854
Avaliação e Uso no Processo
4. Suporte Organizacional e 1,340 0,112 0,741 0,626 0,913 0,742 0,890
Capacidade de Fazer
Avaliação (excluído)
5. Suporte Organizacional e 2,853 0,140 0,601 0,426 0,706 0,622 0,633
Participação dos Stakeholders
(excluído)
6. Investigação Avaliativa e 2,009 0,091 0,537 0,450 0,746 0,604 0,718
Uso no Processo
7. Condições de Mediação e 1,450 0,083 0,603 0,523 0,836 0,625 0,818
Uso dos Achados
Nota: Modelos aplicados
A relação entre o qui-quadrado e Graus de Liberdade são demonstradas nas saídas do

AMOS (software utilizado) pela sigla CMIN/DF, a qual possui valores significativos quando
forem abaixo de 5 (cinco). Logo, todos os modelos apresentaram significância para esse teste.
Quanto ao teste SRMR, os modelos que mais se aproximaram do ideal foram o 2, 3, 6 e

7, os quais obtiveram resultados mais próximos de 0 (zero), sendo que índices menores que
0,10 são indicativos de bom ajuste (HAIR et al., 2009; KLINE, 2005). Os testes GFI, CFI e TLI
possuem a mesma indicação de significância, qual seja, quanto mais próximos de 1, mais
significativo será o modelo. Sendo assim, os modelos que mais se aproximaram disso foram o
2, 3, 4 e 7.
Posto isso, para analisar cada modelo, foi necessário constituir fatores conforme as
técnicas da análise fatorial demonstradas a seguir nas Tabelas 16 a 20 e Figuras 25 a 29.
165
4.5.1 Modelo 1 – Capacidade de Aprendizagem e Suporte Organizacional
Ao gerar esse modelo, a tabela padrão retornou o indicativo de 03 (três) fatores,

conforme Tabela 16 a seguir:
Tabela 16 – Matriz de fatores do Modelo 1

FATORES
1 2 3
c4 0,870
c6 0,811
c9 0,771
c8 0,770
b9 0,677
c1 0,531 -0,302
b2 0,514 0,325
b3 0,451 0,404
b13 0,878
b11 0,766
b6 0,761
b17 0,647
c3 0,552
b7 0,536 -0,304
b14 0,506
b18 0,802
b8 0,635
c7 0,562
b10 0,434 0,495
c5 -0,351 0,440
c2 0,354 0,357
Fonte: Elaborado pelo autor (Método de Extração: Análise de Componente Principal e Método de
Rotação: Oblimin com Normalização de Kaiser)
O método utilizado aqui e nos demais modelos foi de Análise Fatorial pela Componente
principal, bem como com a rotação oblíqua com normalização de Kaiser. Com isso, o sistema
retornou o indicativo de três fatores, os quais, pelo agrupamento dos itens denominou-se: Fator
1 (Aprendizagem Coletiva); 2 (Autoaprendizagem); 3 (Valorização da Inovação e Solução de
Problemas Multiequipes). Com isso, o path diagram (Figura 25) teve a seguinte configuração:
166
Figura 25 – Diagrama do Modelo 1
Com esse diagrama é possível observar as cargas fatoriais entre os fatores e as suas
variáveis agrupadas. No Fator 1 há destaque para as variáveis C4, C6 e C8, onde as cargas
fatoriais de regressão são maiores, logo, o aumento em uma unidade nessas variáveis tende a
aumentar o Fator 1 (Aprendizagem Coletiva), em suas respectivas cargas.
Esses itens estão relacionados com a ideia de a organização fornecer valorização à
aprendizagem contínua por meio da ampliação de conhecimentos da equipe, seu nível
educacional e estímulo à liderança e ao trabalho em equipe. Portanto, é possível entender que
incentivar o acúmulo desses quesitos estão associados e agrupados no Fator 1 dessa pesquisa.
Cabe ressaltar ainda que para obter a aprendizagem contínua, a organização deve fornecer
oportunidades para os membros aprenderem sobre a prática de avaliação. O ECB precisa ser
apoiado no nível cultural, dentro da avaliação de desempenho e sistemas de desenvolvimento
profissional e nos sistemas de avaliação e estruturas de suporte organizacional.
Consoante o exposto, Suarez-Balcazar et al. (2010) apud Taylor-Ritzler et al. (2013)
concluem que o suporte organizacional é necessário para a aprendizagem individual e mudança
de comportamento. Para os autores, na pesquisa em que desenvolveram o ECAI (instrumento
de análise da capacidade avaliativa) em organizações americanas, concluíram que os esforços
de ECB devem se concentrar na liderança organizacional, na cultura de aprendizagem e no
desenvolvimento de recursos apropriados e adequados dedicados à avaliação.
167
Complementarmente, Bourgeois e Cousins (2008) acrescentam que a aprendizagem

avaliativa se relaciona com o amplo conhecimento de avaliação em toda a organização. Para
Preskill e Boyle (2008), ECB envolve a concepção e implementação de estratégias de ensino e
aprendizagem para ajudar indivíduos, grupos e organizações a aprender sobre o que constitui
prática de avaliação efetiva e útil. Segundo as autoras, é importante compreender a capacidade
de aprendizagem organizacional do sistema em que o ECB está ocorrendo. A extensão e as
formas como a liderança da organização valora a aprendizagem e a avaliação cria uma cultura
de investigação, em que são necessários sistemas e estrutura de suporte para se engajar em
práticas avaliativas e a disponibilidade de canais de comunicação e oportunidades de acesso e
disseminação da informação de avaliação afetam significativamente não somente se e como as
pessoas aprendem sobre avaliação, mas também a medida em que a prática se sustenta.
Uma vez que o compromisso foi feito para criar a capacidade de avaliação dos membros,
deve selecionar-se imediatamente a estratégia de aprendizagem (estágio, materiais escritos,
tecnologia, reuniões, consulta apreciativa, comunidades de prática, treinamento, envolvimento
em um processo avaliativo, assistência técnica, treinamento ou mentoria). Esta seleção deve,
pelo menos, levar em consideração as características dos participantes, recursos disponíveis,
teorias de avaliação, aprendizado e mudança organizacional e objetivos de aprendizagem
desejados e resultados esperados. Neste ponto, observa-se a relevância do suporte
organizacional para o processo de aprendizagem. Reflete-se, assim, a importância de entender
até que ponto a organização possui as condições necessárias para apoiar as atividades do ECB
e os usos no longo prazo dos processos de avaliação. Este componente refere-se aos elementos
da cultura, liderança, sistemas e estruturas de uma organização e comunicações que apoiam e
encorajam a aprendizagem organizacional
Suporte organizacional também é um constructo antecedente no framework
originalmente desenvolvido por Goh em seu trabalho de aprendizagem organizacional (GOH,
2000) cujo impacto potencial é a capacidade de fazer e usar avaliação dentro da organização.
Assim, a partir da visão de integrar a avaliação na cultura organizacional e de posicionar a
avaliação como um sistema de aprendizagem organizacional, a capacidade organizacional para
avaliação passa a estar naturalmente relacionada à capacidade de aprendizagem organizacional,
uma construção multifacetada composta por blocos chave estratégicos encontrados nas
organizações que aprendem (GOH, 2000 apud COUSINS et al., 2014).
Os resultados identificados na análise deste fator coadunam com os achados de Cousins
(2014, 2018) a partir dos quais verificou-se que as estruturas de suporte organizacional (OSS)
são necessárias para facilitar o aprendizado organizacional.
168
Já no Fator 2 (Autoaprendizagem), as variáveis de maior carga são: B11 e B13, com

cargas estimadas em 0.82 e 0.78, respectivamente. Tais itens compreendem as habilidades de
envolvimento da equipe na tomada de decisões e aceitação de feedbacks críticos pelos
dirigentes; logo, permite-se concluir que a construção da autoaprendizagem envolve a aceitação
de críticas pela direção-regional e participação da equipe na tomada de decisões.
Ao considerar o Fator 3 (Valorização da Inovação e Solução de Problemas
Multiequipes), os principais itens foram B8, B10 e B18, com cargas estimadas em 0.84; 0.74;
0.62. Esses itens dizem respeito, principalmente, à criação de um ambiente favorável para a
solução de problemas de forma compartilhada, introdução de ideias inovadoras na organização
e geração de recompensas para as que foram bem-sucedidas quando implementadas. Assim, a
construção desse fator considera o agrupamento de itens que indicam que a organização
valoriza a prática de inovação e solução de problemas em equipe.
As relações de covariância entre os três fatores sugerem uma leitura similar à ideia de
correlação, porém, observando o aumento das médias de cada fator. Assim, os fatores 1 e 2
estão associados em uma relação positiva de 0.33, ou seja, o aumento da média do Fator 1 tende
a aumentar a média do Fator 2 em 0.33 (e vice-versa). Isso permite concluir que quanto mais
positivamente os servidores avaliarem a Aprendizagem Coletiva mais eles poderão avaliar
positivamente a Autoaprendizagem, em uma estimativa de 0.33. Isso ocorre também entre os
fatores 2 e 3, com uma carga de covariância de 0.49 e entre os fatores 3 e 1, com uma carga de
estimativa de 0.55. Assim, pode-se observar que há mais covariância entre os fatores 3 e 1, e
com isso, inferimos que a valorização da inovação e da solução de problemas multiequipes são
observadas quanto mais se observam a aprendizagem por meio do envolvimento coletivo.
Por fim, cabe destacar alguns pontos citados pelos respondentes (Rx = respondente nº
... / CRy = Centro Regional nº ... / DRz = Diretoria Regional nº ...) que remetem ao suporte
organizacional em sua relação com a capacidade de aprendizagem:
i) as práticas de tomada de decisão são centralizadas. (R6 / CR1)
ii) os processos de avaliação que existem na organização não são utilizados para
tomadas de decisão. (R8 / CR1)
iii) o modelo de avaliação é falho pois não apresenta feedback por parte dos gestores.
(R13 / CR2)
iv) não há nenhum apoio avaliativo da Esaf Sede, acarretando inércia do assunto neste
centro regional. (R21 / CR3)
v) não há registros de práticas avaliativas planejadas e institucionalmente estruturadas
de modo ordenado e organizado nem permanente. (DR / CR)
169
4.5.2 Modelo 2 – Capacidade de Fazer Avaliação e Capacidade de Usar Avaliação (Uso

dos Achados)
Esse modelo retornou indicações para se utilizar três fatores: Fator 1, Fator 4 e Fator 5,
conforme Tabela 17 a seguir:
Tabela 17 – Matriz de Fatores do Modelo 2
FATORES
1 2 3 4 5 6
H9 0,870
H8 0,869 -0,382
H10 0,869 -0,327
H7 0,851 -0,316
H2 0,850 0,331
H3 0,850 0,336 -0,361
H5 0,845 -0,360
H6 0,810 -0,328
H4 0,742 0,359 -0,360
H1 0,613 0,439 0,486
D3 0,789
D5 0,825
D6 0,466 0,718 -0,412 -0,445
D11 -0,869
D12 0,406 -0,730
D10 0,374 -0,725
D1 0,368 -0,827
D7 0,358 -0,795
D8 0,304 -0,662 -0,522
D2 0,580 -0,349 -0,603 -0,314
D4 0,413 0,312 -0,766
D9 -0,356 -0,753
Os resultados desse segundo modelo indicam maior variabilidade dos itens agrupados,
entretanto, apesar de o Fator 1 agrupar todos os itens da seção “Uso dos Achados”, com uma
ressalva de associação de covariância entre o erro dos itens H2 e H3, e H3 e H10, a seção
“Capacidade de Fazer Avaliação” foi subdividida em dois fatores. Sendo assim, o Fator 1
manteve a mesma denominação (Uso dos Achados); o Fator 4 foi denominado: “Relatos de
Desempenho”; e o Fator 5: “Competência e Prática”.
Com isso o diagrama fatorial (Figura 26) gerado no software AMOS ficou com a
seguinte configuração:
170
Fonte: elaborado pelo autor

Nessa configuração, o diagrama indica que os itens com maior carga no Fator 1 são H5,
H7 até H10, com cargas estimativas acima de 0.70; e esses itens buscam entender
predominantemente o uso externo dos achados da avaliação, ou seja, a divulgação desses, bem
como as decisões sobre a alocação de recursos, o que permite considerar as possibilidades de
continuidade ou não do processo avaliativo. No Fator 4, há maior destaque para o item D11,
com carga de estimativa de 0.80, sendo o item com maior estimativa de todo o modelo. Esse
item recupera a avaliação que os servidores fazem da possibilidade de relatar seus desempenhos
da ação executada. O agrupamento de itens do Fator 5 demonstra que os itens D1 e D2 possuem
maior carga estimativa para influenciá-lo. Tais itens dizem respeito ao suporte orçamentário e
à capacidade de acessar as informações sobre as melhores práticas do campo de atuação. Quanto
às associações de covariância entre os fatores, ocorreu maior carga entre os fatores 1 e 5, com
estimativa de 0.45., ou seja, o aumento das médias do Fator 5, por exemplo, afeta as médias do
Fator 1 em maior carga do que as relações entre os demais fatores.
Neste sentido, o desenvolvimento das competências técnicas para realizar avaliações e
para supervisionar avaliações externas e a geração de orçamento e acesso a melhores práticas
impactam mais o fator “Uso dos Achados” do que a medição do desempenho da ação o faz.
Em pesquisa realizada por Bourgeois (2015), também foi notado que pode haver uma
correspondência entre a capacidade de uma organização de fazer e a capacidade de usar a
avaliação. De acordo com essa lógica, a capacidade mais desenvolvida para fazer avaliação leva
a estudos avaliativos de maior qualidade, o que, por sua vez, leva a uma melhor utilização. O
171
oposto também é provavelmente verdadeiro: uma maior demanda por avaliação e interesse em
práticas baseada em evidências resulta em níveis mais altos de recursos para avaliação e maior
capacidade de fazer trabalhos avaliativos da qualidade.
4.5.3 Modelo 3 - Capacidade para Fazer Avaliação e Capacidade para Usar Avaliação
(Uso no Processo)
As associações de similaridade entre os itens dessas duas seções retornaram indicações

de dois fatores. A segunda integra a totalidade de itens da seção “Uso no Processo”, mais um
item (D6), portanto denominado “Uso no Processo”. E o segundo fator, agrupou apenas os itens
da seção Capacidade de Fazer avaliação, denominado como “Mecanismo formal de incentivo”.
As indicações de fatores podem ser observadas por meio da Tabela 18 a seguir:
FATORES
1 2 3 4 5
I15 0,961
I6 0,930
I10 0,925
I14 0,912
I8 0,909
I7 0,903
I9 0,897
I16 0,897
I17 0,888
I1 0,862
I13 0,846
I11 0,831
I5 0,823
I4 0,823
I3 0,819
I12 0,797
I2 0,793
D6 0,548 0,457
D1 0,793
D8 0,779
D7 0,322 0,650 -0,339
D2 0,539 0,396
D9 0,507 0,451 -0,306
D5 -0,301 0,873
D4 0,672
D11 -0,842
D10 -0,697
D12 -0,603 0,405
D3 0,820
172
Nesse terceiro modelo, todos os itens da seção “Uso no Processo” foram agrupados no
Fator 1, indicando que as respostas dessa seção estão plenamente associadas. No segundo fator,
o modelo indica os itens D10; D11 e D12, entretanto, por questões de ajustes do modelo
somente os itens D9 e D11 foram agrupados.
Com isso, a configuração do diagrama (Figura 27) ficou assim:

Todos os itens do Fator 1 estão fortemente associados e possuem cargas altas na
regressão, indicando que todos os itens influenciam o fator. No Fator 2 a principal carga está
no item D11, o qual refere-se às requisições formais da organização quanto ao relato do
desempenho da ação, ou seja, demanda avaliativa. Segundo Stockdill et al. (2002), a premissa
é que o efetivo ECB exige uma ampla demanda de avaliação e que a sustentabilidade para
conduzir a avaliação depende da medida em que a avaliação é usada dentro da organização. Por
outro lado, para que a demanda por avaliação, e por consequência, a requisição formal quanto
ao desempenho seja desenvolvida é necessário, preliminarmente, que os tomadores de decisão
vivenciem e assimilem os benefícios da avaliação e assim passem a disseminar e incentivar essa
prática como um mecanismo para promoção de mudanças (SERPA, 2014).
Para Hatry (2013), a forte capacidade de medir e relatar o desempenho contribui para o
desenvolvimento de um clima de aprendizado na organização que é altamente valioso para a
avaliação e a medição do desempenho. As decisões podem ser tomadas com base em evidências
e a organização pode demonstrar responsabilidade e promover o aprendizado para iniciativas
173
futuras. Neste ponto, é possível perceber a relação entre a importância de formalizar a

elaboração de relatórios de desempenho da ação e o aprimoramento da própria função avaliativa
e por consequência do uso no processo.
Outra inferência possível do modelo é quanto à covariância entre os fatores, pois o

diagrama indica que há uma correlação entre as covariâncias em uma carga estimativa de 0.51.
4.5.4 Modelo 6 – Investigação Avaliativa e Uso no Processo
Esse modelo sugeriu o uso de três fatores (Tabela 19), sendo o primeiro deles, Fator 1,
denominado diretamente “Uso no Processo”, pois contempla todos os itens dessa seção. O Fator
2, ou “Investigação Exógena”, com todos os itens que mensuram as habilidades de investigar
não inerentes às próprias atividades avaliativas e o último, Fator 4, que trata de produtos da
investigação avaliativa, como geração de relatórios, intitulado “Pós-Avaliação”.

FATORES
1 2 3 4
I17 0,950 0,384
I10 0,934
I9 0,933
I8 0,915
I15 0,909
I7 0,909
I6 0,898
I16 0,894 0,310
I14 0,878
I13 0,873 0,386
I1 0,825
I5 0,807 -0,332
I11 0,804
I12 0,740
I2 0,714 0,353
I3 0,703
I4 0,701
F8 0,993
F9 0,864
F7 0,684
F11 0,647
F17 0,642
F2 0,607
F6 0,548
F10 0,309 0,475 -0,314
F15 -0,578
F13 0,882
F16 0,733
F14 0,712
F12 0,348 0,485
174
Desta forma, o desenho do diagrama (Figura 28) configurou-se assim:
FONTE: Elaborado pelo autor
Com esse modelo as cargas de estimativas presentes no Fator 1 (Uso no Processo)

indicam que os itens elencados no questionário para essa seção estão associados com alta carga.
Prova disso é que o Fator é afetado por todos os itens com cargas de estimativas acima de 0.80.
No Fator 2 (Investigação Exógena), os itens possuem cargas acima de 0.60 em sua
maioria, portanto, quando os respondentes avaliam positivamente os itens de avaliação
exógena, tendem a aumentar também esse fator. Isso é observado também no Fator 4 (Pós-
Avaliação), com os itens ali agrupados.
Ao se observar as covariâncias entre os fatores, conclui-se que as altas correlações de
covariâncias indicam que esses fatores são associados, portanto, as cargas envolvidas nos itens
e nas covariâncias revelam alto grau de associação entre essas duas dimensões.
A dimensão “Investigação Avaliativa” precede e influencia a dimensão “Capacidade
para Usar Avaliação” nos modelos conceituais de Cousins et al. (2008) e Gagnon et al. (2018).
Portanto o achado deste modelo coaduna com o modelo adotado na pesquisa.
175
Para Bourgeois e Cousins (2008) e Torres e Preskill (2001), uma vez que as
organizações experimentam sucesso nas abordagens de avaliação participativa, elas podem
começar a implementar a investigação avaliativa em toda a organização, o que constitui a
terceira etapa do ECB (precedida por avaliação tradicional e conscientização/experimentação).
Cousins et al. (2014) defende que a investigação avaliativa implica a natureza e extensão
em que as práticas avaliativas ocorrem dentro da organização. A investigação pode ser
executada por meio de projetos de avaliação internos ou comandada por avaliadores externos.
Dependendo das necessidades de informação da organização [isto é, demanda avaliativa, o que
relaciona-se com o uso da avaliação, denotando a covariância entre as dimensões conforme
apresentadas neste modelo 6], tais projetos podem ser de natureza formativa ou somativa; usar
métodos quantitativos, qualitativos ou mistos; ser completamente implementados por
avaliadores treinados; ou, alternativamente, ser altamente colaborativos e participativos. As
avaliações podem ser abrangentes para cobrir um programa ou podem ocorrer ao longo do
tempo em um conjunto sequenciado de projetos.
Argumenta-se que a investigação avaliativa, ou seja, a investigação sistemática que leva

a julgamentos sobre o mérito, o valor e a importância do programa em apoio à tomada de
decisões, é uma forma de sistema de aprendizagem organizacional. (COUSINS et al., 2004;
PRESKILL, 1994; PRESKILL; TORRES, 1999). Quando integrada à cultura organizacional,
acredita-se que a investigação avaliativa se torna parte integrante da criação e compartilhamento
de novos conhecimentos, impactando o uso no processo.
Os mesmos autores ainda consideram que ações associadas ao desenvolvimento de

infraestrutura, processos e procedimentos que sustentam o desenvolvimento da capacidade
avaliativa representam intervenções que têm um componente avaliativo distinto. Assim, a
investigação avaliativa pode levar a várias formas de utilização ou, mais direta e
intencionalmente, à construção da capacidade de aprendizagem de uma organização.
Na pesquisa desenvolvida por Bourgeois et al. (2013), evidenciou-se que à medida que
a investigação avaliativa se tornava enraizada na cultura de uma organização, a relação entre a
capacidade de uma organização para fazer e usar as avaliações aumentava.
Deste modo, há indicativos suficientes para que a organização aprimore a investigação

de modo a ampliar a capacidade de usar a avaliação e consequentemente a aprendizagem
organizacional.
176
4.5.5 Modelo 7 - Condições de Mediação e Uso dos Achados
Gagnon et al. (2018) relaciona a influência de fatores e condições de mediação no uso

dos achados avaliativos. Este modelo
O último modelo sugere o uso de quatro fatores, quais sejam: Fator 1, chamado
“Benefícios”, porque trabalha com a avaliação que os usuários fazem das ações; Fator 2,
designado “Consistência e Disponibilidade”, pois trata de itens que avaliam a metodologia e
consistência do instrumento avaliativo, bem como a disponibilidade dele após a avaliação; Fator
3, chamado “Uso dos Achados”, pois utiliza todos os itens dessa seção; e Fator 5, intitulado,
“Qualidade”. Isso ficou demonstrado na Tabela 20 com as matrizes de fatores:

FATORES
1 2 3 4 5
J8 0,767
J9 0,757
J11 0,674 0,328
J7 0,632 0,316
J3 0,554
J2 0,520 0,415
J5 0,347 0,344 0,315
J18 0,880
J19 0,782
J17 0,610
J16 0,501 0,430
H2 0,846
H3 0,778
H5 0,757
H1 0,753
H7 0,351 0,746
H6 0,349 0,715
H10 0,658
H9 0,658 0,334
H8 0,638
H4 -0,383 0,618 0,599
J14 0,851
J15 0,799
J10 0,376 0,538
J13 0,858
J12 0,787
J4 0,316 0,563
J1 0,445
J6 0,360 0,437
Fonte: Elaborado pelo autor (Método de Extração:

Análise de Componente Principal e Método de Rotação: Oblimin com Normalização de Kaiser)
O diagrama Figura 29) ficou com a seguinte configuração:

177
A leitura da regressão demonstrada no diagrama sugere que todas as cargas envolvidas

nos itens possuem alta carga de estimação, entretanto cada fator possui suas singularidades. O
Fator 1 teve destaque para o item J7, que estima a redução de surpresa para o tomador de
decisão, ou seja, como os respondentes avaliam a influência do uso da avaliação para redução
de surpresas para tomadores de decisão. No Fator 2, o destaque entre as cargas de estimação é
para o item J19, que analisa a exposição dos usuários durante o processo avaliativo.
No Fator 3, há intenso predomínio dos itens do uso dos achados, mais uma vez
demonstrando o alto grau de associação entre as respostas dessa seção. Já na última dimensão,
o Fator 5, teve destaque para os itens J4 e J6. Esses itens mensuram diretamente como os
respondentes avaliam a qualidade e precisão dos dados da avaliação para seu uso. Isso tem
grande relevância, pois foram os itens com mais altas cargas de estimativa no fator.
A principal inferência desse tipo de técnica é das covariâncias entre os fatores, e esse
modelo foi um dos que demonstrou mais correlação entre elas, prova de que essas dimensões
possuem importantes graus de associações. Logo, uma vez que se procure analisar a relação
entre as principais dimensões de análise desse questionário, a relação entre essas dimensões
foram uma das que obteve mais forte correlação.
178
De modo a sustentar tal relação entre as referidas dimensões e seus fatores, é apropriado
mencionar que as condições de mediação servem para temperar ou moldar o impacto da
avaliação dentro da organização. Tais condições foram identificadas a partir de pesquisa sobre
o uso da avaliação (COUSINS, 2003; SHULHA; COUSINS, 1997 apud COUSINS et al, 2014),
como também, mais especificamente, em pesquisa empírica sobre avaliação governamental
(COUSINS et al., 2008) e referem-se à tempestividade, natureza construtiva do feedback,
necessidades de informação dos usuários primários, credibilidade dos achados, acessibilidade
aos usuários primários, comunicabilidade, envolvimento dos stakeholders não-avaliadores e
relevância para as prioridades de decisão.
As condições de mediação de uso foram avaliadas pelos respondentes com nota média
próxima a 4 dentro da seção, mas a frequência das notas revelou que 40% destas foram
distribuídas em nível de concordância médio para alto quanto à observação dos fatores e
condições no uso da avaliação. Já para os dirigentes, 70% de suas notas indicam discordância
quanto à presença dos fatores e condições mediadoras de uso na organização.
179
5. CONSIDERAÇÕES FINAIS e RECOMENDAÇÕES
Essa dissertação teve por objetivo analisar as inter-relações entre as dimensões da

capacidade avaliativa dos centros regionais da Escola de Administração Fazendária no Nordeste
e os fatores que contribuem para a prática organizacional de fazer e usar avaliação no âmbito
da ação governamental de seleção, formação e desenvolvimento de pessoal. Neste sentido, no
capítulo 4 apresentou-se os resultados da análise da capacidade organizacional da Escola de
Governo para fazer e usar avaliação.
Mensusar o grau de capacidade avaliativa e analisar as inter-relações entre cada uma de

suas dimensões (suporte organizacional, capacidade para fazer avaliação, investigação
avaliativa, participação dos stakeholders na avaliação, condições de mediação do uso,
capacidade para usar avaliação e para a aprendizagem organizacional) significa, sobretudo,
possibilitar o diagnóstico do grau de maturidade para a institucionalização da função avaliativa
na organização em uma associação direta com a busca do aperfeiçoamento de programas e
políticas públicas, com o objetivo de assegurar maior efetividade e transparência das ações,
mediante a melhoria da capacidade de gestão, por intermédio de informações e análises que
favoreçam as escolhas alocativas, de forma a propiciar um alcance eficaz e eficiente dos
resultados dessas ações
Esse foi o objetivo maior desta pesquisa, viabilizar a introdução no Brasil de um

modelo de análise da capacidade avaliativa em organizações validado internacionalmente
através do grupo de pesquisa da Universidade de Ottawa, composto por J. Bradley Cousins,
France Gagnon, Tim Aubry e Swee C. Goh, e que gentilmente cedeu o questionário para sua
aplicação nesta pesquisa. O modelo em questão tem sido aprimorado há mais de uma década,
quando J. Bradley Cousins desenvolveu uma pesquisa com parceiros, publicada no artigo
Integrating evaluative inquiry into the organizational culture: A review and synthesis of the
knowledg (COUSINS; GOH; CLARK; LEE, 2004). Naquele momento, desenvolvia-se o
primeiro modelo conceitual sobre o ECB.
Conforme recomendava Bourgeois e Cousins (2008, 2013), buscou-se desenvolver uma

pesquisa em que fosse testada uma ferramenta integrada para medir o grau de capacidade
avaliativa da organização e identificar pontos fortes e fracos específicos com base nas
dimensões da capacidade avaliativa incluídas em seu framework.
180
Os resultados indicaram, em que pese os diferentes contextos regionais, que a

capacidade avaliativa nos centros é similar em 4 das 7 dimensões, com exceção do suporte
organiacional, participação dos stakeholders na avaliação e condições de mediação do uso. Com
efeito deve-se buscar aprimorar os fatores que contribuem para o fortalecimento desses
constructos, principalmente em Pernambuco.
Revelou-se ainda que as dimensões se classificam em termos de grau de alcance da

seguinte forma (em pontuação decrescente por frequência das notas): i) suporte organizacional;
ii) capacidade para usar avaliação; iii) capacidade de aprendizagem organizacional; iv)
participação dos stakeholders na avaliação; v) investigação avaliativa; vi) condições de
mediação do uso; vii) capacidade para fazer avaliação.
Com efeito, e como verificou-se na análise fatorial, é importante investir no

desenvolvimento das dimensões para o fortalecimento de outras, principalmente nos fatores
que apresentaram covariância alta, ou seja com alto grau de interdependência (ou inter-relação)
numérica entre duas variáveis aleatórias (variáveis que observamos ao longo da distribuição das
seções do questionário e que depois agruparam-se nos testes). Significaria, portanto, como Y
variaria em relação a uma determinada variação de X.
Como diversos fatores se inter-relacionaram com uma alta carga, pode-se depreender
que ações específicas podem ser executadas para o desenvolvimento da capacidade avaliativa
na Esaf como, por exemplo, investir no Fator 5 “Qualidade” do modelo 6 o qual teve destaque
para os itens J4 e J6, intrínsecos à dimensão Condições de Mediação de Uso, por sinal, um
ponto crítico de Pernambuco. Esses itens mensuram diretamente como os respondentes avaliam
a qualidade e precisão dos dados da avaliação para seu uso e foram uns do que obtiveram
menores pontuações nas médias das notas. Melhorar a qualidade das avaliações e a fornecer
resultados precisos influenciam o Fator 1 “Benefícios”, Fator 2 “Consistência e
Disponibilidade” e Fator 3 “Uso dos Achados”. Assim, mediar as condições de uso em maior
intensidade tendem a melhorar o uso dos achados bem como ampliar o uso dos achados
influencia tal mediação.
Entende-se, assim, que algumas questões podem ser aprofundadas considerando os

desafios propostos por Suarez-Balcazar (2013) e Taylor-Ritzler (2014) para pesquisas sobre
o tema, quando alvitram que a pesquisa sobre ECB precisa ser informada por problemas
181
reais que acontecem na prática, e a prática precisa ser informada pelo novo conhecimento
criado e não prescindir de que ciência aprimore a prática e por meio do fortalecimento desta
refine-se a ciência. Seria requerido, pois, concentrar-se no fortalecimento de modelos
existentes, validando aqueles que não são validados e aplicando modelos validados em
outras organizações. Além disso, os modelos atuais poderiam ser fortalecidos mediante
relações mais fortes entre os modelos existentes e seus correspondentes instrumentos de
avaliação para integrar e sintetizar componentes de EC acordados atualmente (LABIN et
al., 2012; TAYLOR-RITZLER et al., 2013).
Tais questões podem estar relacionadas, por exemplo, a:

i) Investigar e atribuir o nível de maturidade de capacidade avaliativa à
organização, conforme propõe Bourgeois (2013), a partir dos resultados obtidos com a
aplicação do modelo conceitual de Gagnon et. al (2018);
ii) Analisar a influência de instrumentos direcionados para o aumento da
aprendizagem organizacional a partir de sua aplicação no desenvolvimento da
capacidade avaliativa.
iii) Aplicar o modelo de análise utilizado nesta pesquisa em outros setores
governamentais e em diferentes organizações para que seja possível comparar os
resultados e aprimorar o framework;
iv) Analisar a relação entre o aprimoramento do sistema de avaliação da organização
e o desenvolvimento da capacidade avaliativa.
As limitações de tempo e escopo, por outro lado, não permitiu contemplar toda a Escola
de Administração Fazendária, fator que contribuiu para a impossibilidade de adotar a análise
fatorial confirmatória para análise do modelo, uma vez que o número de respondentes foi
insuficiente para a significância dos testes. Além disso, as limitações metodológicas não
possibilitaram inferências causais.
No entanto, um primeiro passo foi dado, possibilitando avançar em modelos e

metodologias para investigar a capacidade avaliativa e o desenvolvimento de tal capacidade nas
organizações brasileiras.
Por fim, espera-se que esta pesquisa contribua e possa ser útil para os futuros trabalhos
que venham a ser realizados sobre o tema.
182
REFERÊNCIAS
ALKIN, Marvin C.; TAUT, Sandy M. Unbundling evaluation use. Studies in Educational
Evaluation, vol. 29, p. 1-12, 2003.
ALKIN, Marvin C.; KING, Jean A. The Historical Development of Evaluation Use.
American Journal of Evaluation, vol. 27, n. 4, p. 568-579, 2016.
_______________. Definitions of Evaluation Use and Misuse, Evaluation Influence and

Factors Affecting Use. American Journal of Evaluation, vol. 38, n. 3, p. 434-450, 2017.
_______________. Guiding principles for evaluators. American Evaluation Association,

2004. Disponível em: http://www.eval.org. Acesso em 05/12/2017.
AMO, Courtney; COUSINS, J. Bradley. Going through the process: An examination of the
operationalization of process use in empirical research on evaluation. New Directions for
Evaluation, vol. 116, p. 5–26, 2007.
BAMBERGER, Michael. The evaluation of international development programs: a view from

the front.” American Journal of Evaluation, v. 21, n. 1, p. 95-102, 2000.
BASTOS, Glória Maria Merola da Costa Bastos; SERPA, Maria H. C. Uma investigação dos
sistemas de avaliação de programas da administração federal direta no Brasil. Revista do
TCU, v. 128. p. 28-37. 2013. set/dez
BOURGEOIS, Isabelle; COUSINS, J. Bradley. Informing evaluation capacity building

through profiling organizational capacity for evaluation: an empirical examination of four
Canadian federal government organizations. American Journal of Evaluation, v. 23, n. 3, p.
127-146, 2008.
_______________. Understanding Dimensions of Organizational Evaluation Capacity.

American Journal of Evaluation, v. 34, n. 3, p. 299-319, 2013.
BOURGEOIS, Isabelle. Evaluation Journal of Australasia. vol 16, n. 1, p. 11-18, 2016.
BOURGEOIS, Isabelle; WHYNOT, Jane; THÉRIAULT, Étienne. Application of an

organizational evaluation capacity self-assessment instrument to different organizations:
Similarities and lessons learned. Evaluation and Program Planning, n. 50, p. 47-55, 2015.
BOYLE, Richard. Professionalizing the Evaluation Function: Human Resource Development

and the Building of Evaluation Capacity. In BOYLE, R e LEMAIRE, D. (Ed.). Building
Effective Evaluation Capacity: Lessons from Practice. New Brunswick, N.J: Transaction
Publishers, 1999.
BRASIL. Constituição (1988). Constituição da República Federativa do Brasil : texto

constitucional promulgado em 5 de outubro de 1988, com as alterações determinadas pelas
Emendas Constitucionais de Revisão nos 1 a 6/94, pelas Emendas Constitucionais nos 1/92 a
99/2017 e pelo Decreto Legislativo no 186/2008. – Brasília: Senado Federal, Coordenação de
Edições Técnicas, 2017. 522 p.
183
BROUSSELE, Astrid; CHAMPAGNE, François; CONTRANDRIOPOULOS, André-Pierre;

HARTZ, Zulmira. Avaliação - conceitos e métodos, Rio de Janeiro, RJ: Editora FioCruz,
2011.
BROWN, T. A. Confirmatory Factor Analysis for Applied Research, 1ed. New York: The
Guilford Press, 2006.
CARDEN, Fred; ALKIN, Marvin C. Evaluation roots: an international perspective. Journal

of MultiDisciplinary Evaluation, vol. 8, n. 17, p. 102–18, 2012.
CASSIOLATO, Martha; GUERESI, Simone. Como elaborar modelo lógico: roteiro para
formular programas e organizar avaliação. Nota Técnica. IPEA. Brasília, 2010.
CHEN, Karen hui-Jung. Contextual inﬂuence on evaluation capacity building in a rapidly

changing environment under new governmental policies. Evaluation and Program
Planning, v.65, p. 1-11, 2017.
CHENG, Shu-Huei; KING, Jean A. Exploring organizational evaluation capacity and

evaluation capacity building: A Delphi study of taiwanese elementary and junior high
schools. American Journal of Evaluation, vol., 38, n. 4, p. 521-539, 2017.
CHRISTIE, Christina A.; ALKIN, Marvin C. Evaluation theory tree re-examined. Studies in
Educational Evaluation, vol. 34, n. 3, p. 131-135, 2008.
CLINTON, Janet. The true impact of evaluation: motivation for ECB. American Journal of
Evaluation, vol. 35, p. 120–127. 2014.
COOPER, Donald R.; SCHINDLER, Pamela S. Métodos de Pesquisa em Administração, v.

10. Porto Alegre: Ed. Bookman, 2011.
COPLIN, Willian D.; MERGET, A. E.; BOURDEAX, C. The professional researcher as

change agent in the government performance movement. Public Administration Review, v.
62(6), p. 699–711, 2002.
COUSINS, J. Bradley., GOH, Swee. C., CLARK, Shannon; LEE, Linda E. Integrating
evaluative inquiry into the organizational culture: A review and synthesis of the knowledge
base. The Canadian Journal of Program Evaluation, vol. 19, n. 2, p. 99-141, 2004.
COUSINS, J. Bradley. Process use in theory, research, and practice. New Directions in
Evaluation, v. 116, 2007.
COUSINS, J. Bradley; GOH, Swee C.; ELLIOT, Catherine. Organizational capacity to do and
use evaluation: preliminary results of a pan-canadian survey of evaluators. The Canadian
Journal of Program Evaluation, v. 23 (3), p. 1-35, 2008.
COUSINS, J. Bradley; GOH, Swee C.; ELLIOT, Catherine J.; BOURGEOIS, Isabelle.
Framing the Capacity to Do and Use Evaluation. New Directions for Evaluation, n. 141, p.
7-23, 2014.
184
COUSINS, J. Bradley; BOURGEOIS, Isabelle (2014). Cross-case analysis and implications

for research, theory, and practice. New Directions for Evaluation, n. 141, p. 101–119, 2014.
DAHLER-LARLEN, Peter. The Evaluation Society. Stanford University Press, 2011. 280p.
FÁVERO, L.P.; BELFIORE, P. Manual de Análise de Dados: Estatística e Modelagem

Multivariada com Excel, SPSS e STATA. 1ªEd. Rio de Janeiro: Elsevier, 2017.
FIERRO, Leslie; CHRISTIE, Christina A. Evaluator and program manager perceptions of

evaluation capacity and evaluation practice. American Journal of Evaluation, v. 38, n. 3, p.
376-392, 2017.
FLICK, Uwe. Introdução à pesquisa qualitativa. 3. ed. Porto Alegre: Armed, 2009.
FONSECA, J. J. S. Metodologia da pesquisa científica. Fortaleza: UEC, 2002.
GIL, Antônio C. Como elaborar projetos de pesquisa. 4. ed. São Paulo: Atlas, 2007.
GAGNON, France; AUBRY, Tim; COUSINS, J. Bradley, GOH, Swee C.; ELLIOT,
Catherine. Validation of the evaluation capacity in organizations questionnaire. Evaluation
and Program Planning, v. 68, p. 166-175, 2018.
GOH, Swee C. Improving organizational learning capability: Lessons from two case studies.
Learning Organization, vol. 10, p. 216-227, 2004.
HATRY, Harry P. Sorting the relationships among performance measurement, program

evaluation, and performance management. New Directions for Evaluation, v. 137, p. 19–32,
2013.
HOOD, Christopher. (1991). A public management for all seasons? Public Administration,
V. 69 (1), p. 3–19, 1991.
HUNTER, David E. K.; NIELSEN, Steffen. Bohni. Performance management and evaluation:
Exploring complementarities. New Directions for Evaluation, v. 137, p. 7–17, 2013.
IFAC. International Federation of Accountants. Comparison of principles, 2013. Disponivel

em: <http://www.ifac.org/sites/default/files/publications/files/Comparison-of-Principles.pdf>.
Acesso em: 30/03/2018.
JANUZZI, Paulo de M. Indicadores Sociais no Brasil: conceitos, fontes de dados e

aplicações. Campinas, Editora Alínea, 2. ed., 2003.
KING, Jean A. Building the evaluation capacity of a school district. New Directions for
Evaluation, v. 99, p. 63–80, 2002.
_______________. Developing evaluation capacity through process use. New Directions for
Evaluation, v. 116, p. 45–59, 2007.
_______________. Putting evaluation capacity building in context: Reﬂections on the

Ontario Brain Institute’s Evaluation Support Program.
185
KING, Jean A.; VOLKOV, Boris. A framework for building evaluation capacity based of the
experiences of three organizations. 21st Annual Conference on Policy Analysis, 2005.
LABIN, Susan N.; DUFFY, Jennifer L.; MEYERS, Duncan C.; WANDERSMAN, Abraham
and LESESNE, Catherine A. A research synthesis of the evaluation capacity building
literature. American Journal of Evaluation, v. 33, n. 1, p. 307-338, 2012.
_______________. Developing common measures in evaluation capacity building: an

iterative science and practice process. American Journal of Evaluation, v. 35, p. 107-115,
2014.
LEEUW, Frans L; DONALDSON, Stewart I. Theory in evaluation: reducing confusion and

encouraging debate. Evaluation, v. 21, n. 4, p. 467-480, 2015.
LEÓN, D. A. D. Análise Fatorial Confirmatória através dos Software R e Mplus. Monografia

de Bacharelado em Estatística. Universidade Federal do Rio Grande do Sul. Instituto de
Matemática – Departamento de Estatística. Rio Grande do Sul, 2011.
LEVITON, Laura C. Some Underexamined Aspects of Evaluation Capacity Building.

American Journal of Evaluation, v. 35, n. 1, p. 90-94, 2014.
MACKAY, Keith. A Diagnostic Guide and Action Framework. Evaluation Capacity

Development (ECD Working Paper Series No. 6). Washington, D.C.: World Bank, 1999.
Disponível em: http://documents.worldbank.org/curated/en/807321468765312873/A-
diagnostic-guide-and-action-framework. Acesso em 05/02/2018
_______________. (The World Bank’s ECB experience. New Directions for Evaluation, v.
93, 81-99, 2002.
MARK, Melvin; HENRY, Gary T.; JULNES, George. Evaluation: an integrated

framework for understanding, guiding, and improving policies and programs. San
Francisco: Jossey-Bass, 2000.
_______________. The Mechanisms and Outcomes of Evaluation Influence. Evaluation, v.

10, p. 35-56, 2004.
NIELSEN, Steffen Bohni; LEMIRE, Sebastian; SKOV, Majbritt. Measuring evaluation

capacity — results and implications of a Danish study. American Journal of Evaluation, v.
32, p. 324–344, 2011.
PATTON, Michael. Q. Utilization Focused-Evaluation. 4. ed. Thousand Oaks, CA, USA:

Sage Publications, 2008.
PRESKILL, Hallie; BOYLE, Shanelle. A multidisciplinary model of evaluation capacity

building. American Journal of Evaluation, v. 29, n. 4, p. 443-459, 2008.
PRESKILL, Hallie; TORRES, Rosalie. T. The learning dimension of evaluation use. New
Directions for Evaluation, v. 88, p. 25–37. 2000
186
SERPA, Selma M. H. C. Uma leitura dos usos da avaliação na administração pública no

Brasil a partir da caracterização dos sistemas de avaliação de programas governamentais.
Brasília, 2014, 325p.
SHADISH, William R.; COOK, Thomas D.; LEVITON, Laura C. Foundations of Program
Evaluation: theories of practice, Newsbury Park, CA, Sage publications. 1991.
SHAW, Jessica; CAMPBELL, Rebecca. The “Process” of process Use: methods for
longitudinal assessment in a multisite evaluation. American Journal of Evaluation, v. 35, n.
2, p. 250-260, 2014.
SIMÕES, Armando Amorim. Avaliação de Programas e Políticas Públicas. Caderno ENAP –

Programa de Aperfeiçoamento para Carreiras, 2015, 50p.
SOUZA, Yalle Hugo; SECCHI. Extinção de políticas públicas. Síntese teórica sobre a fase
esquecida do policy cycle. Cadernos Gestão Pública e Cidadania, v. 20, ed. 66, São Paulo:
FGV, 2015. Disponível em
http://bibliotecadigital.fgv.br/ojs/index.php/cgpc/article/view/39619/0. Acesso em 25/03/2018
STITT-BERGH, Monica. Assessment capacity building at a research university. New

Directions for Evaluation, v. 151, p. 69–83, 2016.
STOCKDILL, Stacey J.; DUHON-SELLS, Rose M.; OLSON, Ruth A.; PATTON, Michael
Q. Voices in the Design and Evaluation of a Multicultural Education Program: A
Developmental Approach. New Directions for Program Evaluation, n. 53, p. 17-33, 1992.
STOCKDILL, Stacey H.; BAIZERMAN, Michael; COMPTON, Donald W. Toward a

definition of the ECB process: a conversation with the ECB literature. New Directions for
Evaluation, n. 93, p. 7-25, 2002.
STUFFLEBEAM, Daniel. L. Evaluation Models. New Directions for Evaluation, n. 89, p. 7-

82, 2001.
STUFFLEBEAM, Daniel. L. Evaluation Checklists: practical tools for guiding and judging
evaluations. New Directions for Evaluation, v. 22, n. 1, p. 71-79, 2001.
SUAREZ-BALCAZAR, Yolanda; TAYLOR-RITZLER, Tina. Moving from Science to

practice in evaluation capacity building. American Journal of Evaluation, v. 35, n.1, p. 95-
99, 2013.
TAYLOR‐POWELL, Ellen; BOYD, Heather H.; BRAVERMAN, Marc T.; ENGLE, Molly;
ARNOLD, Mary E.; RENNEKAMP, Roger A. Program Evaluation in a Complex
Organizational System: Lessons From Cooperative Extension. New Directions for Evaluation,
v. 120, p. 55-69, 2008.
TAYLOR-RITZLER, Tina; SUAREZ-BALCAZAR, Yolanda; GARCIA-IRIARTE, Edurne;

HENRY, David B.; BALCAZAR, Fabricio. Understanding e measuring evaluation capacity: a
model and instrument validation study. American Journal of Evaluation, v. 34, n. 2, p.190-
206, 2013.
187
TAYLOR-RITZLER, Tina; SUAREZ-BALCAZAR, Yolanda. Moving from Science to

Practice in Evaluation Capacity Building. American Journal of Evaluation, v. 35, n. 1, p.
95-99, 2014.
TORRES, R.; PRESKILL, Hallie. T. Evaluation and organizational learning: Past, present,
and future. American Journal of Evaluation, 22, 387–395, 2001.
VEDUNG. Evert. Four Waves of Evaluation Diffusion. Evaluation, v. 16, p. 263-277, 2010.
_______________. Avaliação de Políticas Públicas. Palestra proferida na Universidade

Católica de Brasília, Brasília/DF, em 17/112017. Disponível em
http://www.ucb.br/Noticias/2/10522/EspecialistaEuropeuEmPoliticasPublicasPalestraNaUcb/.
Acesso em 15/03/2018
VIEIRA, M. M. F.; ZOUAIN, D. M. (org.). Pesquisa qualitativa em administração. 1. ed. São

Paulo: FGV, 2004.
WEISS, Carol. Theory-Based Evaluation: Past, Present and Future. New Directions for
Evaluation, n. 76, 1997.
_______________. Evaluation. 2. Ed. Upper Saddle River: Prentice-Hall, Inc., 1998
WOOLDRIDGE, J. M. Introdução à Econometria: uma Abordagem Moderna. São Paulo:

Cengage Learning, 2015.
YANG, Kaifeng; HOLZER, Mark. The performance-trust link: implications for performance
measurement. Public Administration Review, v. 66 (1), p. 114–126, 2006.
YIN, Robert K.; Estudo de caso: Planejamento e Métodos. 4. ed. Porto Alegre: Bookman,
2010.
188
APÊNDICE
189
APÊNDICE A
CAPACIDADE AVALIATIVA EM ORGANIZAÇÕES
QUESTIONÁRIO
INSTRUÇÕES: Por favor, responda todas as perguntas do questionário, mesmo que algumas
possam parecer semelhantes.
O questionário contempla 117 itens em escala tipo Likert além de 4 itens de múltipla escolha.
O tempo estimado para resposta é de 45min.
A. INFORMAÇÃO BÁSICA - ORGANIZAÇÃO
Ao atribuir a pontuação, você deve se referir à organização como um todo e não somente à
unidade em que trabalha.
A1 Selecione a esfera de governo da organização em que trabalha? (√ UM)
 Governo Federal
B. CAPACIDADE DE APRENDIZAGEM ORGANIZACIONAL
Indique até que ponto você CONCORDA ou DISCORDA com cada uma dessas
declarações sobre sua organização:
(Circule apenas uma pontuação por item)
1 7
Discordo Concordo
Fortemente Fortemente
B1 Nós podemos com frequência trazer novas idéias para a

organização 1 2 3 4 5 6 7
B2 As falhas são construtivamente discutidas em nossa

organização 1 2 3 4 5 6 7
B3) As práticas atuais da organização incentivam a equipe a

resolver problemas juntos antes de discuti-los com a Direção- 1 2 3 4 5 6 7
Regional.
B4) As pessoas recém-ingressas na organização (nos últimos
5 anos) são incentivadas a questionar o modo como as coisas 1 2 3 4 5 6 7
são feitas.
B5) A Direção-Geral nessa organização aceita mudanças e não
tem medo de novas ideias. 1 2 3 4 5 6 7
B6 A Direção-Regional nessa organização incentiva a equipe

a experimentar novas ideias para melhorar os processos de 1 2 3 4 5 6 7
trabalho
190
B7 Novos processos de trabalho que podem ser úteis para a

organização como um todo que são geralmente compartilhados 1 2 3 4 5 6 7
com toda a equipe
B8) Ideias inovadoras que se tornam bem sucedidas são
recompensadas pela gestão. 1 2 3 4 5 6 7
B9) A Direção-Geral e a equipe desta organização

compartilham um visão comum do que nosso trabalho deve 1 2 3 4 5 6 7
atingir.
B10) Novas ideias da equipe são tratadas com seriedade pela
gestão. 1 2 3 4 5 6 7
B11) A Direção-Regional freqüentemente envolve a equipe

em decisões importantes. 1 2 3 4 5 6 7
B12) Nós geralmente podemos criar grupos informais de

trabalho para resolver problemas organizacionais. 1 2 3 4 5 6 7
B13) A Direção-Regional pode aceitar críticas sem se tornar

excessivamente defensiva. 1 2 3 4 5 6 7
B14) Nós temos um sistema (conjunto de elementos) que nos

permite aprender de forma bem-sucedida com as práticas de 1 2 3 4 5 6 7
outras organizações.
B15) A Direção-Regional frequentemente fornece feedback
em relação às atividades para nos ajudar a identificar possíveis 1 2 3 4 5 6 7
problemas e oportunidades.
B16) Nós temos oportunidades de autoavaliação em relação ao
alcance dos objetivos e metas. 1 2 3 4 5 6 7
B17) A declaração da Missão da organização revela valores

com os quais toda a equipe está de acordo. 1 2 3 4 5 6 7
B18) A maioria dos grupos que atuam na solução de problemas

da organização inclui servidores de vários centros, 1 2 3 4 5 6 7
coordenações ou divisões.
C. ESTRUTURA DE SUPORTE ORGANIZACIONAL
191
1 7
Discordo Concordo
C1 Os servidores recebem treinamento das habilidades

relacionadas ao trabalho. 1 2 3 4 5 6 7
C2 As informações e a tomada de decisões devem sempre

passar pelos canais apropriados. 1 2 3 4 5 6 7
C3 O treinamento das habilidades que recebemos pode ser

aplicado para melhorar o nosso trabalho. 1 2 3 4 5 6 7
C4 Os servidores nesta organização são incentivados a

melhorar continuamente e aumentar seus conhecimentos e 1 2 3 4 5 6 7
nível educacional.
C5 Na minha opinião, nossa organização tem muitos níveis de
hierarquia. 1 2 3 4 5 6 7
C6 Esta organização apoia o desenvolvimento de habilidades

como liderança, coaching e trabalho em equipes entre os 1 2 3 4 5 6 7
servidores.
C7 A maior parte do nosso trabalho deve obedecer a regras
formais e procedimentos. 1 2 3 4 5 6 7
C8 Aprendizagem que melhora a competência para o trabalho

da equipe é incentivada. 1 2 3 4 5 6 7
C9 A capacitação dos servidores da organização é enfatizada

igualmente em todos os níveis. 1 2 3 4 5 6 7
C10 Nós precisamos de aprovação por escrito para a

introdução de novas atividades de trabalho. 1 2 3 4 5 6 7
C11 A capacitação servidores da organização é feita em

equipes, quando apropriado. 1 2 3 4 5 6 7
C12 Procedimentos operacionais padrão foram estabelecidos

para quase todas as situações de trabalho. 1 2 3 4 5 6 7
C13 A capacitação dos servidores da organização é relevante

para o nosso trabalho 1 2 3 4 5 6 7
C14 Nosso trabalho é geralmente monitorado de perto e

inspecionado pela gestão 1 2 3 4 5 6 7
C15 Há muito pouca sobreposição no trabalho entre as

diferentes unidades na organização 1 2 3 4 5 6 7
192
D. CAPACIDADE DE FAZER AVALIAÇÃO
“Avaliação" é um processo de investigação sistemática que possibilita diagnosticar e fornecer

informações para tomada de decisões sobre um programa, ação, projeto, processo ou unidade
organizacional especifica. O uso dos resultados de uma avaliação pode levar, por exemplo, à
correção de falhas, melhoria de uma ação ou à promoção de novas ações.
declarações sobre sua organização: (Circule apenas uma pontuação por item)
1 7
Discordo Concordo
D1 Nossa organização tem suporte orçamentário dedicado de

longo prazo para as nossas atividades de avaliação. 1 2 3 4 5 6 7
D2 Nós somos capazes de acessar facilmente informações

sobre as “melhores práticas” dentro do nosso campo de 1 2 3 4 5 6 7
atuação.
D3 Nossa organização nos fornece as ferramentas e recursos
básicos para dar suporte à avaliação (ex.: computadores, 1 2 3 4 5 6 7
software, suporte administrativo, suporte da área de TI etc).
D4 Aos servidores é dado tempo suficiente para refletir sobre
os sucessos ou falhas organizacionais. 1 2 3 4 5 6 7
D5 Temos um “campeão” na equipe que apoia nossos esforços

de avaliação e advoga em nosso favor quando requerido. 1 2 3 4 5 6 7
D6 Temos planejamento e processo operacional para iniciar,

avaliar e avançar em nossas atividades de avaliação. 1 2 3 4 5 6 7
D7 Em geral, nossa organização possui as competências

técnicas para realizar avaliações (ex.: desenvolvimento dos 1 2 3 4 5 6 7
instrumentos, coleta e análise de dados).
D8 Nossa organização tem as competências necessárias para
supervisionar as avaliações realizadas por avaliadores 1 2 3 4 5 6 7
externos (ex. As avaliações feitas pelos órgãos de controle).
D9 Nossa organização fornece encorajamento positivo para
realizarmos avaliações. 1 2 3 4 5 6 7
D10 Somos recompensados por usar informações de

desempenho. 1 2 3 4 5 6 7
D11 Temos requisições formais para relatarmos o desempenho

da ação que executamos. 1 2 3 4 5 6 7
D12 A medição do desempenho é parte integral do nosso

modelo de prestação de contas. 1 2 3 4 5 6 7
193
E. ATIVIDADES DE DESENVOLVIMENTO DE CAPACIDADE AVALIATIVA
“Avaliação" é um processo de investigação sistemática que possibilita fornecer informações

para tomada de decisões sobre um programa, ação, projeto, processo ou unidade
1 7
Discordo Concordo
E1 Nossa organização apóia as atividades de desenvolvimento

de capacidade avaliativa 1 2 3 4 5 6 7
Pelo seu conhecimento, indique os tipos de ATIVIDADES DE DESENVOLVIMENTO DE

CAPACIDADE AVALIATIVA nas quais os membros da sua organização participaram
nos últimos CINCO anos?
(√ Assinale TODOS que se aplicam)
E2 Desenvolvimento profissional relacionado à avaliação (eventos externos) – educação

formal / capacitações:
a) Capacitações Externas (ex. em outras escolas de governo, universidades etc)

 Avaliação de Programas
 Modelos Lógicos
 Desenvolvimento gerencial
 Indicadores de resultados
 Métodos de Pesquisa
 Outro: (Especifique) ____________________________________________________
 Nenhum
 Não sei
b) Outros:
 Cursos de Extensão em Avaliação em Universidade (teoria, prática e método)
 Cursos em pesquisa metodológica em Universidade
 Outros tipos de cursos (por exemplo, instituições especializadas em avaliação):
(especifique) _________________________________________________
 Outros cursos relacionados à avaliação
 Nenhum
 Não sei
194
E3 Desenvolvimento profissional relacionado à avaliação (eventos internos promovidos por sua

Organização) - cursos formais de educação / treinamento:
 Cursos / seminários / workshops relacionados à avaliação patrocinados pela

organização: (Especifique)
__________________________________________________________
 Nenhum
 Não sei
E4 Aprendizagem informal relacionada à avaliação em seu ambiente de trabalho:

 Mentoria
 Aprendizagem entre pares
 Coaching
 Auto-aprendizagem
 Observação
 Estágio ou Aprendizagem
 Atribuição de novos trabalhos ou rotatividade em postos de trabalho
 Nenhum
 Não sei
 Outro: (especifique)
________________________________________________________
F. TIPOS ESPECÍFICOS DE ATIVIDADES AVALIATIVAS

Indique até que ponto sua organização se envolveu nas seguintes atividades de avaliação
nos últimos dois anos.
1 7
Nunca Sempre
F1 Revisa a documentação da ação (ex.: registros dos

candidatos e/ou participantes, notas, memorandos, 1 2 3 4 5 6 7
relatórios).
F2 Conduz observações em primeira mão das atividades da
ação. 1 2 3 4 5 6 7
F3 Conduz avaliações formais da ação.

1 2 3 4 5 6 7
195
F4 Estabelece metas de desempenho (ex: atender 200 pessoas,

80% da turma preenchida, obter satisfação de 90%). 1 2 3 4 5 6 7
F5 Monitora a implementação da ação (ou seja, garante que a

ação é entregue conforme pretendido). 1 2 3 4 5 6 7
F6 Monitora os resultados da ação (ex.: garantir que os

resultados da ação saiam como pretendidos). 1 2 3 4 5 6 7
F7 Avalia o grau em que as metas e objetivos da ação foram

atingidos. 1 2 3 4 5 6 7
F8 Envolve-se em processos formais de planejamento de

avaliação 1 2 3 4 5 6 7
F9 Usa modelos avançados de avaliação.

1 2 3 4 5 6 7
F10 Emprega avaliações com métodos qualitativos e

quantitativos 1 2 3 4 5 6 7
F11 Faz o fluxograma da ação para ligar os seus componentes

aos resultados e impactos pretendidos. 1 2 3 4 5 6 7
F12 Produz relatórios anuais com base nas medidas de

desempenho. 1 2 3 4 5 6 7
F13 Produz relatórios sobre as atividades da ação.

1 2 3 4 5 6 7
F14 Produz relatórios para a Direção-Geral ou demais

Diretorias do órgão central e regional. 1 2 3 4 5 6 7
F15 Usa um sistema de medição do desempenho.

1 2 3 4 5 6 7
F16 Usa modelos lógicos para o desenho da ação (ex.:

descrição de objetivo, público-alvo e beneficiários, recursos, 1 2 3 4 5 6 7
resultados e impactos, etc)
F17 Usa outros sistemas de avaliação ou gerenciamento (ex.:
auditorias de desempenho, gerenciamento baseado em 1 2 3 4 5 6 7
resultados, etc)
196
G. PARTICIPAÇÃO DOS STAKEHOLDERS NA AVALIAÇÃO

para tomada de decisões sobre um programa, ação, projeto, processo ou unidade organizacional
especifica. O uso dos resultados de uma avaliação pode levar, por exemplo, à correção de falhas,
melhoria de uma ação ou à promoção de novas ações.
Em cada uma das duas escalas abaixo, indique até que ponto os membros dos grupos a seguir
normalmente participam de avaliações em sua organização ou para sua organização:
(Circule UMA opção para a frequência de participação e UMA opção para o nível de
participação)
NOTA: Os grupos abaixo podem participar, seja diretamente envolvidos na produção da

avaliação ou no fornecimento de informações que ajudem a moldar o projeto ou a condução da
avaliação.
Nível de participação Frequência de participação

1 7 1 7
Baixo Alto Nunca Sempre
G1 Desenvolvedores da
Ação 1 2 3 4 5 6 7 1 2 3 4 5 6 7
G2 Diretores e Gerentes
1 2 3 4 5 6 7 1 2 3 4 5 6 7
G3 Órgãos Demandantes e
financiadores da Ação 1 2 3 4 5 6 7 1 2 3 4 5 6 7
G4 Equipe responsável pela

implementação da Ação 1 2 3 4 5 6 7 1 2 3 4 5 6 7
G5 Público / Beneficiários
da Ação 1 2 3 4 5 6 7 1 2 3 4 5 6 7
G6 Grupos de interesse
especial na Ação 1 2 3 4 5 6 7 1 2 3 4 5 6 7
G7 Outros (especificar):
1 2 3 4 5 6 7 1 2 3 4 5 6 7
197
H. USO DOS ACHADOS DA AVALIAÇÃO

Indique até que ponto você observou as seguintes consequências da avaliação em sua
organização:
A avaliação tem nos ajudado a: 1 7

Nunca Sempre
H1 aprender sobre o funcionamento da ação.

1 2 3 4 5 6 7
H2 fazer alterações na ação existente.

1 2 3 4 5 6 7
H3 conduzir o planejamento estratégico.

1 2 3 4 5 6 7
H4 obter novos recursos financeiros.

1 2 3 4 5 6 7
H5 justificar a existência ou continuidade da ação.

1 2 3 4 5 6 7
H6 tomar decisões sobre o trabalho da equipe.

1 2 3 4 5 6 7
H7 reportar resultados e outros aspectos para a direção-

regional ou direção-geral (ou equivalente). 1 2 3 4 5 6 7
H8 realizar a divulgação para o público externo.

1 2 3 4 5 6 7
H9 tomar decisões sobre a alocação de recursos financeiros.

1 2 3 4 5 6 7
H10 atender às requisições externas de prestação de contas

(órgãos contratantes e órgãos de controle). 1 2 3 4 5 6 7
H11 Outro: (especifique abaixo)

1 2 3 4 5 6 7
198
I. USO NO PROCESSO AVALIATIVO
Indique até que ponto o envolvimento em atividades e processos de avaliação teve as

seguintes consequências para o pessoal de sua organização:
O envolvimento em atividades e processos de avaliação tem nos ajudado a:
1 7
Nunca Sempre
I1 desenvolver conhecimento sobre lógica avaliativa (ex.:

critérios, padrões de comparação, medidas de desempenho, 1 2 3 4 5 6 7
juízo de valor etc).
I2 desenvolver conhecimentos sobre métodos de avaliação.
(ex.: avaliação de reação e de aprendizagem formativa e 1 2 3 4 5 6 7
somativa).
I3 desenvolver habilidades técnicas para fazer avaliação (ex.:
desenvolvimento de instrumentos, coleta e análise de dados). 1 2 3 4 5 6 7
I4 desenvolver uma melhor compreensão da ação que está

sendo avaliada. 1 2 3 4 5 6 7
I5 promover uma compreensão compartilhada do

funcionamento organizacional. 1 2 3 4 5 6 7
I6 integrar a avaliação em nossas práticas de trabalho.

1 2 3 4 5 6 7
I7 melhorar as práticas de gestão.

1 2 3 4 5 6 7
I8 acelerar o uso dos achados/resultados da avaliação.

1 2 3 4 5 6 7
I9 expandir o uso dos achados/resultados da avaliação para

tomada de decisões, aprimoramento da ação, etc. 1 2 3 4 5 6 7
I10 desenvolver redes de colaboração dentro e/ou fora da

organização. 1 2 3 4 5 6 7
I11 questionar os pressupostos subjacentes sobre aquilo que

fazemos. 1 2 3 4 5 6 7
199
1 7
Nunca Sempre
I12 desenvolver uma mentalidade sobre a importância do

pensamento avaliativo. 1 2 3 4 5 6 7
I13 aumentar o nosso compromisso com a ação que está

sendo avaliada. 1 2 3 4 5 6 7
I14 aumentar o comprometimento organizacional.

1 2 3 4 5 6 7
I15 aumentar o domínio sobre o que fazemos.

1 2 3 4 5 6 7
I16 apreciar o valor da avaliação.

1 2 3 4 5 6 7
I17 apreciar o poder da avaliação como força de mudança.

1 2 3 4 5 6 7
I18 Outro: (especifique)

1 2 3 4 5 6 7
J. CONDIÇÕES DE MEDIAÇÃO DO USO DA AVALIAÇÃO

Vários fatores e condições identificados podem influenciar o uso dos resultados da

avaliação. Indique até que ponto você observou esses fatores em sua organização.
200
Avaliações em nossa organização: 1 7

Nunca Sempre
J1 são oportunas (ligadas ao ciclo de tomada de decisão da

direção-geral). 1 2 3 4 5 6 7
J2 promovem a melhoria.
1 2 3 4 5 6 7
J3 respondem ao feedback dos usuários (aqueles que utilizam

as informações geradas pela Avaliação). 1 2 3 4 5 6 7
J4 são de alta qualidade.

1 2 3 4 5 6 7
J5 ajudam os usuários a tomar decisões difíceis.

1 2 3 4 5 6 7
J6 fornecem resultados precisos.

1 2 3 4 5 6 7
J7 reduzem surpresas para os tomadores de decisão.

1 2 3 4 5 6 7
J8 são percebidas pelos usuários como imparciais.

1 2 3 4 5 6 7
J9 são providas a partir de inputs (informações) do usuário.

1 2 3 4 5 6 7
J10 são apoiadas por mecanismos de garantia de qualidade

(ex.: as avaliações ocorrem com revisões por pares). 1 2 3 4 5 6 7
J11 baseiam-se em dados objetivos.

1 2 3 4 5 6 7
J12 podem ser comparadas com padrões externos ou

benchmarkings (melhores práticas inspiradas em outras 1 2 3 4 5 6 7
organizações).
J13 são de propriedade dos usuários que recebem os
resultados da avaliação. 1 2 3 4 5 6 7
J14 são produzidas por avaliadores que são considerados

confiáveis. 1 2 3 4 5 6 7
J15 são percebidas como tendo recursos adequados para

provê-las. 1 2 3 4 5 6 7
201
Avaliações em nossa organização: 1 7

Nunca Sempre
J16 usam uma metodologia que é entendida pelos usuários.

1 2 3 4 5 6 7
J17 são consistentes com planos pré-existentes de avaliação

dentro da organização. 1 2 3 4 5 6 7
J18 são acessíveis à Direção-Regional.

1 2 3 4 5 6 7
J19 envolvem os usuários durante todo o processo de

avaliação. 1 2 3 4 5 6 7
K. COMENTÁRIOS FINAIS
Nesta seção, sinta-se à vontade para fornecer comentários por escrito sobre as práticas de
avaliação, as práticas de tomada de decisão e de resolução de problemas da sua organização ou
sobre quaisquer outras questões de interesse.
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
202
L. INFORMAÇÕES BÁSICAS
Por favor nos fale sobre você!

Nota: Esta informação será usada para descrever nossa amostra
L1 Posição atual
(por favor marque √ aquela que mais se aplica à sua função atual):
 Direção e Assessoramento
 Núcleo de Capacitação
 Núcleo Financeiro
 Núcleo Administrativo
 Núcleo de Recrutamento e Seleção
 Outro: (Especifique)
_____________________________
L2 Por quanto tempo voce tem trabalhado nesta função?
________ Número de anos (aproximadamente)
L3 Qual o percentual do seu tempo gasto em atividades avaliativas?
________ de 100% (aproximadamente)
L4 Como você avaliaria seu nível de conhecimento sobre o campo de avaliação, em termos de
teoria de avaliação e prática?
(√ Assinale apenas UM quesito em cada)
Nível de conhecimento sobre teoria e/ou abordagem avaliativa

 Excelente
 Muito bom
 Bom
 Algum
 Muito pouco
 Nenhum
Nível de conhecimento sobre práticas avaliativas

 Excelente
 Muito bom
 Bom
 Algum
 Muito pouco
 Nenhum
L5 Qual seu sexo?
 Masculino
 Feminino
203
L6 Qual sua faixa etária?

 Menos que 30
 30-39
 40-49
 50-59
 60+
L7 Qual sua maior graduação/diploma?
 Ensino médio
 Universidade – Graduação
 Universidade – Pós-graduação
 Universidade – Mestrado
 Universidade – Doutorado
204
ANEXO
205
ANEXO I
Items on the Evaluation Capacity Assessment Instrument (ECAI)
Section I: About You (Individual Factors) Awareness: Thoughts About Evaluation1 I think that an
evaluation ...
1. Will help me understand my program.
2. Will inform the decisions I make about my program.
3. Will justify funding for my program.
4. Will help to convince managers that changes are needed in my program.
5. Will inform changes in our documentation systems.
6. Is absolutely necessary to improve my program.
7. Should involve program participants in the evaluation process.
8. Will influence policy relevant to my program.
9. Will help improve services to people from diverse ethnic backgrounds who also have disabilities
10. Is unnecessary because we already know what is best for our participants.
11. Is too complex for staff to do.
Motivation: Motivation to Engage in Evaluation1

I am motivated to ...
1. Learn about evaluation.

2. Start evaluating my program.
3. Support other staff to evaluate their program.
4. Encourage others to buy into evaluating our program.
Competence: Evaluation Knowledge and Skills1

I know how to .. .
1. Develop an evaluation plan.

2. Clearly state measurable goals and objectives for my program.
3. Identify strategies to collect information from participants.
4. Define outcome indicators of my program.
5. Decide what questions to answer in an evaluation.
6. Decide from whom to collect the information.
7. Collect evaluation information.
8. Analyze evaluation information.
9. Develop recommendations based on evaluation results.
10. Examine the impact of my program on people from diverse ethnic/racial backgrounds and/or people
with disabilities.
11. Write an evaluation report.
12. Conduct an evaluation of my program on my own.
13. Conduct an evaluation of my program with support from others.
14. Present evaluation findings orally.
Section II: About your Organization (Organizational Factors)

Leadership1
1. Program managers provide effective leadership.

2. Staff understands how everyone’s duties fit together as part of the overall mission of the program.
3. Program managers communicate program goals and objectives clearly.
4. Program managers have a clear plan for accomplishing program goals.
5. Program managers have realistic expectations of what staff can accomplish given the resources they have
available.
Learning Climate1
206
The program where I work fosters an environment in which ...
1. Evaluation information is shared in open forums.

2. Staff is supported to introduce new approaches in the course of their work.
3. It is easy for staff to meet regularly to discuss issues.
4. Staff is provided opportunities to assess how well they are doing, what they can do better, and what is
working.
5. Staff can encourage managers and peers to make use of evaluation findings.
6. Staff respects each other’s perspectives and opinions.
7. Staff errors lead to teachable moments rather than criticisms.
8. Staff participates in making long-term plans for their program.
9. Staff concerns are ignored in most decisions regarding strategic planning and evaluation.
Resources for Evaluation1

In my program ...
1. Resources are allocated to provide accommodations for people from diverse ethnic backgrounds and for
people with disabilities to collect evaluation information (e.g., interpreters, translated documents).
2. Staff has time to conduct evaluation activities (e.g., identifying or developing a survey, collecting
information from participants).
3. Staff has access to technology to compile information into computerized records.
4. Staff has access to adequate technology to produce summary reports of information collected from
participants (e.g., computerized database).
5. Resources are allocated for staff training (e.g., money, time, bringing in consultants).
6. Technical assistance is available to staff to address questions related to evaluation.
7. Funders provide resources (e.g., training, money, etc.) to conduct evaluation.
8. Funders provide leadership for conducting evaluation.
9. Agency leadership engages in ongoing dialogue with funders regarding evaluation.
Section III: About your Work (Evaluation Capacity Outcomes)

Mainstreaming: Evaluation as part of your Job1
1. Myprogramgathers information fromdiverse stakeholders to gauge how wellthe program is doing.

2. My program has adequate records of past evaluation efforts and what happened as a result.
3. I have access to the information I need to make decisions regarding my work.
4. I am able to integrate evaluation activities into my daily work practices.
5. The evaluation activities I engage in are consistent with funders’ expectations.
Use of Evaluation Findings2

Please indicate the extent to which your program currently uses evaluation results for the following purposes
1. To report to a funder.
2. To improve services or programs.
3. To get additional funding.
4. To design ongoing monitoring processes.
5. To assess implementation of a program.
6. To assess quality of a program.
7. To improve outreach.
8. To make informed decisions.
9. To train staff.
10. To develop best practices.
11. To eliminate unneeded services or programs.
Note. 1. Response format was a 1-4 scale, where 1 = strongly disagree, 2 = somewhat disagree, 3 =
somewhat agree, and 4 = strongly agree.
2. Response format was a 1–4 scale, where 1 ¼ not at all, 2 ¼ to some extent, 3 ¼ to a consid- erable
extent, and 4 ¼ to a very great extent.

Capacidade Avaliativa No Brasil

Enviado por

Dados do documento

Descrição original:

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Capacidade Avaliativa No Brasil

Enviado por

Direitos autorais:

Formatos disponíveis

UNIVERSIDADE FEDERAL DA BAHIA – UFBA

LUCIANO PINHEIRO COSTA

CAPACIDADE AVALIATIVA NO BRASIL:

CAPACIDADE AVALIATIVA NO BRASIL:

Dissertação submetida ao Núcleo de Pós-Graduação

Orientador: Antônio Sergio Araújo Fernandes

P654 Costa, Luciano Pinheiro.

Orientador: Prof. Dr. Antônio Sérgio Araújo Fernandes.

1. Escola de Administração Fazendária – Organização – Avaliação. 2.

CAPACIDADE AVALIATIVA NO BRASIL:

Dissertação submetida ao Núcleo de Pós-Graduação em Administração da Escola de

Aprovada em 19 novembro de 2018.

Antonio Sérgio Araújo Fernandes – Orientador ______________________________________

Professor Dr. João Martins Tude _________________________________________________

Professora Dra. Mônica de Aguiar Mac-Allister da Silva ______________________________

Professor Dr. Paulo Carlos Du Pin Calmon _________________________________________

Aos desígnios divinos que me proporcionaram estar neste momento da trajetória

Essa dissertação trata da análise da capacidade avaliativa na Escola de Administração

Keywords: Evaluation Capacity. Evaluation Capacity Building. School of Government.

Quadro 1 Dados detalhados do Programa/Ação – Esaf 21

Tabela 1 Capacidade avaliativa e a média por seção 135

Figura 1 Definição de uso em sentenças mapeadas com base na escala de 40

BCB - Banco Central do Brasil

A dissertação aqui apresentada trata da capacidade avaliativa da Escola de

É importante destacar que este trabalho se insere em um cenário político e econômico

Com efeito, segundo VEDUNG (2010), a avaliação poderá subsidiar o planejamento e

Segundo compilação realizada pela International Federation of Accountants – IFAC

a descoberta sobre o funcionamento da organização e procedimentos e

A título de contextualização, cabe destacar que a origem da Escola remonta ao ano de

Os Centros Regionais de Treinamento da Escola de Administração Fazendária nos

As ações da Escola de Administração Fazendária são disciplinadas pela Portaria MF nª

Os centros situados em Salvador, Recife e Fortaleza respondem pela região geográfica

Como referencial quantitativo, no ano de 2017, 58.515 capacitações presenciais e

Além da ação mencionada, a Esaf também desenvolve a ação 20VE (Promoção da

Os cursos presenciais são ofertados em turmas abertas, quando o servidor pode se

A Esaf-Sede possui em sua estrutura uma diretoria-geral, duas diretorias-gerais adjuntas

A dotação orçamentária da Escola para tal finalidade é alocada no Fundo Especial de

Quadro 1 – Dados detalhados do programa/ação – Esaf

DADOS DETALHADOS DO PROGRAMA / AÇÃO

Unidade Gestora 170009 - ESCOLA DE ADMINISTRAÇÃO FAZENDÁRIA

Gestão: 00001 - TESOURO NACIONAL

Programa: 2038 - DEMOCRACIA E APERFEIÇOAMENTO DA GESTÃO PÚBLICA

Diante das restrições orçamentárias, sobretudo, na dotação destinada para qualificação

 Uso da cadeia de valor para orientar a distribuição de Projetos Estratégicos Corporativos

Quadro 2 – Processos relacionados à Esaf na cadeia de valor do Ministério da Fazenda

Processos Órgãos envolvidos Dimensão

Gerir o programa de educação

Promover e coordenar ações de CVM, SUSEP. BACEN,

Gerenciar o programa de educação

Fonte: Elaborado a partir de Brasil, 2018b.

Diante do cenário exposto, tornou-se premente avaliar se o quadro de pessoal da Esaf é

Diante desse contexto e com o surgimento da New Public Management – NPM a

As organizações em todo o mundo passavam de práticas de gestão focadas em regras e

de sucesso, em termos de maior transparência e eficácia. Em muitos casos, a falta de impacto

Não obstante, apenas a partir da Constituição Federal de 1988 e da reforma da

Sublinha-se que a avaliação mencionada na Constituição está vinculada à função de

Art. 74. Os Poderes Legislativo, Executivo e Judiciário manterão, de forma

Como evidência dessa expansão pode-se mencionar a criação do então Sistema de

Deste modo, espera-se com o desenvolvimento da pesquisa oferecer uma contribuição

Como problema de pesquisa, pretende-se responder a seguinte questão: quais são as

O teste de hipóteses busca, a partir da pesquisa de campo, analisar as principais

Conceitualmente, três correntes de investigação suportam esta definição atual: a