Você está na página 1de 250

Gestão por Resultados em Organizações Públicas.

MARCELLO B. ZAPPELLINI.

GESTÃO POR
RESULTADOS EM
ORGANIZAÇÕES
PÚBLICAS
Copyright © Imaginar o Brasil Editora, 2015
Todos os direitos reservados. Nenhuma parte desta obra poderá ser
reproduzida em meio físico para fins mercantis, independente da
forma, sem autorização prévia.

Capa © Imaginar o Brasil Editora, 2015

Projeto Gráfico © Imaginar o Brasil Editora, 2015

ISBN: 978-85-61392-03-1

Imaginar o Brasil Editora


Florianópolis - Santa Catarina - Brasil
www.imaginarobrasileditora.com.br
contato@imaginarobrasileditora.com.br

Editor Chefe: Jorge Braun Neto

Z35g Zappellini, Marcello B.


Gestão por resultados em organizações públicas / Marcello B.
Zappellini. – Florianópolis: Imaginar o Brasil Editora, 2015.
249 p. il. ; 21 cm

ISBN: 978-85-61392-03-1
Bibliografia: p. 239-249.

1. Gestão pública. 2. Serviços públicos. 3. Planejamento


empresarial. I. Título.

CDD: 350 - 20. ed.

Ficha catalográfica elaborada pela bibliotecária Alice de Amorim Borges – CRB 14/865
SUMÁRIO

INTRODUÇÃO / 8

1 ADMINISTRAÇÃO E GESTÃO PÚBLICAS / 15


1.1 O QUE É A ADMINISTRAÇÃO PÚBLICA? / 15
1.2 BENS E SERVIÇOS PÚBLICOS / 25
1.3 O PROBLEMA DA ACCOUNTABILITY / 30

2 O QUE SÃO RESULTADOS – E POR QUE SÃO


IMPORTANTES? / 46
2.1 RESULTADOS / 48
2.2 DESEMPENHO / 56
2.3 VALOR PÚBLICO / 62

3 MODELOS DE GESTÃO DE RESULTADOS: ALGUMAS


METODOLOGIAS / 70
3.1 ASPECTOS GERAIS /75
3.2 MODELO DE COHEN E EIMICKE / 84
3.3 MODELO DE POPOVICH / 91
3.3.1 Preparar-se para a mudança / 96
3.3.2 Desenvolver a visão, a missão e os valores / 98
3.3.3 Realizar avaliações organizacionais úteis / 104
3.3.4 Desenhar um plano para a mudança orientado para
resultados / 109
3.4 MODELO DE EPSTEIN, COATES, WRAIN E SWAIN / 115

4 COMO MEDIR O RESULTADO DE UMA ATIVIDADE?


PRINCÍPIOS PARA O ESTABELECIMENTO DE
INDICADORES / 122
4.1 CONCEITO DE INDICADOR / 123
4.2 COMO ELABORAR INDICADORES? / 128
4.3 ONDE OBTER DADOS PARA OS INDICADORES? COMO
USÁ-LOS? / 137

5 A METODOLOGIA KPI / 143


5.1 O QUE SÃO KPI – KEY PERFORMANCE INDICATORS?
COMO CRIÁ-LOS? / 143

6 COMO AVALIAR RESULTADOS? / 155


6.1 CONCEITO DE AVALIAÇÃO / 158
6.2 AVALIAÇÃO DE RESULTADOS – MÉTODOS DE
McDAVID & HAWTHORN, DE SCHALOCK E MOYNIHAN /
168
6.2.1 Método de McDavid e Hawthorn / 170
6.2.2 Modelo de Schalock / 181
6.2.3 Modelo de Moynihan / 188
6.2.4 Uma tentativa de síntese / 192

7 A TEORIA DO PROGRAMA COMO FERRAMENTA DE


AVALIAÇÃO / 196
7.1 CONCEITO DE PROGRAMA / 196
7.2 A TEORIA DO PROGRAMA / 200
7.3 AVALIAÇÃO DIRIGIDA PELA TEORIA / 207
7.3.1 Formulação da teoria do programa: A “estimativa de
avaliabilidade” de Wholey / 210
7.3.2 A abordagem de Rossi, Lipsey e Freeman para formulação
da teoria do programa / 216
7.3.3 A abordagem de Chen para a formulação da teoria do
programa / 226
7.4 ASPECTOS CRÍTICOS E QUESTIONAMENTOS / 232

8 UMA PALAVRA FINAL / 237

REFERÊNCIAS / 239
INTRODUÇÃO

Este livro tem como objetivo apresentar alguns subsídios


para a discussão da gestão por resultados no plano das
atividades governamentais. É sabido que a gestão pública é
diferente, em muitos aspectos, da gestão de organizações
privadas, em termos de finalidades, de escopo, de motivações,
e em termos de valores produzidos. No entanto, isso não
significa que determinadas atividades tipicamente realizadas
por gestores de empresas privadas não possam ser
desempenhadas (ainda que devidamente adaptadas) nas
organizações públicas: o problema fundamental reside em
definir o que se pode aprender com a administração das
empresas privadas.

No caso brasileiro, o estudo da Administração Pública e


da gestão de organizações públicas defronta-se com um
problema adicional, ou seja, a ampla variedade de formas
organizacionais que são adotadas pelos órgãos administrativos.
A legislação brasileira distingue entre administração direta e
indireta, e dentro desta admite diferentes formas, como a
autarquia, a empresa pública, a sociedade de economia mista.
A isso soma-se o fato de que, no Brasil, a Administração Pública
é chamada a desempenhar funções que vão desde aquelas
classicamente atribuídas aos governos, como a defesa e a
segurança nacionais, a representação internacional, a legislação
MARCELLO B. ZAPPELLINI

e o julgamento da lei, até produção de bens típicos de mercado,


como os combustíveis, passando-se por funções que podem ser
assumidas tanto por órgãos públicos quanto por empresas
privadas, como o ensino e a assistência à saúde.

Sabe-se que o setor público não goza de uma imagem


positiva junto à maioria dos cidadãos. Em muitos países, os
órgãos públicos são considerados caros, ineficientes e pouco
responsivos às demandas dos cidadãos. Em parte, isso se deve
às próprias características dos serviços prestados, que precisam
estar disponíveis para toda uma população (impedindo, por
exemplo, a segmentação por clientes, que ajuda a identificar e a
servir melhor as demandas de grupos específicos), ao regime de
monopólio com que os serviços são oferecidos (a ausência de
competição favorece a acomodação, o que, por sua vez, impede
ou dificulta a busca por inovações), e ao fato de que serviços
públicos são instrumentos de inclusão social, de democracia e
de equidade (o que torna a efetividade um objetivo mais
importante do que a eficiência).

Entretanto, também abundam exemplos de organizações


públicas bem administradas, capazes de produzir bens e
serviços que se adequam às necessidades dos usuários-cidadãos
com uso eficiente de recursos. Essas organizações produzem,
efetivamente, valor público, pois, não somente atendem às
9
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

demandas da população, como também satisfazem os objetivos


políticos e sociais de uma comunidade.

O que as organizações públicas podem realizar para se


enquadrarem nesses exemplos? Dentre a ampla variedade de
métodos e ferramentas administrativas encontra-se a gestão por
resultados, objeto deste trabalho. Entende-se a gestão por
resultados como a focalização dos esforços e atividades de uma
organização na busca de resultados significativos não somente
em termos de bens e serviços produzidos eficiente e
efetivamente para uma sociedade, mas também em termos de
impactos na qualidade de vida da população servida. Ou seja,
não basta produzir para satisfazer uma necessidade da
população, seja ela imediata ou permanente; é preciso que essa
produção seja feita para criar uma mudança significativa na
vida dessas pessoas, tornando a sociedade um lugar melhor
para se viver. Não é, evidentemente, um desafio fácil de ser
vencido: quando se trabalha com a Administração Pública,
exigências legais e burocráticas, desmotivação e despreparo do
pessoal, incompreensão e falta de apoio político são fatores que
já sufocaram, no nascedouro, muitas iniciativas de mudança e
de melhoria. Mas não se pode esmorecer; os desafios mais
difíceis também são os que trazem as maiores recompensas.
Este trabalho divide-se em oito capítulos:

10
MARCELLO B. ZAPPELLINI

a) Em primeiro lugar, procura-se definir o que se entende


por Administração Pública, por bens e serviços públicos,
e apresenta-se um conceito de accountability, que se julga
ser fundamental para compreender a gestão por
resultados;
b) O segundo capítulo conceitua resultados e discute sua
importância para a gestão de organizações públicas;
c) O terceiro capítulo apresenta a definição de gestão por
resultados, bem como alguns modelos (criados
especificamente para a realidade da gestão de
organizações públicas) que podem ser encontrados na
literatura. Não se tem, aqui, a pretensão de ser exaustivo:
foram selecionados modelos bastante interessantes no
que diz respeito não somente à produção de bens e
serviços, mas também à promoção de valores públicos
relevantes;
d) No quarto capítulo trabalha-se com uma ferramenta
essencial para os esforços de gestão por resultados, qual
seja, os indicadores. São apresentados alguns métodos
que podem ser usados para a construção de indicadores
adequados às necessidades das organizações;
e) Em seguida, trabalha-se com uma modalidade especial
de indicadores: os indicadores-chave de desempenho
(key performance indicators¸ ou KPIs). Embora se trate de
uma ferramenta de gestão desenvolvida especificamente
11
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

para a administração de empresas privadas, suas


características tornam-na interessante para a discussão
dos resultados que devem ser gerados por organizações
públicas, justificando, dessa maneira, sua inclusão neste
trabalho;
f) O capítulo 6 é dedicado à questão da avaliação dos
resultados. Trabalha-se com um conceito genérico de
avaliação antes de se dirigir o foco da atenção para
métodos especificamente desenvolvidos para mensurar
os resultados e o desempenho de organizações públicas;
g) No capítulo 7 apresenta-se uma modalidade específica
de avaliação, a teoria do programa. Considera-se que
esse método seja bastante interessante para a gestão por
resultados, haja vista que contempla as atividades
realizadas pela organização e as relaciona diretamente
aos resultados produzidos por meio de conexões entre
causas e efeitos. Trata-se de um método que pode ser
aplicado por si só, ou como parte de um programa mais
amplo de gerenciamento por resultados;
h) Por fim, reserva-se uma lição final: como reconhecer uma
organização de alto desempenho, ou seja, uma
organização capaz de gerar resultados de maneira
superior às demais?

12
MARCELLO B. ZAPPELLINI

Em cada um desses capítulos, o(a) leitor(a) encontrará


alguns recursos adicionais:
a) Os boxes amarelos com “questões para reflexão”
apresentam algumas perguntas de análise da realidade
organizacional, e são dirigidos aos gestores públicos.
Entretanto, os estudiosos do tema podem utilizá-los
como um guia para abordar organizações públicas sob a
perspectiva da gestão por resultados, aplicando-as a
casos dos quais tenham algum conhecimento mais
profundo;
b) Os boxes verdes, intitulados “na prática” são dedicados
a apresentar casos reais em que os conceitos trabalhados
no texto são aplicados, ou a levantar questionamentos e
propostas de pesquisa empírica que podem ser
respondidos por meio de acesso à Internet;
c) Por fim, cada capítulo (à exceção do oitavo) se encerra
com cinco questões para aprofundamento do conteúdo
estudado, que suscitam reflexões adicionais e podem ser
usadas como um guia de estudos.
As principais ferramentas estão aqui. Por que não
começar a aplicá-las?

13
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

1 ADMINISTRAÇÃO E GESTÃO PÚBLICAS

Em primeiro lugar, pretende-se esclarecer o escopo do


livro, limitando-o à gestão de organizações da Administração
Pública, trabalhando em primeiro lugar com o conceito desta,
para em seguida definir o que é a gestão pública. Os conceitos
de bens e serviços públicos e de accountability são também
abordados para que se possa ter uma visão de conjunto sobre o
que produz a Administração Pública, e sobre o desafio que a ela
se apresenta em termos de gerar resultados: a transparência e o
controle da população.

1.1 O QUE É A ADMINISTRAÇÃO PÚBLICA?

A Administração Pública é um campo de estudos e de


atuação difícil de se definir, mas presente em toda as
sociedades, das liberais às totalitárias, realizando funções
extremamente variadas. Em alguns países, a Administração
Pública é chamada a desempenhar uma gama restrita de
atividades, em outros, ela se responsabiliza por uma parte
considerável das riquezas nacionais. Não se pretende, aqui,
entrar na discussão de qual seria o papel da Administração
Pública; ao se delinear o conceito de bens e serviços públicos,
pretende-se apenas definir uma esfera mínima de atuação para

14
MARCELLO B. ZAPPELLINI

as organizações públicas, sendo as demais áreas em que elas


atuam determinadas pela vontade soberana da população num
regime democrático.

Mesmo difícil, é preciso tentar definir o que é


Administração Pública. Alguns conceitos são interessantes:
a) Stillman II (2000), após revisar uma série de conceitos,
afirma que ela se identifica com o ramo executivo do
governo (ainda que relacionada com o legislativo e o
judiciário), com a formulação e implementação de
políticas públicas, com o envolvimento em uma série de
problemas referentes ao comportamento humano e a
esforços cooperativos e com a produção de bens e
serviços públicos. O autor ainda observa que ela está
tanto fundamentada sobre a lei quanto comprometida
em cumpri-la, e que se trata de um campo bastante
diferente da administração de empresas privadas;
b) Robert e Janet Denhardt (2006) veem-na como a gestão
de programas públicos, comprometida com a
democracia e com o serviço ao público. Para eles,
administradores públicos trabalham em todos os níveis
de governo, em organizações do Terceiro Setor e em
grupos de interesse de diferentes tipos;
c) Matias-Pereira (2008) considera-a como o conjunto dos
serviços e das entidades encarregadas de realizar
15
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

atividades administrativas (compreendidas como a


execução das decisões políticas e legislativas);
d) Cláudia Costin (2010) a define como conjunto de órgãos
e de pessoas contratadas pelo Estado que operacionaliza
suas decisões por meio da prestação de serviços
públicos, da fiscalização, da regulação e do exercício da
soberania, e realiza funções econômicas e papéis
atribuídos pela sociedade num dado momento histórico.
Vê-se, aqui, diferentemente da noção de Denhardt e
Denhardt, a preocupação em delimitar a Administração
Pública aos funcionários públicos e às organizações
criadas e mantidas pelo Estado.

Os conceitos acima citados foram elaborados por autores


ligados à ciência administrativa. No Brasil, uma importante
corrente de estudos da Administração Pública provém da
ciência jurídica, motivo pelo qual se considera importante
apresentar alguns conceitos provenientes de estudiosos do
Direito:
a) Hely Lopes Meirelles (2006) a define formalmente como
o conjunto de órgãos constituídos para atingir os
objetivos do governo, materialmente como conjunto de
funções necessárias para os serviços públicos em geral e
operacionalmente como o desempenho perene e

16
MARCELLO B. ZAPPELLINI

sistemático, legal e técnico, de serviços próprios do, ou


assumidos pelo, Estado para o benefício de uma
coletividade. Assim, trata-se do aparelho de Estado que,
por meio de atos administrativos, realiza serviços que
satisfaçam necessidades coletivas;
b) Para José dos Santos Carvalho Filho (apud MADEIRA,
2010), trata-se do conjunto de agentes, órgãos e pessoas
jurídicas encarregados de executar tarefas
administrativas. Para Madeira, esses órgãos são estatais
e são encarregados de executar atos de governo, sendo
preciso distinguir entre este (que é atividade política) e
Administração Pública (que é atividade neutra). Além
disso, este autor propõe distinguir entre administração
pública (grafada com letras minúsculas), que é função
administrativa exercida pelo Estado, distinta de suas
funções legislativa e judiciária, e Administração Pública
(com iniciais maiúsculas), que é o conjunto dos órgãos e
entidades que exercem essa função administrativa.

Todas essas definições, por mais interessantes que sejam,


não cobrem o território que se propõe estudar, qual seja, o de
um conceito ampliado do bem público, a ser produzido não
somente por organizações estatais, mas também por aquelas
que produzem bens e serviços no interesse do público, e são
mobilizadas pelo Estado. Embora se admita que tal conceito seja
17
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

problemático em termos do Direito, é importante definir o que


se entende, aqui, por Administração Pública; trata-se de uma
definição normativa, que reflete um conjunto de valores que se
julga importante promover:
• A Administração Pública consiste no conjunto de
organizações controladas integral ou parcialmente pelo
Estado, bem como daquelas por ele contratadas, sejam
elas empresas de mercado ou organizações do Terceiro
Setor, que desempenham funções atribuídas pela
sociedade, voltadas para a promoção do bem-estar
coletivo e do interesse público democraticamente
definidos. De especial importância, aqui, é o papel das
pessoas: homens e mulheres que trabalham nessas
organizações devem estar imbuídos de um espírito
público, qual seja, o de servir a população eficiente e
eficazmente, obedecendo ao imperativo da vontade da
maioria, democraticamente estabelecida.

Questões para Reflexão:

Como você definiria a Administração Pública, deixando de


lado a reflexão dos teóricos e observando a realidade brasileira?

18
MARCELLO B. ZAPPELLINI

Como essas organizações são administradas? O termo


Gestão Pública é reservado para as atividades de
gerenciamento e administração de organizações públicas.
Assim, na concepção aqui defendida, a gestão pública se refere
às funções administrativas clássicas de planejamento,
organização, direção e controle das organizações públicas,
realizadas de acordo com critérios próprios da Administração
Pública, os quais, idealmente, foram construídos
democraticamente e submetidos ao escrutínio e à aprovação da
população. A gestão por resultados, como uma técnica
organizacional, deve ser considerada como uma forma de
gerenciar organizações públicas; os resultados de tais
organizações, por definição, devem estar voltados ao que a
sociedade considera função da Administração Pública.

Uma definição mais precisa de gestão pública pode ser


encontrada em Grover Starling (2002): trata-se do processo de
reunir e utilizar recursos para lidar com os problemas que uma
comunidade política enfrenta. Para esse autor, o conceito se
confunde com o de governança, que ele define como o exercício
de autoridade pelo governo, ou, dito de outra forma, o método
e o sistema pelo qual essa autoridade se exerce; Lynn Jr. (2010)
conceitua a governança como um regime de leis, de regras, de
práticas administrativas e de decisões judiciais que restringem,
prescrevem e implementam o exercício da autoridade pública
19
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

em nome do interesse público. Para ele, a governança envolve


não só as organizações públicas como também os poderes de
governo e as ações dos cidadãos. Ele também apresenta um
conceito de gestão pública, que seria a estrutura de governança
que deve limitar e supervisionar o exercício de poder por parte
dos agentes estatais, o que abrange a delegação de autoridade a
estes e o controle externo sobre a execução de suas atividades.
É conveniente distinguir entre os conceitos de
governança e governabilidade. Para Eli Diniz (apud MATIAS-
PEREIRA, 2008), esta deve ser definida como as condições
sistêmicas gerais de exercício do poder em uma sociedade,
abrangendo a forma de governo, a organização dos partidos, as
relações entre poderes de governo, entre outros. Trata-se de um
conceito que exprime o grau de institucionalização do sistema
político e se refere às condições pelas quais se exerce autoridade
numa sociedade (MATIAS-PEREIRA, 2008). Numa síntese, a
governabilidade está ligada às condições pelas quais se dá o
exercício de autoridade política, enquanto que a governança, ao
modo de uso dessa autoridade (AZEVEDO, 2001).

Ou seja, é sempre importante ter em mente que o gestor


público está em uma posição que possui um significado
político, e o desempenho de suas funções envolve a
compreensão de relações de poder que, numa sociedade

20
MARCELLO B. ZAPPELLINI

democrática, devem se basear no que a população considera


importante ou necessário. Como isso ocorre dentro de um
contexto bastante complexo, que envolve uma série de
organizações diferentes, para Lynn Jr. (2010), os bons gestores
públicos são pessoas dotadas de temperamento e habilidades
necessárias para a organização, motivação e orientação das
ações de outros (sejam ou não parte do governo) para criar e
alcançar objetivos que justifiquem o uso da autoridade pública.
Assim, está-se diante de uma série de elementos interessantes:
a) O bem público pode ser criado pela ação de todos, não
somente de pessoas dotadas de posições formais na
Administração Pública;
b) Os gestores e administradores públicos devem ser
considerados como elementos motivadores, capazes de
levar diferentes pessoas a atingir objetivos por eles
enunciados, mas, coerentemente com o exposto acima,
no item “a”, definidos pelas pessoas que vivem numa
sociedade política.

Para Matias-Pereira (2007), a gestão pública possui o


desafio de promover o desenvolvimento econômico e social de
forma sustentável, em um ambiente de mudanças rápidas e
profundas. A tal desafio pode-se acrescentar alguns aspectos: a
gestão pública deve se orientar por um marco democrático, de
modo que os objetivos das organizações públicas se
21
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

identifiquem com os anseios e as necessidades da população, de


acordo com prioridades por ela estabelecidas; a gestão pública
deve se movimentar dentro de um quadro de escassez de
recursos, ou seja, dentro da capacidade da sociedade de
financiá-la de maneira sustentável, evitando os desperdícios e
comprometendo-se com a eficiência – ainda que este objetivo
deva ser limitado pela eficácia e pela efetividade, ou seja, é
preciso obter resultados que correspondam aquilo que a
sociedade exige.
Com isso em mente, defende-se o ponto de vista de que
a Administração Pública, como conjunto de organizações, e a
Gestão Pública, como conjunto de práticas, devem estar
orientados para os resultados exigidos e valorizados por uma
população. Atingir esses resultados é o primeiro desafio; fazê-
lo de modo economicamente eficiente é o segundo – ainda que
não menos importante, se for considerado o fato de que os
recursos à disposição dos governos e alocados pelo aparato
administrativo público não são infinitos. Ou seja, pode-se até
admitir a possibilidade de uma organização pública não
realizar suas atividades da maneira economicamente eficiente,
já que o aspecto mais importante é obter os resultados desejados
pela população – mas isso não significa que ela deva fazê-lo,
uma vez que os recursos disponíveis para realizar as atividades,

22
MARCELLO B. ZAPPELLINI

alocados pela população para o uso da Administração Pública,


podem se esgotar.

Questões para Reflexão:

Pensando na variedade de organizações que compõem a


Administração Pública brasileira, os desafios de gestão pública
são os mesmos? Procure informações sobre uma sociedade de
economia mista, como a Petrobras, e sobre o Ministério
Público, e reflita sobre os desafios de gestão mais importantes
para essas organizações

Romzek (1996) afirma: a Administração Pública opera


em um contexto definido por expectativas múltiplas, diferentes,
mutáveis, e, muitas vezes, conflitantes, expectativas estas que
provem do funcionamento do sistema político em boa parte.
Isso faz com que, mesmo que se possa definir com precisão o
que é a Administração Pública e o que ela produz, ainda assim
ela reflete uma realidade dinâmica e em constante mudança.
Um aspecto, no entanto, não muda: espera-se que a
Administração Pública produza bens e serviços públicos, e é
para este conceito que se deve dirigir a atenção no momento.

23
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

1.2 BENS E SERVIÇOS PÚBLICOS

Os bens econômicos, na clássica definição de Marshall


(1988), são as coisas desejáveis ou que satisfazem direta ou
indiretamente as necessidades humanas, constituindo-se desta
forma em riquezas que podem ser trocadas pelos seres
humanos conforme suas necessidades. Dentre esses bens,
alguns são, por sua natureza, públicos, outros privados, e os
demais se encontram em uma “área cinzenta” entre esses dois
extremos.

Para Dornbusch, Fischer e Begg (2003), bens públicos são


necessariamente consumidos por todos em quantidades iguais
(embora a utilidade do consumo seja diferente para cada um
por causa das preferências individuais), não sendo possível
excluir ninguém do seu consumo, nem tampouco este ato
diminui o estoque do bem para os demais.

Dois critérios são usualmente adotados para classificar


os bens:
a) Rivalidade: refere-se à possibilidade do uso de um bem por
parte de uma pessoa afetar o de outra;

24
MARCELLO B. ZAPPELLINI

b) Exclusão: neste caso, trata-se da possibilidade de impedir


outras pessoas de desfrutar o uso do bem.

Assim sendo, enquanto que o critério de exclusão


dificulta o acesso de outras pessoas a um determinado bem, o
de rivalidade diminui a disponibilidade do mesmo para outros
consumidores. Quatro classes de bens podem ser reconhecidas
por meio da combinação desses critérios:
a) Bens privados puros: são bens rivais e de alta exclusão,
sobre os quais se pode estabelecer direitos de propriedade
que impediriam outras pessoas de usá-los. Por exemplo,
quando uma pessoa compra um pão ou uma calça, ninguém
mais pode adquirir aquela unidade;
b) Bens públicos puros: são bens não rivais sobre os quais não
se pode excluir ninguém de seu consumo, como, no exemplo
clássico, a iluminação pública que, uma vez disponibilizada
pelo Estado nas ruas, é utilizada por todos os cidadãos, quer
tenham contribuído para seu financiamento, quer não o
tenham;
c) Bens de fundo comum: são bens rivais, mas de baixa
exclusão. Uma pessoa que os use afeta sua disponibilidade
para outras, mas não pode impedir mais ninguém de
consumi-los. Um poço perfurado no aquífero diminui a
disponibilidade de água para outras pessoas, mas ninguém

25
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

que possua um pode impedir outras pessoas de perfurar


seus próprios poços;
d) Bens tarifados: caracterizam-se por serem não rivais, mas se
pode excluir outras pessoas de seu usufruto, pois pode-se
taxar seu consumo. Por exemplo, uma rodovia sobre a qual
incida um pedágio exclui as pessoas que não possam – ou
não queiram – pagar a taxa devida, mas, em princípio, está
disponível para qualquer um.

Azevedo (2001) afirma que os bens públicos não podem


ser apropriados individualmente, mas, na prática, dependem
de um pacto social ou político – ou seja, os bens públicos são
normalmente aqueles que os cidadãos consideram como
importantes ou necessários na sociedade em que vivem,
levando-o a concluir que sua definição é muito variada, sendo
mais restrita ou mais abrangente de acordo com o que a
sociedade julga importante transforma em tais bens. A
produção de bens públicos puros usualmente cabe ao Estado;
os manuais de Economia repetem amiúde a provisão de bens
públicos como uma das falhas de mercado, indicando que as
empresas privadas não conseguem fornecê-los nas quantidades
desejadas pela população. Mercados privados, de acordo com
Dornbusch, Fischer e Begg (2003), são incapazes de produzir a
quantidade necessária dos bens públicos, pois estes estão

26
MARCELLO B. ZAPPELLINI

sujeitos ao problema da carona (free ride): cada pessoa pode


consumi-los, tenha ela contribuído ou não para sua provisão.

Assim, o Estado se mostra a forma mais eficiente de


produzir e ofertar bens públicos – e sua quantidade, conforme
Dornbusch, Fischer e Begg (2003) pode ser mais eficientemente
definida por meio da realização de eleições, pois, numa
democracia, as pessoas sinalizariam aos candidatos suas
preferências em termos de bens públicos. O importante é
garantir que as demandas as quais a Administração Pública
deve atender sejam legítimas – mas o problema reside no fato
de que, como Romzek (1996) observou, muitas vezes os
recursos utilizados para atender a uma demanda legítima da
sociedade são desviados do atendimento de outras demandas,
tão legítimas quanto esta.

Por um lado, a provisão dos bens públicos já


representaria um desafio suficientemente grande para a atuação
do setor público, mas, por outro lado, nada impede o governo
de fornecer também determinados tipos de bens privados –
dependendo da ideologia ou da importância do bem para
estratégias nacionais, por exemplo, determinados bens
caracteristicamente privados são produzidos pelo setor público,
como o refino de petróleo para a obtenção de combustíveis. No
entanto, na maioria dos casos, o setor privado consegue
27
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

produzir maiores quantidades a maior preço, uma vez que é


possível estabelecer os direitos de propriedade sobre os bens
privados, e, portanto, é mais fácil determinar-lhes o preço, o que
em tese evitaria o excesso ou a falta de oferta no mercado.

Já no que diz respeito aos bens de fundo comum e aos


tarifados, não existe uma regra que defina se um dado bem deva
ser produzido pelo Estado ou pelas organizações de mercado;
em princípio, tanto o setor público quanto o privado podem
estar envolvidos em sua produção. No entanto, observa-se que
esses bens, se produzidos pelo setor privado, devem ser
regulados pelo Estado, ou seja, deve haver uma definição legal
que estabeleça as regras e normas pelas quais serão ofertados,
especialmente no caso dos bens de fundo comum: como são de
livre acesso para todos, esses bens usualmente acabam por ser
explorados até a exaustão, como é o caso dos recursos naturais.

Questões para Reflexão:

Quais exemplos você daria para cada um dos diferentes tipos


de bens mencionados acima?
Quais bens, mesmo privados, você considera que devem ser
ofertados pelo setor público?

28
MARCELLO B. ZAPPELLINI

Os serviços públicos obedecem a uma mesma lógica, já


que se pode afirmar que o serviço público seria aquele que
cumpre uma necessidade social, e se mostra necessária a
intervenção do Estado no sentido de garantir que o mesmo
esteja disponível a toda a população. Naturalmente, no caso do
serviço público, é preciso considerar que a legislação estabelece
por ele uma contraprestação financeira em alguns casos, a tarifa;
a tarifa não deve ser pensada da mesma maneira que o preço do
mercado, já que os aspectos relevantes para a sua fixação são
diferentes das considerações feitas na fixação de um preço.

1.3 O PROBLEMA DA ACCOUNTABILITY

O conceito de accountability se mostra extremamente


difícil de se traduzir numa palavra no vernáculo, mesmo que
muitas das práticas a ela associadas sejam previstas na
legislação brasileira. Não se pretende, aqui, apresentar uma
tradução, mas sim ajudar a esclarecer o conceito e definir por
que ele é importante para a gestão por resultados na
Administração Pública.

Antes de mais nada, é preciso ter em mente que a noção


de accountability no setor público é bastante complexa. Denhardt
e Denhardt (2003) observam que o administrador de empresas
privadas tem que responder aos mercados, enquanto que o das
29
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

organizações públicas devem atender a leis, à Constituição, aos


valores da comunidade, às normas políticas, aos padrões
profissionais e aos interesses dos cidadãos. Assim, o modelo de
accountability desses autores considera que somente a geração
de bons resultados em termos da prestação de serviços é muito
pouco: é preciso cuidar de aspectos referentes à democracia, aos
valores sociais e comunitários, e ao interesse público.

Com isso em mente, pode-se começar a trabalhar com o


conceito. Malena, Forster e Singh (2004) definem accountability
como a obrigação dos detentores de poder de prestar contas
e/ou demonstrar responsabilidade por suas ações. Os agentes
públicos devem ser accountable por sua conduta e seu
desempenho, ou seja, são responsáveis perante a lei e devem
servir ao interesse público de maneira justa, eficiente e efetiva;
para os autores, ela é um direito dos cidadãos e uma obrigação
dos agentes públicos. Os autores se interessam principalmente
pelo que chamam de accountability social, ou seja, uma
abordagem em que os cidadãos e as organizações da sociedade
civil participam direta ou indiretamente das atividades que
exigem essa prestação de contas ou responsabilidade.

Bovens (2005) afirma que a accountability no setor público


pode ser definida como uma relação social em que um ator (um

30
MARCELLO B. ZAPPELLINI

indivíduo ou agência) se sente obrigado a explicar e a justificar


publicamente sua conduta a outro ator significativo (uma
pessoa, agência, ou mesmo uma entidade virtual – como a
consciência), que opera como um fórum. O relacionamento
opera em três níveis:
a) Em primeiro lugar, o ator se sente obrigado a fornecer dados
para o fórum a respeito de sua conduta, provendo
informação a respeito do desempenho de tarefas, da
obtenção dos resultados ou a respeito de procedimentos.
Essa obrigação pode inclusive ser informal ou autoimposta;
b) O segundo nível diz respeito à capacidade do fórum de
interrogar e questionar o ator a respeito da adequação das
informações prestadas ou da legitimidade de sua conduta;
c) Por fim, o fórum deve apresentar um julgamento a respeito
da conduta do ator, aprovando-a ou não (BOVENS, 2005).

A accountability pública, na visão desse autor, envolve


cinco elementos:
a) O acesso público às informações e dados;
b) A explicação e a justificativa da conduta;
c) O uso de um fórum específico, e não aleatório, para a
prestação de contas;
d) Deve haver a obrigação do ator em prestar as devidas
contas;

31
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

e) Por fim, deve haver a abertura para o debate e o julgamento


por parte do fórum, incluindo a imposição de sanções
(BOVENS, 2005).

De acordo com Matias-Pereira (2008), accountability diz


respeito ao conjunto dos mecanismos e procedimentos de
prestação de contas das ações empreendidas pelo governo, de
modo a garantir maior transparência e exposição a essas ações.
Para o autor, o conceito pode ser associado ao de governança,
entendido como capacidade de governo, que diminui os riscos
de captura deste por grupos de interesse e aumenta a
accountability. Além disso, ela deve se relacionar com a
capacidade dos cidadãos de determinar o quanto as ações
governamentais são feitas no interesse da coletividade, bem
como de sancioná-las (MATIAS-PEREIRA, 2008). Matias-
Pereira (2007; 2008) deixa bem claro que, na sua visão, o
conceito de accountability diz respeito primordialmente à
transparência. A transparência, de acordo com Torres (2004),
ajuda a combater a corrupção e auxilia no constante
aperfeiçoamento das ações estatais.

DeLeon (2010) define acountability como os sistemas de


controle externo, formais ou informais, sobre o comportamento
individual, termo que, para a autora, não deve ser confundido

32
MARCELLO B. ZAPPELLINI

com responsabilidade, que diz respeito a controles internos


sobre o comportamento das pessoas. Dessa definição se pode
depreender que a accountability envolve responder a outras
pessoas e estruturas, as quais são necessárias porque os
controles internos são insuficientes para garantir o
comportamento adequado do agente. É fundamental, então,
que se definam regras, procedimentos, estruturas de
supervisão, valores, etc., que garantam que as pessoas realizem
o que é preciso.

Pinho e Sacramento (2009), aludindo a um trabalho


clássico publicado em 1990 por Anna Maria Campos na Revista
de Administração Pública (“Accountability: quando poderemos
traduzi-la para o português?”), analisam o conceito a fundo,
partindo da observação de que inexiste um termo na língua
portuguesa que o traduza adequadamente. A rigor, mesmo na
língua inglesa, de acordo com o estudo dos autores, o termo
possui alguma variedade em sua definição. De qualquer forma,
eles oferecem sua definição:

[...] accountability encerra a responsabilidade, a


obrigação e a responsabilização de quem ocupa um
cargo em prestar contas segundo os parâmetros da
lei, estando envolvida a possibilidade de ônus, o que

33
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

seria a pena para o não cumprimento dessa diretiva.


(PINHO; SACRAMENTO, 2009, p. 1348).

Neste conceito, os autores chamam a atenção, dentre


outros aspectos, para a necessidade de prestar contas ou a
responsabilidade de um agente público de fazê-lo para a
população. Ou seja, o administrador público tem o dever de
manter a sociedade informada a respeito de como está
desempenhando suas funções; não basta, no entanto, para
Pinho e Sacramento (2009), que exista essa transparência, pois
deve haver uma responsabilidade do administrador e, no caso
de não estar realizando o que deveria, também a possibilidade
de punição dos comportamentos inadequados. Num momento
posterior, eles destacam que o conceito não apenas envolve a
responsabilidade, mas também o controle, a transparência, a
obrigação de prestar contas, as justificativas para as ações
empreendidas ou não, e a possibilidade de premiar ou punir os
agentes públicos.

Denhardt e Denhardt (2003) são categóricos ao afirmar


que, em seu conceito de accountability, os administradores
públicos devem estar sempre servindo ao interesse público.
Neste sentido, na visão dos autores, esses profissionais devem
promover o diálogo entre as organizações envolvidas na

34
MARCELLO B. ZAPPELLINI

produção dos bens e serviços públicos, o empowerment dos


cidadãos e um amplo engajamento cívico. Para Denhardt e
Denhardt, diversas questões são importantes para a discussão
da accountability no setor público:
a) Pelo que os gestores públicos são responsáveis?
b) A quem devem essa responsabilidade?
c) Como se pode assegurar, da melhor forma possível, o
cumprimento dessa responsabilidade?

Questões para Reflexão:

Considere uma sociedade de economia mista, como uma


empresa pública de abastecimento de água e tratamento de
esgotos. Como seriam as respostas às questões propostas por
Denhard e Denhardt??
Como ficaria a resposta à segunda pergunta, se o
responsável pela organização pública for um profissional
indicado politicamente?

O conceito de accountability de Denhardt e Denhardt


(2003) envolve múltiplas dimensões, de caráter profissional,
democrático, legal e político, estando diretamente relacionado à
responsividade do governo. Na visão desses autores, o serviço
público deve estar “a reboque” da sociedade, o que significa
dizer que a população tem um papel muito importante no
sentido de determinar o que a Administração Pública deve

35
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

produzir ou prestar. Assim, o administrador público tem a


obrigação de não apenas garantir o máximo de informação para
o público, mas de responsabilizar-se pela produção de bens e
serviços que reflitam as reais necessidades e anseios da
população.

Duas dimensões são reconhecidas na accountability, de


acordo com O’Donnell:
a) A chamada accountability vertical diz respeito a questões
como as eleições, as reivindicações sociais e a cobertura dos
meios de comunicação de massa dessas reivindicações e de
atos supostamente ilícitos praticados por autoridades
públicas. Dito de outra forma, são as ações realizadas
individual ou coletivamente com referência aos ocupantes
de posições nas instituições estatais, quer tenham sido
eleitos ou não. Para o autor, a dimensão vertical assegura a
democracia numa ordem política. De acordo com Malena,
Forster e Singh (2004), a accountability social da qual tratam
em seu trabalho associa-se à dimensão vertical;
b) Por sua vez, a accountability horizontal refere-se à existência
de agências estatais que possuem o direito e o poder legal de
realizar ações (para as quais estão adequadamente
capacitadas e dispostas) que variam da supervisão rotineira
até a sanção legal (e mesmo o impeachment) das ações de

36
MARCELLO B. ZAPPELLINI

outros agentes ou organizações estatais que se comportem


delituosamente (O’DONNELL, 1998). Pinho e Sacramento
(2009) consideram que a accountability horizontal,
diferentemente da vertical (que diz respeito a uma relação
entre desiguais), consiste num mecanismo de checks and
balances entre os poderes. Os mecanismos desta dimensão,
para esses autores, são o Executivo, o Legislativo, o
Judiciário, as instâncias de fiscalização das contas e as
agências supervisoras.

Bovens (2005) considera que, além das dimensões


vertical e horizontal, é possível falar em uma diagonal, na qual
se trabalha com a perspectiva de auditores, inspetores e outros
órgãos que não fazem parte da cadeia vertical de autoridade,
mas interferem no relacionamento entre os superiores e os
executores das tarefas, criando dessa forma exigências de
accountability que não são adequadamente descritas pelas
dimensões de O’Donnell. No entanto, sua sugestão encontra
pouco eco no tratamento teórico sobre o tema, não se tendo
observado outros autores que usam a dimensão diagonal.

Romzek (1996) também propõe uma tipologia da


accountability, usando como critérios o grau e a fonte do controle
dos relacionamentos. Ela obtém quatro tipos básicos:

37
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

a) Hierárquica: caracteriza-se pelo elevado grau de controle,


exercido a partir de uma fonte interna. Neste tipo enfatiza-
se as expectativas dos supervisores e gestores no topo da
hierarquia organizacional em relação aos funcionários;
b) Legal: diz respeito aos relacionamentos que estão
fundamentados primariamente nos textos legais ou nas
obrigações contratuais. O grau de controle é elevado e as
fontes de controle são externas. Neste caso, as principais
expectativas dizem respeito ao cumprimento da lei;
c) Política: há baixo grau de controle, exercido por fonte
interna. Neste caso, diferentemente dos dois primeiros, tem-
se maior arbítrio e liberdade de ação por parte do
funcionário público, mas supõe-se que ele responda às
demandas de diferentes indivíduos e grupos que possuem a
capacidade legítima de apresentá-las. Para a autora, este tipo
ganhou ênfase com a ascensão do movimento de
“reinvenção do governo”, em que se busca responder às
demandas – legítimas – dos usuários de serviços públicos,
vistos como clientes ou consumidores;
d) Profissional: para Romzek, trata-se do tipo que enfatiza a
responsabilidade acima de tudo. Possui alto grau de
discricionariedade, pois há baixo grau de controle e este é
exercido basicamente por fontes externas. Os
relacionamentos de accountability se baseiam na capacidade

38
MARCELLO B. ZAPPELLINI

e expertise profissional dos administradores públicos, e a


confiança é essencial para garantir esse relacionamento.

Bovens (2005) fornece uma tipologia semelhante,


trabalhando com as dimensões organizacional (que é
semelhante à hierárquica), a política (entendida diferentemente,
já que diz respeito à accountability perante os representantes
eleitos e os partidos políticos), a legal (também semelhante à
formulação de Romzek), a administrativa (que é definida como
aquela que é devida aos órgãos de controle e inspeção) e a
profissional (perante os pares da profissão).

Como visto acima, o conceito é importante para uma


série de aspectos e características de uma sociedade
democrática. No entanto, defende-se o ponto de vista que a
democracia não é incompatível com a noção de gestão por
resultados, motivo pelo qual se pode alinhar os dois conceitos.
A accountability é essencial para a gestão por resultados porque,
em primeiro lugar, para que se possa identificar, dentro da
estrutura da organização, quem deve realizar qual tarefa.
Normas e procedimentos formais, em uma organização
burocrática, são essenciais para delimitar esferas de ação,
responsabilidades pela tomada de decisão, entre outros
aspectos, que permitam acompanhar e determinar quem deve
fazer o quê e quais resultados devem ser esperados.
39
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Em segundo lugar, a accountability é essencial para que a


população possa monitorar as atividades e cobrar resultados.
As organizações públicas devem ofertar valor à população, e
isso envolve, necessariamente, a definição de papéis em termos
desse valor, a atribuição de responsabilidades, e o
estabelecimento de “cadeias de produção” de serviços e bens.
Para Bovens (2005), a accountability é a principal marca da
governança democrática, fazendo com que o controle
democrático seja uma das funções primordiais a serem
cumpridas por esse mecanismo. Como ele opera, é algo que foi
bem definido por Romzek (1996), que observa que a
accountability, na Administração Pública, cria uma complexa
teia de relacionamentos entre os servidores públicos e outros
atores, mas essa teia forma o mecanismo pelo qual aqueles
respondem por seu desempenho.

Além disso, Pinho e Sacramento (2009) observam que a


nova gestão pública trabalha com a perspectiva de avaliação ex
post de políticas públicas para obter uma mensuração do
desempenho das ações de funcionários públicos, bem como a
prestação de contas em termos de execução e resultados. A
accountability se torna, assim, uma forma de confrontar metas e
resultados.

40
MARCELLO B. ZAPPELLINI

Por fim, é importante observar que, em tempos de


exigência de maior transparência na gestão pública, a
accountability se traduz, também, em maior divulgação das
atividades e dos resultados, tornando mais fácil identificar a
produção de valor por parte da gestão pública. Dito isto, é
preciso verificar como esses conceitos podem ser usados no
contexto presente de gestão de resultados.

Usando-se as classificações acima delineadas, pode-se


chegar a algumas considerações importantes:
a) Em primeiro lugar, a partir da distinção de O’Donnell,
verifica-se que ambas as dimensões (vertical e horizontal)
são potencialmente importantes. No caso da dimensão
vertical, supõe-se que o amadurecimento de uma cultura de
resultados na sociedade e nas organizações públicas venha
a aumentar as reivindicações e o interesse nas questões
referentes à geração desses resultados pelo setor público;
entretanto, é preciso considerar que a contribuição da gestão
por resultados para a ampliação da democracia pode ser
considerada somente indireta, pois ela não questiona quais
resultados seriam obtidos, apenas pressupõe serem aqueles
que a sociedade legitimamente demandaria. No caso da
dimensão horizontal, pode-se considerar que as instituições
e mecanismos de controle estatal venham a exigir maior
41
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

responsabilidade e mais transparência na questão da


definição dos resultados e dos meios para alcançá-los. De
todo modo, o papel dos organismos de controle pode ser
direcionado para exigir que os órgãos públicos respondam
tempestiva, eficiente, eficaz e efetivamente às demandas dos
cidadãos;
b) No que diz respeito à classificação dos relacionamentos de
accountability feita por Romzek, pode-se concluir que os
quatro tipos são importantes no contexto da gestão por
resultados. Dentro das organizações, o tipo hierárquico se
traduz na cobrança de bom desempenho das atividades dos
funcionários por parte dos superiores, eles próprios também
comprometidos com a obtenção dos resultados. Em termos
legais, os deveres de prestação de um bom serviço e os
princípios constitucionais da economicidade e da eficiência
levam o administrador público a se comprometer
legalmente a fazer um bom trabalho – e, embora esses
aspectos digam respeito mais aos processos do que aos
resultados, basta demonstrar sua ligação para revelar sua
importância para a gestão. No caso dos relacionamentos
políticos, o movimento da reinvenção do governo e o da
Administração Pública gerencial esclarecem a preocupação
com o relacionamento entre o servidor público e a
população que consome e usa os serviços públicos. Por fim,

42
MARCELLO B. ZAPPELLINI

no caso dos relacionamentos profissionais, pode-se afirmar


que o aumento da capacitação dos servidores públicos, que
cada vez mais se profissionalizam e se preparam, conduz a
uma preocupação com a melhor prestação de um serviço a
partir das regulamentações profissionais. Aqui é importante
lembrar a advertência da autora: a questão relevante
raramente é a de se um administrador é accountable por seu
desempenho, embora seja esta a principal preocupação dos
meios de comunicação, por exemplo, e sim, qual tipo de
relacionamento de accountability será enfatizado quando o
administrador público estiver sendo cobrado por seu
desempenho.

De qualquer forma, o conceito envolve um desafio: como


o servidor público pode responder pelo seu desempenho,
considerando-se a quantidade de demandas que lhe são
impostas, e as diferentes fontes legítimas de controle às quais
ele se submete (ROMZEK, 1996)? Trata-se de uma pressão
interna – organizar o trabalho dos funcionários públicos de
modo a garantir o melhor atendimento das demandas dos
cidadãos – aliada a um conjunto de pressões externas – atender
aos requisitos de controle dos cidadãos em uma sociedade
democrática, dos líderes políticos eleitos, dos órgãos e
instituições de controle (como os Tribunais de Contas e o
Ministério Público). A resposta a esse desafio não é,
43
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

evidentemente, simples, mas a gestão por resultados permite


ampliar a accountability no serviço público, já que esclarece e dá
transparência ao que as organizações públicas devem alcançar,
facilitando o controle.
QUESTÕES PARA FIXAÇÃO E APROFUNDAMENTO DO
CONTEÚDO

1. Como você diferenciaria a gestão pública da


administração de empresas privadas? Explique.
2. Considere os diferentes bens e serviços prestados pela
prefeitura municipal. Quais desses bens são
efetivamente públicos? Quais deles poderiam ser
ofertados pelo setor privado?
3. Qual dos conceitos de accountability, na sua opinião,
melhor reflete a definição de Administração Pública aqui
proposta? Por quê?
4. Accountability no setor público é, efetivamente, algo
muito mais complexo do que no setor privado. Comente
essa afirmação.
5. Denhard e Denhardt (2003) consideram que a
preocupação com os resultados, por parte da
Administração Pública, ameaça a accountability
democrática. Você concorda com esse ponto de vista?
Por quê?

44
MARCELLO B. ZAPPELLINI

45
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

2 O QUE SÃO RESULTADOS – E POR QUE SÃO


IMPORTANTES?

Já em 1983, Joseph S. Wholey afirmava: todos desejam


um bom governo, mas frequentemente este trabalha muito
pobremente; ele é descrito como perdulário, sem efetividade e
sem responsividade para as necessidades da população. Para
piorar a situação, de acordo com o autor, os gestores públicos
operam com muitas restrições e não são capazes de tomar as
decisões necessárias para melhorar os processos de prestação de
serviços; além disso, como se comprova pelo tratamento de
diversos autores diferentes, o público sempre demanda mais
serviços do setor público do que está disposto a financiar via
tributos pagos ao Estado (WHOLEY, 1983).

Osborne e Hutchinson (2004) afirmam:


independentemente da ideologia, seja ela de esquerda ou de
direita, um fato é indiscutível: vive-se numa época de crise
fiscal, o que diminui a disponibilidade de recursos para o
Estado desempenhar suas atividades. Entretanto, em paralelo,
observa-se uma tendência de exigir mais e mais prestação de
serviços por parte do setor público em paralelo com a
diminuição da disposição de pagar por eles por parte da
população. Talbot (2005) afirma que, historicamente, o discurso

46
MARCELLO B. ZAPPELLINI

político se concentrou em obter recursos e gastá-los (taxação e


orçamento), enquanto que “atingir resultados” sempre foi
tratado secundariamente; entretanto, esse panorama mudou.

Como aponta Sylvie Trosa (2001), não adianta discutir se


o Estado é bom ou é ruim: ele é um fato da vida em sociedade.
Além disso, de acordo com a mesma autora, não se pode cair na
discussão do Estado paternalista, que conhece as necessidades
dos cidadãos melhor do que eles próprios (ao menos, é o que
afirma...) versus o Estado mínimo, que transfere ao mercado os
serviços que a população necessita. É preciso buscar um modelo
entre esses extremos, conforme a Figura 1.

Figura 1: Os modelos do Estado


Fonte: autor, 2011.

O Estado necessário refere-se àquela configuração do


Estado que fornece serviços de acordo com a demanda da
população, por meio de mecanismos democráticos,
deliberativos e participativos, em que se pode definir as
preferências da maioria (reservando-se um espaço para a
expressão das necessidades das minorias e dos mais

47
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

desfavorecidos), bem como os serviços básicos necessários ao


funcionamento da sociedade, como segurança, relações
internacionais e defesa (serviços estes que mesmo os
economistas liberais reconhecem como função precípua do
Estado), tendo por base a noção da promoção de valores como
equidade, justiça social e democracia, e fornecendo orientações
e auxílio ao desenvolvimento econômico promovido por
organizações de mercados e regulado por agências públicas.
Como será visto a seguir, esse Estado é capaz de criar valor
público.

Onde encontrar esse modelo? E, mais ainda, como


alcançá-lo? Embora não exista um modelo a ser seguido, nem
um só caminho para alcançar essa ideia, alguns mecanismos e
ferramentas podem ser adotados para ajudar na caminhada, e
um deles é a gestão por resultados. Para compreendê-la, é
preciso, antes de qualquer coisa, definir alguns conceitos
básicos, para, em momento posterior, trabalhar com os modelos
de gestão e de avaliação do desempenho.

2.1 RESULTADOS

Conforme James Swiss (2005), a expressão “resultados”


diz respeito a qualquer efeito produzido por uma agência sobre

48
MARCELLO B. ZAPPELLINI

um ou mais indivíduos que não trabalhem nela; em inglês,


afirma o autor, results devem ser considerados como sinônimos
de outcomes. Independentemente de discussões linguísticas,
deve-se ter em mente que a definição de Swiss refere-se à
produção de algum efeito por parte de uma organização em um
público externo. Hatry (1996) afirma que a palavra “resultado”
(outcome) deve ser compreendida como o que acontece com o
usuário do serviço depois que uma organização o presta para
este, um aspecto que Scriven (1991) também defende: os
resultados são efeitos que ocorrem depois de algum tipo de
tratamento ou intervenção.

Evidentemente, essa noção não deve ser considerada


neutra, pois se refere tanto a resultados positivos quanto
negativos; para que a organização pública produza um efeito
desejável, ele deve ser, portanto, positivo. Além disso, essa
proposição também deixa em aberto um questionamento: até
que ponto esse resultado pode ser atribuído à organização?

Efeitos colaterais são encontrados em muitas atividades


da Administração Pública. Apenas para citar um exemplo, a
melhoria da educação fundamental e em nível médio fornecida
pelo Estado por meio das escolas públicas produz um efeito
colateral positivo sobre as pequenas e médias empresas: com
empregados mais bem preparados, essas empresas aumentam
49
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

sua eficiência na prestação de serviços. Portanto, para que se


possa falar de gestão por resultados por parte de uma
organização, é importante que esses resultados positivos a
serem mensurados e acompanhados sejam aqueles que a
organização tinha em mente ao realizar suas atividades de
produção de bens e serviços, ou seja, os resultados devem ser
efeitos produzidos intencionalmente por uma organização
sobre o público externo.

Existem, de acordo com Trosa (2001), duas formas de se


determinar o resultado de uma organização. Em primeiro lugar,
pode-se determinar os serviços prestados. Uma organização
como um posto de saúde, por exemplo, pode verificar quantas
pessoas são atendidas por mês, quantas vacinas são aplicadas,
quantas caixas de medicamentos são distribuídas, e assim por
diante. Serviços prestados devem ser bem definidos dentro da
alçada de responsabilidade da organização, e a partir disso,
deve-se construir um sistema de controle que permita verificar
quantas unidades de serviços são oferecidas à população por
mês. O importante é, de acordo com Trosa (2001), que os
serviços sejam resultados imediatos, mensuráveis e tangíveis.

A autora apresenta uma série de etapas a serem


realizadas para definir os resultados de uma organização:

50
MARCELLO B. ZAPPELLINI

a) Analisar os interesses e as expectativas das partes


envolvidas, tentando definir o que a organização faz e
para quem faz;
b) Definir uma teoria da ação, ou seja, compreender e
explicar a lógica da intervenção da organização na
sociedade, articulando os objetivos com as ações
concretas. Esta pergunta volta-se para determinar como
a organização faz alguma coisa;
c) Por fim, deve-se classificar as ações por prioridades,
para tentar definir o que a organização faz que
nenhuma outra possa fazer. Nesta etapa, pode-se
verificar o que se está agregando de valor.

Convém observar que, embora sejam tratadas em


separado, essas etapas na verdade devem ser consideradas
concomitantes; para Trosa (2001), não há sentido em realizá-las
em momentos diferentes do tempo.

Uma nítida vantagem dos serviços prestados encontra-se


no fato de que é fácil reconhecê-los, e, portanto, sua descrição
não guarda nenhum mistério; ademais, é fácil estabelecer uma
meta de qualidade ou de melhoria para um serviço prestado:
por exemplo, no caso do posto de saúde, uma meta de melhoria
pode ser a diminuição do tempo de espera para uma consulta

51
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

com um médico, ou o aumento do número de crianças


vacinadas contra a gripe.

Questões para Reflexão:

Quais são os serviços que sua organização presta à


população?
Estabeleça uma meta de melhoria nos moldes dos exemplos
acima para esses serviços. Lembre-se que uma meta deve ser
exequível!

Não se deve confundir o produto ou serviço prestado por


uma organização (output) com o seu resultado (outcome), avisa
Poister (2003). Segundo ele, os produtos representam o que um
programa ou organização realmente faz, enquanto que os
resultados dizem respeito ao que esse produto gera nas pessoas.
Os produtos, avisa Poister, são condições necessárias – mas
insuficientes – para se avaliar o sucesso de uma organização. O
autor distingue entre a quilometragem construída em uma
estrada (produto) e a melhoria do fluxo de trânsito na região
servida por essa estrada (resultado) para ilustrar a importância
de se diferenciar entre outputs e outcomes.

Já um impacto se refere a uma mudança duradoura e


sustentável na vida de uma pessoa ou de uma população;

52
MARCELLO B. ZAPPELLINI

normalmente os impactos demoram algum tempo (em vários


casos, alguns anos) para se manifestarem, mas dão ao
funcionário público envolvido em sua produção a sensação de
“fazer a diferença” na vida das pessoas, já que normalmente os
impactos mais importantes se referem a melhorias na qualidade
de vida de uma pessoa, de um grupo social ou de toda uma
sociedade. Além disso, nem sempre o serviço prestado pode ser
considerado uma boa indicação de resultados; para adaptar um
exemplo dado por Trosa (2001), suponha que os postos de
saúde ofereçam atendimento psicológico. É mais adequado
considerar, como medida de resultado, o número de consultas
ou a detecção e o tratamento de problemas psicológicos na
população, e a subsequente melhoria na vida das pessoas
tratadas?

Por outro lado, os impactos são mais difíceis de


mensurar, pois nem sempre se pode atribuí-los exclusivamente
à atividade de uma organização. Por exemplo, pense num
programa educacional composto por melhores professores, por
aumento na carga horária de atividades educacionais, por
maior disponibilidade de equipamentos tecnologicamente
avançados e por maior participação da comunidade na
definição de políticas educacionais. Qual deles seria “o
responsável” pela melhoria do desempenho dos alunos nos
testes educacionais?
53
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Além disso, por demorarem mais tempo para serem


devidamente identificados, os impactos não são muito atrativos
para gestores públicos e líderes políticos que precisam “mostrar
serviço”. Por fim, é preciso mencionar que a avaliação de
impactos usualmente necessita de uma grande quantidade de
dados estatísticos, incluindo informações sobre as condições da
população objeto antes e depois da intervenção representada
pelo serviço público, bem como de comparações entre uma
população de teste e uma de controle, escolhidas
aleatoriamente, de modo a gerar um contraste entre a situação
de um grupo que obteve os serviços e outro que não dispõe dos
mesmos. Esse tipo de experimento, estatisticamente necessário
para isolar os efeitos de um programa social sobre a população,
nem sempre é possível ou desejável de se aplicar. No entanto, o
impacto pode ser considerado como o “efeito líquido”
(COHEN; FRANCO, 2007) de uma intervenção na realidade;
isso, por si só, dá uma indicação do quanto este conceito é
importante.

54
MARCELLO B. ZAPPELLINI

Questões para Reflexão:

Você consegue definir o impacto do serviço prestado por sua


organização sobre a população? Ou sobre as atividades de
outras organizações? Consegue descrevê-lo em poucas palavras,
e defendê-lo de críticas e questionamentos?

Então... Deve-se medir resultados por meio de impactos


ou de serviços prestados? Embora se trate de uma questão
bastante espinhosa, que precisa de uma série de considerações
teóricas e empíricas, Trosa (2001) propõe uma conciliação entre
os dois conceitos:
a) Em primeiro lugar, deve-se compreender os serviços
prestados como uma etapa de mensuração;
b) Deve-se ter uma visão menos ambiciosa dos impactos
como etapas de realização de objetivos iniciais;
c) É preciso desenvolver uma cultura de confiança entre os
gestores, os funcionários e a população;
d) Finalmente (mas, provavelmente, o mais importante),
deve-se inscrever os serviços prestados e os impactos
dentro de objetivos claros para a organização.

Independentemente dessa controvérsia, existe uma


grande quantidade de aspectos que podem ser usados para
avaliar os impactos ou os serviços. Pode-se agrupá-los sob o
conceito geral de resultados por questões de simplificação. Três
55
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

critérios básicos podem ser usados para avaliar resultados:


eficiência, eficácia e efetividade. Suas definições, de acordo com
Dumont, Ribeiro e Rodrigues (2006) podem ser encontradas na
Figura 2.

EFICÁCIA EFICIÊNCIA EFETIVIDADE


É a capacidade de
É a capacidade de É a capacidade de atingir
fazer alguma coisa
causar um efeito, o objetivo, funcionando
com excelência,
atingir o objetivo normal e
evitando perdas e
que se persegue, satisfatoriamente,
desperdícios, e
cumprir, executar, atingindo os resultados
atingindo padrões de
realizar a tarefa que realmente são
qualidade com
para produzir o importantes ou
menor uso de
resultado necessários para a
recursos e mínimo de
pretendido. população atendida.
erros.
Figura 2: Comparação entre eficiência, eficácia e efetividade
Fonte: adaptado de Dumont, Ribeiro e Rodrigues (2006, p. 56 –
57).

2.2 DESEMPENHO

Por que distinguir entre resultados e desempenho? A


questão não é tão simples quanto parece à primeira vista, e não
se encontra grande tratamento dessa diferenciação. Parmenter
(2007) oferece uma interessante distinção quando analisa os
indicadores de desempenho e os de resultado; para este autor,
não se deve confundi-los, porque, quando se fala de resultados,

56
MARCELLO B. ZAPPELLINI

está-se fazendo menção ao que foi atingido por uma


organização, ao que já foi produzido por ela, ao passo que o
desempenho se refere ao que se deve fazer. Portanto, o
resultado pode ser considerado em termos, por exemplo, da
satisfação dos funcionários da organização, ao passo que o
desempenho deve ser visto sob a lente do que é preciso fazer
para garanti-la, como, por exemplo, o número de pessoas que
participam de esquemas como a “caixa de sugestões” para a
gerência.

Apesar do que se afirma acima, muitos autores os tratam


como sinônimos. McDavid e Hawthorn (2006), por exemplo,
não distinguem entre gestão voltada para o desempenho e
gestão para resultados. Scriven (1991) considera o desempenho
como o atingimento de algo; embora não descreva diretamente
a palavra, essa conclusão torna-se evidente a partir de seu
conceito de avaliação do desempenho. Evidentemente, ambos
são igualmente importantes para o trabalho do gestor público.
Como a distinção de Parmenter é basicamente operacional,
tratar-se-á desempenho e resultado como idênticos na
perspectiva da gestão.

Para Dumont, Ribeiro e Rodrigues (2006), sistemas


tradicionais de avaliação de desempenho no setor público
usualmente se concentram nas contas públicas, lidando com
57
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

aspectos financeiros, contábeis e orçamentários. Entretanto,


afirmam os autores, deve-se considerar também aspectos
econômicos e sociais, sobretudo no que tange à melhoria das
condições sociais da população. A essa lista pode-se adicionar
também uma dimensão jurídico-legal, em que se verifique o
desempenho da organização no que diz respeito aos ditames e
normas legais, e uma dimensão política, em que se procure
verificar até que ponto as atividades desempenhadas
efetivamente contribuem para a democratização de uma
sociedade.

Pode-se definir o desempenho como ação verificável e


mensurável, que pode ser o resultado de aptidões e capacidades
humanas desenvolvidas a partir de um aprendizado (SOUZA
et al., 2005), ou como a realização de alguma atividade voltada
para a obtenção de determinados fins. Ou seja, o conceito se
refere a um processo de produção ou de geração de bens e
serviços, a operações que são realizadas tendo-se em mente a
produção de algum efeito.

Diferentes dimensões estão cobertas pelo termo geral


desempenho, como Poister (2003) demonstra:
a) Efetividade;
b) Eficiência operacional;

58
MARCELLO B. ZAPPELLINI

c) Produtividade;
d) Qualidade do serviço;
e) Satisfação do consumidor (ou usuário-cidadão);
f) Relação custo-efetividade.
Talbot (2005), por outro lado, prefere utilizar três focos:
a) Desempenho organizacional: trata-se, aqui, de verificar
se as diferentes organizações conseguem desempenhar
suas tarefas em termos de implantação de programas e
políticas, tanto em relação a outras organizações, quanto
em termos de níveis de governo;
b) Desempenho de atividades, programas e políticas: neste
caso, deixa-se de lado a ideia de avaliar o desempenho
de organizações individuais e passa-se a trabalhar com o
desempenho das políticas globais do governo;
c) Desempenho individual: neste caso, trabalha-se com a
gestão de recursos humanos, buscando verificar como cada
funcionário (ou equipe) está contribuindo para o
desempenho global da organização.

O desempenho, portanto, envolve o uso dos recursos da


organização em processos (ou conjuntos de atividades) no
atingimento de objetivos previamente definidos. Ao se tratar de
recursos, é preciso destacar que se trata de maquinaria e
equipamentos, de dinheiro, de matérias primas, mas,
sobretudo, de pessoas que possam ser mobilizadas para a
59
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

realização das tarefas e atividades necessárias à geração dos


resultados organizacionais previstos. Souza et alii (2005)
observam que, em perspectivas mais mecanicistas da
administração, o desempenho se associava sobretudo à ideia da
máquina, mas, com a ascensão de uma percepção mais humana
do trabalho organizacional, ele passou a ser uma função de
aspectos como a cultura e o clima organizacional, as condições
gerais do trabalho e a forma de gerenciamento dos processos
produtivos, bem como de fatores individuais como
capacidades, competências, atitudes e motivação.

Questões para Reflexão:

Pense no que foi tratado aqui a respeito do desempenho,


sobretudo em termos das dimensões definidas por Poister
(2003). Descreva o que seria um bom desempenho em sua
organização.

Portanto, gerenciar o desempenho de uma organização


envolve uma combinação de fatores e, por conseguinte, está
sujeito a uma grande quantidade de variáveis diferentes, que
podem atuar positiva ou negativamente na consecução de
objetivos organizacionais. Uma organização pode ser
considerada como de alto desempenho quando seus
funcionários conseguem produzir os bens ou serviços desejados
60
MARCELLO B. ZAPPELLINI

com maior qualidade utilizando a mesma (ou menor)


quantidade de recursos, com aumento permanente de
produtividade e qualidade, atingindo dessa forma a sua missão
(POPOVICH et al., 1998). Entretanto, é bom lembrar a
advertência de Hale (1996): atingir alto desempenho é uma
coisa, e mantê-lo é outra completamente diferente!

Na prática...

Embora os autores apresentem esse conceito, não há


exemplos de organizações de alto desempenho que nele se
encaixem nem mesmo nos Estados Unidos! Ou seja, o conceito
é essencialmente normativo. Mas algumas organizações
brasileiras se aproximam desse conceito, como a Petrobras (em
suas operações de prospecção em águas profundas) e os
Correios – ECT (em especial em serviços de alto valor agregado
como o Sedex).

Especificamente no caso das organizações públicas, o


desempenho se mostra um objetivo difícil de se trabalhar.
Denhardt (2000) observou que, enquanto o desempenho no
setor privado se relaciona com o lucro, no setor público ele deve
ser considerado por meio de valores políticos e prioridades. Isso
é muito difícil de se mensurar, mas é possível encontrar
indicadores que permitam visualizar os esforços da
organização neste sentido; estes indicadores, notou o autor, são

61
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

mais fáceis de se estabelecer se a organização produz ou presta


um bem ou serviço diretamente ao público.

Uma tentativa de solucionar essas dificuldades é dada


pela noção de criação de valor público, cujo conceito será
abordado a seguir.

2.3 VALOR PÚBLICO

Apesar de todo o esforço em distinguir entre resultados


e desempenho, nem sempre é possível diferenciá-los
empiricamente. Aliás, existem autores que consideram os
resultados como uma dimensão do desempenho, como se pode
observar na listagem de dados de desempenho compilada por
Heinrich (2010):
a) Dados de entrada (input), como recursos materiais e
humanos;
b) Dados de processo, como a carga individual de trabalho;
c) Dados de eficiência, como custo unitário ou índice de
produtividade;
d) Dados de saída (output), como os bens e serviços
entregues;
e) Dados de resultado (outcome), como o atingimento de
metas e objetivos intermediários ou finais;

62
MARCELLO B. ZAPPELLINI

f) Dados de impactos produzidos na população.

Por isso, os resultados e o desempenho podem ser


combinados na noção de valor público. Segundo Moore (1995),
é preciso ter em mente que os governos são capazes de criar
valores públicos da mesma forma que empresas e organizações
de mercado criam valores privados; na visão desse autor, as
atividades que os administradores públicos desempenham são
criadoras de valor no sentido de que geram benefícios para uma
população ou uma sociedade e geram custos que devem ser
cobrados por meio de recursos recolhidos desta sociedade por
meio de taxas, impostos ou cobrança de tarifas.

Há uma diferença importante entre a criação de valor


pelo setor privado e pelo setor público: neste último, os gestores
podem utilizar um recurso bastante especial, qual seja, a
autoridade do Estado, que pode ser mobilizada para que
indivíduos e grupos de pessoas contribuam diretamente para
atingir objetivos públicos (MOORE, 1995). Assim, pessoas que
ultrapassam o limite de velocidade nas rodovias são multadas
pela polícia para que se mantenham níveis básicos de segurança
no tráfego, cidadãos pagam impostos e tributos federais,
municipais e estaduais, e beneficiários de programas como o
Bolsa Família podem ser obrigados a demonstrar que seus

63
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

filhos estão frequentando a escola se quiserem continuar a


receber o dinheiro do programa.

Assim, o valor público pode ser considerado como o


valor criado por organizações públicas para a consecução de
fins coletivos, ou seja, como o conjunto de bens e serviços
produzidos e gerados pela organização pública para a
satisfação de necessidades de uma sociedade como um todo,
utilizando-se não somente de recursos financeiros, humanos e
materiais, como também de recursos políticos e de poder.

Questões para Reflexão:

Responda rápido: sua organização cria valor público?


Qual?
Se você não identificou um valor público criado por sua
organização, qual seria o valor que ela deveria estar criando?

Para Moore (1995), as sociedades capitalistas privilegiam


o consumo privado em detrimento de objetivos e metas
coletivas, por isso é importante que os administradores
públicos não apenas demonstrem que são capazes de criar
valor, como também que este é tão importante quanto aquele
gerado pelas organizações de mercado. De acordo com o autor,
o fato de que as organizações públicas são financiadas pela
64
MARCELLO B. ZAPPELLINI

tributação dificulta a percepção de valor por parte da sociedade


– como normalmente não há um preço a ser pago pelo
consumidor ou cidadão no atendimento de um médico no posto
de saúde, ou pela pavimentação de sua rua, é comum que este
não saiba valorá-lo. No entanto, os recursos do governo são o
resultado de uma escolha individual: ao votar, o cidadão
sinaliza individualmente sua preferência por uma determinada
alocação dos recursos do orçamento; dessa forma, “[...]
devemos avaliar o esforço dos gestores do setor público não no
mercado econômico dos consumidores individuais, mas no
mercado político dos cidadãos e nas decisões coletivas de
instituições democráticas representativas.” (MOORE, 1995, p.
31).

Para identificar o valor público criado, Moore (1995)


propõe uma série de critérios:
a) Em primeiro lugar, deve-se tentar determinar se a
organização atinge os objetivos determinados
politicamente de maneira eficiente e efetiva;
b) Em seguida, é preciso verificar se os gestores públicos
são politicamente neutros, no sentido de que os objetivos
determinados democraticamente para a satisfação das
necessidades de uma comunidade são colocados acima
das exigências do sistema político;

65
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

c) Deve-se também usar técnicas analíticas para a avaliação


do valor, como as análises de custo-benefício e de custo-
efetividade;
d) Por fim, deve-se verificar a capacidade da organização
de satisfazer as demandas da coletividade, prestando
serviços que vão de encontro às necessidades dos
cidadãos.

Questões para Reflexão:

Se sua organização cria valor público, como ela se sai nos


critérios acima? Pense nestes como um conjunto de testes que
definirão se o valor criado por ela é efetivamente público, no
sentido que Moore confere.

Deve-se observar que, para Moore, apesar do que se


descreve nos itens “b” e “c”, a criação de valor público é um
processo essencialmente político, pois o mais importante não é
a satisfação de um consumidor, e sim de um cidadão, e este é
um agente político que tem a capacidade de afetar, por meios
democráticos e participativos, da definição da gama de bens e
serviços que serão ofertados. Isso não significa que o conceito
não tenha implicações gerenciais, e essas implicações são
sumarizadas pelo autor da seguinte maneira:

66
MARCELLO B. ZAPPELLINI

a) Os valores estão enraizados nas percepções e desejos de


indivíduos;
b) Existem diferentes tipos de desejos de cidadãos que
devem ser satisfeitos, mas de modo geral se encaixam em
dois grupos: bens coletivos desejados individualmente
que não podem ser fornecidos pelo mercado (como
assistência de saúde para os pobres) e aspirações
políticas relacionadas com condições sociais agregadas
(como a melhoria da distribuição de renda);
c) Para satisfazer esses desejos, os gestores públicos
utilizam os recursos financeiros e a autoridade a eles
conferida para produzir bens de valor para cidadãos em
particular (como construir e manter limpo uma praça ou
parque público), e podem criar e operar instituições que
atendam aos desejos dos cidadãos por uma sociedade
bem ordenada (como políticas de distribuição de renda e
a polícia);
d) É fundamental informar à população o quão bem os
recursos são bem utilizados;
e) Tudo o que é produzido por uma organização pública
deve ser posicionado em termos de políticas públicas;
f) Por fim, deve-se lembrar que a sociedade se encontra em
constante mudança, portanto, as necessidades da
população se modificam, e as condições em que as
organizações públicas operam também são alteradas.
67
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Popovich et al. (1998) afirmam que o ambiente está em


constante mudança, por isso as organizações devem ser
capazes de mudar rapidamente. Portanto, o gestor
interessado em criar valor público deve ser capaz de se
adaptar a novas condições de trabalho, de inovar e de
experimentar novas formas de satisfazer as necessidades
da coletividade;
g) É interessante lembrar também, como fazem Denhardt e
Denhardt (2003), que o serviço público deve estar sempre
voltado para a produção de bens e serviços que
efetivamente reflitam s necessidades e anseios da
população, o que implica em ouvi-la para que se possa
definir adequadamente o que realmente seria o valor
público desejado por uma coletividade. Assim,
mecanismos que garantam voz à população e divulguem
as informações junto aos órgãos governamentais são
muito importantes para que se possa efetivamente criar
valor público.

Resta, agora, o desafio de como uma organização pode


ser voltada para criar valor. O desempenho, de agora em diante,
será identificado como o esforço necessário para obter
resultados em termos de valor público. Portanto, deve-se
identificar como a organização pode se estruturar para gerar

68
MARCELLO B. ZAPPELLINI

esse valor – e como esses esforços podem ser medidos e


avaliados pela organização ou pelos interessados em seus
produtos ou serviços.

QUESTÕES PARA FIXAÇÃO E APROFUNDAMENTO DO


CONTEÚDO

1. A gestão por resultados é criticada por alguns como


gerencialista – e o gerencialismo, por sua vez, é criticado
por não dar conta das especificidades da ação do
governo. Você concorda com essa crítica? Por quê?
2. A educação básica deveria ser avaliada por resultados ou
por impactos? Por quê?
3. Analise a seguinte afirmação: “é mais fácil avaliar o
desempenho de uma sociedade de economia mista como
a Petrobras do que o do Ministério das Minas e Energia”.
Essa frase pode ser considerada correta? Por quê? Quais
argumentos a sustentam e quais a contestam?
4. O valor público deve ser considerado somente como o
conjunto dos resultados criados pela organização
pública, ou deve incluir outros elementos? Por quê?
5. O desempenho numa organização depende mais do
fator humano do que dos recursos, equipamentos e
tecnologia disponíveis. Você concorda? Por quê?

69
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

3 MODELOS DE GESTÃO DE RESULTADOS: ALGUMAS


METODOLOGIAS

As organizações que buscam um desempenho superior,


sejam elas públicas ou privadas, devem focalizar em resultados.
Esses resultados devem ser considerados como a meta da
organização, e o planejamento estratégico e as configurações da
estrutura organizacional, dos sistemas de controle e de gestão
de pessoas devem ser voltados para a obtenção de mais e
melhores resultados. Como estruturar a organização para
alcançá-los, e quais modelos estão disponíveis para isso, é o
objeto deste capítulo.

De acordo com Wholey (1983), a gestão orientada por


resultados se caracteriza por estruturar os fluxos de recursos, as
atividades dos programas e o uso da informação não para os
processos, como é normal nas atividades governamentais, mas
para os resultados. Para esse autor, as chaves para a gestão por
resultados são, em primeiro lugar, o acordo em torno de
objetivos de resultados e indicadores de resultados que serão
usados para gerenciar e avaliar o programa; em seguida, deve-
se desenvolver os mecanismos necessários para avaliar o
desempenho em termos desses objetivos de resultados; a
terceira é o uso das informações de desempenho para tomar

70
MARCELLO B. ZAPPELLINI

decisões de melhoria do desempenho; por fim, deve-se


comunicar ao público o desempenho alcançado e os resultados
obtidos em termos de políticas públicas.

É conveniente tratar mais a fundo dos argumentos que


vem sendo apresentados para defender que as organizações
focalizem no desempenho. Esses argumentos são resumidos
por Talbot (2005) nos seguintes aspectos:
a) Accountability: a necessidade de transparência nas ações
do governo indica que não somente se deve informar os
cidadãos a respeito do que nelas é gasto, mas também os
resultados que foram alcançados;

Na prática...

Quando o MEC divulga os resultados do Enade, as


universidades públicas tem seu desempenho divulgado para a
sociedade como um todo.

b) Escolha do cidadão: muito embora vários serviços


públicos sejam prestados em regime de monopólio,
existem situações em que o cidadão pode escolher
prestadores de serviço. Aproveitando-se o exemplo da
seção “Na prática” acima, as informações sobre o
desempenho da universidade pública permitirão ao

71
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

candidato mais clareza na definição de prestar


vestibular;
c) Serviço ao usuário ou consumidor: informações sobre
desempenho podem ser usadas para determinar níveis
de serviço ao consumidor, acessibilidade e qualidade.
Dessa forma, padrões de serviço mais elevados podem
ser fixados e permitirão melhorias;
d) Eficiência: argumenta-se que a avaliação do desempenho
das organizações públicas gerará maior eficiência no uso
dos recursos;
e) Resultados e efetividade: acompanhar e analisar o
desempenho organizacional permite uma visão dos
resultados obtidos e, dessa forma, pode-se avaliar até
que ponto as organizações públicas são efetivas no
atendimento das necessidades da sociedade. Além disso,
é possível verificar o que “funciona” em termos dos
objetivos públicos;
f) Alocação de recursos: diretamente relacionado a
identificar o que está funcionando há a ideia de decisão

Questões para Reflexão:

É um fato bastante comentado: organizações eficientes no


uso de seus recursos são “premiadas” com cortes orçamentários
no exercício fiscal seguinte. Você conhece algum caso assim?
Será que o item “f” supracitado não encerraria essa prática?
72
MARCELLO B. ZAPPELLINI

de alocação de recursos. De acordo com o autor, este


argumento vem sendo aplicado na Nova Zelândia;

g) Criação de valor público: neste caso, adota-se a


perspectiva de Moore (1995), utilizando-se a avaliação
do desempenho das organizações para verificar se estas
efetivamente estão criando valor público, promovendo
valores com equidade, probidade e igualdade, além de
contribuírem com a criação de capital social.

Alguns críticos da gestão por resultados costumam


afirmar que o foco do governo não pode ser a criação e
produção de bens e serviços para clientes, como se faz no setor
privado. Essa crítica pode ser considerada injustificada; em
primeiro lugar, se determinadas atividades do governo
(sobretudo aquelas que se considera como parte da
Administração Direta) não podem efetivamente ser analisadas
em termos de resultados ou do desempenho, por outro lado
existem várias que geram bens e serviços que podem ser
avaliados em termos de eficiência e eficácia, bem como
produtos que possuem preços de mercado. Em segundo lugar,
como observam Epstein et al. (2006), não existe nada
inerentemente errado em melhorar a performance sob o ponto
de vista do consumidor ou do cliente nas organizações públicas
e de terceiro setor; o que se deve buscar, de acordo com esses
73
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

autores, é uma forma de engajar os cidadãos na busca desses


resultados, pois consumidores satisfeitos não são
necessariamente cidadãos participantes e engajados – que são
os verdadeiros “tijolos” que constroem uma comunidade.

Questões para Reflexão:

O que sua organização faz para engajar os cidadãos no


processo de gestão de resultados?

Barzelay e Moukheibir (1996) vão mais além: para eles,


os clientes podem ser compreendidos como stakeholders
externos, e se deve atingi-los por meio de pesquisas de mercado;
para eles, é preciso ouvir o cliente por duas razões:
a) Em primeiro lugar, muitos programas só irão funcionar
a contento se forem desenhados a partir de um
conhecimento sólido sobre o comportamento dos
grupos-alvo;
b) O segundo aspecto levantado pelos autores reside no
fato de que muitos programas são formulados a partir de
uma perspectiva legal baseada numa abstrata noção das
necessidades coletivas, deixando em segundo plano a
realidade individual.

74
MARCELLO B. ZAPPELLINI

Dessa forma, obter melhores resultados não é somente


uma obrigação de cunho econômico, ela pode se tornar uma
ferramenta social e política, que auxilia a construir capital social
por meio de maior transparência e accountability do lado dos
governos e do engajamento e da participação na governança
das organizações públicas por parte dos cidadãos. Neste caso
específico, Epstein et al. (2006) destacam que os cidadãos
podem atuar como stakeholders e advocates, como colaboradores
ou coprodutores, como avaliadores e como formuladores de
questões que devem fazer parte das agendas governamentais
(além de contribuir com melhores definições dos problemas
públicos e com sugestões de soluções). Dessa forma, o processo
de gestão por resultados transcende a esfera puramente
econômica e se torna politicamente relevante.

3.1 ASPECTOS GERAIS

Nesta seção, serão vistos modelos genéricos, antes de se


trabalhar com alguns específicos. Em primeiro lugar, trabalhar-
se-á com o de Swiss (2005), para depois lidar com as etapas
definidas por Poister para o desenvolvimento de um sistema
efetivo de mensuração de desempenho.

Para Swiss (2005), existem alguns componentes próprios


de qualquer sistema de gestão, e os sistemas de gerenciamento
75
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

de resultados não são exceção; esses componentes, de acordo


com Swiss (2005), são:
a) Informação: os gestores devem ter conhecimento a
respeito do que a organização faz, como faz, e como está
procedendo para alcançar os resultados;
b) Capacidades: não basta ter informação, é preciso saber o
que fazer com ela. É preciso treinamento para entender
as informações, autonomia para agir e equipamentos
para melhorar o atingimento dos resultados;
c) Incentivos: por fim, é preciso que existam mecanismos
que produzam disposições positivas nos gestores e
funcionários da organização e os impulsionem na busca
dos resultados. Esses incentivos são tanto pessoais
quanto institucionais e são cruciais para produzir
mudanças.

Para Swiss (2005), sistemas de gestão baseados em


resultados fracassam se qualquer um dos componentes estiver
ausente; entretanto, nem todos estão disponíveis nas
quantidades adequadas para a implantação dos sistemas nas
organizações, por isso é preciso fazer uma avaliação do estado
atual de uma organização antes de definir o sistema de gestão
por resultados.

76
MARCELLO B. ZAPPELLINI

Questões para Reflexão:

Pense em sua organização como uma candidata para a


implantação de um sistema de gestão por resultados. Como ela
está em relação aos três elementos exigidos por Swiss? Qual
deles precisa de reforço e atenção urgente por parte da alta
administração?

Além disso, os incentivos são, usualmente, um elemento


incomum em muitas organizações públicas, precisando de uma
atenção especial. Swiss (2005) recomenda o uso de quatro
classes de incentivos:
a) Motivadores intrínsecos: são forças psicológicas que são
ativadas no indivíduo simplesmente porque ele realiza o
trabalho;
b) Incentivos não monetários extrínsecos: são gestos de
reconhecimento como as placas, fotos do “empregado do
mês”, etc., cujos custos para a organização podem ser
considerados desprezíveis;
c) Incentivos baseados no orçamento: gestores cujos
setores dão indicações de excelência no atingimento dos
resultados podem ser agraciados, em momentos
subsequentes, com fatias mais generosas do orçamento;

77
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

d) Incentivos pessoais: recompensas monetárias como


aumentos e bônus salariais, promoções, dentre outras,
que são atribuídas somente a alguns indivíduos.

Tudo isso indica que os incentivos são dirigidos


sobretudo a pessoas, ou seja, o sucesso nos sistemas de gestão
de resultados pode ser ampliado pela construção de incentivos
que motivem as pessoas a se comprometerem com os resultados
da organização. As pessoas fazem a diferença na gestão por
resultados; nada mais natural que cuidar mais do seu
envolvimento. Popovich et al. (1998) afirmam que qualquer
funcionário público, em qualquer nível organizacional, pode
melhorar seu desempenho em sua área; naturalmente, quanto
mais baixa a sua posição na hierarquia, menor será seu impacto
na melhoria geral de desempenho da organização.

Na prática...

Para que a organização favoreça essas experiências de


melhoria de desempenho, é importante que exista comunicação.
Por exemplo, Popovich e seus colegas mencionam que no estado
de Iowa um diretor de uma organização pública começou a
experimentar com uma técnica diferente de orçamentação; esta
foi divulgada por meio de seminários e consultores, e o
resultado é que todo o governo estadual passou a adotá-la.

78
MARCELLO B. ZAPPELLINI

Entretanto, cabe uma palavra a respeito da questão dos


orçamentos. Em seu livro, Osborne e Hutchinson (2004)
descrevem sua experiência junto ao governo do estado de
Washington, que exigia uma estratégia para maximizar a
prestação de serviços dentro de um contexto de recursos
escassos e de crise fiscal. A proposta dos autores foi,
simplesmente, inverter a lógica do orçamento: em vez de
começar sua definição por meio de programas de ação,
começou-se pela descrição dos resultados a serem alcançados.
Uma vez que estes foram estudados, definiu-se um conjunto de
prioridades a serem atacadas pelo governo, e criou-se um
sistema de indicadores que permitiu acompanhar e avaliar o
progresso no atingimento dessas prioridades.

É preciso acompanhar o sistema de gestão de resultados


pela medição do desempenho. Poister (2003) propôs um
processo de desenho e implementação de sistemas de
mensuração de performance baseado em dez etapas:
I. Garantir o comprometimento da gestão: em primeiro
lugar, deve-se assegurar que a alta direção da
organização está comprometida com a medição do
desempenho e irá apoiá-lo;
II. Organizar o processo de desenvolvimento do sistema:
é preciso designar o indivíduo ou equipe que terá a
responsabilidade final pelo processo e identificar os
79
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

servidores ou unidades de trabalho que serão envolvidas


em cada parte específica do processo;
III. Esclarecer o propósito e os parâmetros do sistema:
consiste em trabalhar com o uso do sistema e quais
parâmetros serão usados, em termos do escopo do
sistema, papel dos tomadores de decisão, recursos e
limitações, barreiras iniciais, tanto em termos internos
quanto externos;
IV. Identificar os resultados e os demais critérios de
desempenho: deve-se trabalhar com modelos lógicos de
causa e efeito para verificar o que as atividades geram
em termos de resultados para, a partir dessas relações,
estabelecer os critérios de desempenho válidos para a
organização;
V. Definir, avaliar e selecionar indicadores: uma vez que a
etapa anterior gera, como resultado, uma definição do
que será avaliado em termos de desempenho, esta etapa
trabalha com o “como” isso será feito;
VI. Desenvolver procedimentos de coleta de dados: a sexta
etapa diz respeito a definir fontes de dados e formas de
obtê-los;
VII. Especificar o design do sistema: trata-se de uma etapa
voltada para definir como o sistema realmente irá
operar, como, por exemplo, a frequência dos relatórios e

80
MARCELLO B. ZAPPELLINI

os canais pelos quais eles serão divulgados, as


responsabilidades pessoais, os equipamentos e recursos
necessários, formas de análise dos dados, bem como os
prazos das atividades;
VIII. Conduzir um teste-piloto: antes da implementação
efetiva do sistema, um teste inicial pode ser bastante útil,
verificando na prática (ainda que em escala reduzida)
como o sistema efetivamente opera. Após o teste, pode-
se introduzir as mudanças necessárias ou validar o
sistema;
IX. Implantar o sistema pleno: trata-se da etapa operacional
propriamente dita, em que todos os procedimentos e
atividades são postos em funcionamento e o sistema será
efetivamente utilizado pela organização. Nesta etapa
específica, mais do que qualquer outra, o compromisso
da alta gestão da organização se mostra crucial para o
sucesso;
X. Usar, avaliar e modificar o sistema: os relatórios de
desempenho devem ser utilizados no processo decisório
e guiar a gestão da organização. Além disso, os gestores
devem avaliar o uso das informações obtidas e sua
utilidade para mudanças na gestão da organização, e
propor mudanças ou ajustes finos no que não cumprir
com o planejado originalmente.

81
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Embora Poister (2003) seja bastante exaustivo em sua


definição do modelo de medição do desempenho a ser
implantado nas organizações públicas, ele chama a atenção
para o fato de que a gestão do desempenho exige flexibilidade,
pois não existe a “forma correta” de realizar essa atividade. A
utilização do sistema é o teste efetivo de seu valor e mérito
(POISTER, 2003). Antes de continuar com a análise mais a fundo
de modelos, vale à pena deter-se num aspecto que Poister (2003)
considera muito importante para a gestão do desempenho: a
criação de um modelo lógico. Modelos lógicos, ensina o autor,
são pressuposições a respeito de como um programa ou uma
organização fornece um bem ou serviço, os clientes ou usuários,
e a forma de usar os recursos. De modo geral, a lógica do
programa ou organização baseia-se em três elementos: recursos,
atividades e resultados, e pode ser descrita conforme a figura 3.

82
MARCELLO B. ZAPPELLINI

Figura 3: Modelo lógico genérico


Fonte: adaptado de Poister, 2003.
Influências externas operam tanto no bloco da relação
recursos – atividades – produtos quanto na percepção do bloco
de resultados iniciais, intermediários e finais. De modo geral,
essas influências externas podem dificultar ou favorecer o
sucesso da organização em gerar produtos ou serviços e
produzir resultados sobre a população beneficiada (POISTER,
2003).

Questões para Reflexão:

Escolha um serviço prestado pela sua organização e


construa o modelo lógico conforme as orientações de Poister.
Não se esqueça de identificar as influências externas sobre o
processo e a percepção dos resultados.

83
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

3.2 MODELO DE COHEN E EIMICKE

Cohen e Eimicke (2002) afirmam que o governo entrou


em crise (no que seguem a visão de Osborne, entre outros) por
não alcançar os resultados que deveria em termos de bem-estar
da população. Para sair dessa situação, eles propõem um
modelo de gestão de organizações públicas baseado na
efetividade, portanto, voltado para resultados que satisfaçam
demandas reais da população. A efetividade na Administração
Pública passa necessariamente pelo desenvolvimento de
espírito empreendedor e inovador, tendo-se sempre em mente
o fato de que as organizações públicas são diferentes das
privadas; além disso, é preciso que os gestores se mostrem
insatisfeitos com o desempenho de suas organizações e desejem
modificá-las, adotando uma filosofia de gestão baseada na
adoção e no teste de métodos alternativos de gestão (COHEN;
EIMICKE, 2002).

O modelo dos autores utiliza-se de três métodos básicos


para garantir a efetividade:
a) Deve-se fazer com que os gestores sejam responsáveis
(accountable) pelo desempenho;
b) Nas agências e órgãos públicos, os gerentes e diretores
devem se responsabilizar por licitações e contratações de

84
MARCELLO B. ZAPPELLINI

acordo com as regras, garantindo que somente os


melhores fornecedores sejam contratados;
c) É preciso garantir poder e capacidade de ação para os
responsáveis pelo controle e pelo cumprimento das leis,
e dar segurança a quem denunciar desvios. Além disso,
servidores corruptos devem ser processados e punidos.

Esses métodos de gestão são genéricos e devem ser


complementados por uma série de atividades e tarefas a serem
cumpridas para que se possa alcançar a efetividade:
I. Em primeiro lugar, é preciso encontrar e contratar bons
funcionários: a gestão efetiva depende de pessoal
adequado às necessidades da organização e interessado
em produzir um desempenho efetivo. Além disso, é
preciso definir formas de se livrar de funcionários e
servidores que não tenham condições de se
comprometer com essa meta. Provavelmente, os
sistemas de gestão e de contratação de pessoal sejam os
maiores entraves ao cumprimento dessa tarefa, mas é
preciso encontrar formas de superá-los. Além disso, o
gestor deverá identificar mecanismos para recompensar
adequadamente o pessoal comprometido com as metas
de desempenho efetivo e encorajar o comportamento
empreendedor;

85
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

II. A segunda tarefa consiste em desenvolver


relacionamentos efetivos de trabalho: toda organização
envolve uma delicada teia de relacionamentos entre
pessoas, que possuem necessidades e interesses distintos
em relação ao trabalho. O gestor efetivo deve avaliar
permanentemente essas necessidades e interesses, e
responder a elas da melhor forma possível, tendo em
mente o adequado cumprimento das tarefas. Abrir
canais de comunicação (e utilizá-los) entre os
funcionários e gestores é uma tarefa importante, pois
permite identificar demandas do staff em relação às
práticas de trabalho. O gestor também deve se assegurar
de manter boas relações com os sindicatos;
III. Em seguida, é preciso estruturar a organização: deve-se
criar e estruturar sistemas administrativos, identificar e
distribuir tarefas entre o pessoal e designar
responsabilidades. Como as atividades da organização
se tornam cada vez mais complexas no mundo
contemporâneo, exigindo trabalho em equipe, esta ação
deve buscar uma estrutura organizacional que divida
adequadamente o trabalho e forneça mecanismos para
coordenar e integrar o trabalho de unidades diferentes
da organização. No entanto, não existe a “estrutura
organizacional correta”, apenas a estrutura adequada

86
MARCELLO B. ZAPPELLINI

para as necessidades da organização específica para a


qual ela foi desenhada; isso significa que os gestores
podem aprender com as experiências de outras
organizações, mas não devem adotar seus modelos
acriticamente. Ao desenhar ou redesenhar a estrutura
organizacional, o gestor deve quebrar padrões
disfuncionais de comportamento organizacional, criar
combinações lógicas de funções para estimular a
eficiência, enfatizar a missão, as metas e os objetivos e
recompensar a excelência. Também é necessário buscar
mecanismos de encorajamento da iniciativa individual e
das equipes, desenvolver mecanismos de delegação de
autoridade e criar formas de transformar projetos em
tarefas gerenciáveis. Uma preocupação que deve
perpassar toda esta atividade é a justiça: as tarefas devem
ser distribuídas justa e razoavelmente entre as pessoas
envolvidas com seu cumprimento; além disso, devem ser
distribuídas a funcionários que efetivamente tenham
condições de desempenhá-las adequadamente;

Questões para Reflexão:

Como a sua organização está estruturada atualmente? Você


consideraria que ela tem condições de gerar o desempenho
efetivo?

87
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

IV. A quarta atividade refere-se às estratégias de inovação:


para os autores, a inovação no setor público refere-se ao
desenvolvimento de novas políticas e padrões de
operação para atender às demandas e solucionar os
problemas de política pública. Diferentes técnicas
podem ser usadas, como o planejamento estratégico, a
reengenharia, a gestão da qualidade total, a gestão de
equipes, o benchmarking, a contratação de empresas
privadas, mas é preciso que essas técnicas estejam
definidas na estratégia da organização. Dessa maneira, o
planejamento estratégico pode ser considerado como um
requisito para garantir o sucesso das demais estratégias.
Novamente, é bom ter em mente que se deve aprender
com as experiências de outras organizações em vez de
copiá-las;
V. Contratação: o uso de contratos entre a organização e o
setor privado representa uma forma de melhorar a
efetividade de um órgão público. No entanto, trata-se de
uma arte que exige uma série de condições para
funcionar adequadamente: entre elas, a accountability por
resultados, a criação de um sistema de incentivos e o
desenvolvimento de habilidades de negociação e
gerenciamento de contratos, buscando sempre garantir
os melhores serviços e os preços justos;

88
MARCELLO B. ZAPPELLINI

VI. A sexta atividade refere-se a obter, organizar e utilizar a


informação: Cohen e Eimicke afirmam que informação é
como água: quando falta, morre-se de sede; quando há
demais, corre-se o risco de morrer afogado. É preciso,
portanto, garantir que tomadores de decisão disponham
da quantidade e da qualidade adequadas de informação
para realizar seu trabalho. Assim, o gestor precisa
determinar as necessidades de informação, definir
métodos de coleta, organizar o fluxo de informações
dentro da organização, controlar e melhorar a descrição,
a síntese e a análise de informações, e manter um esforço
permanente de melhoria dos sistemas de informação;
VII. Em seguida, é preciso dominar o processo orçamentário:
uma organização efetiva deve garantir os recursos
necessários para seu bom funcionamento, distribuí-los
adequadamente entre suas diferentes unidades, e
rastrear os gastos para verificar se a alocação está sendo
seguida à risca. Os esforços de controle são muito
importantes para demonstrar a eficiência da organização
no uso dos recursos alocados, além de demonstrar
preocupação com a accountability;
VIII. Por fim, é preciso moldar metas e estratégias
organizacionais: o gestor efetivo precisa ser capaz de
desenvolver e comunicar uma estratégia operacional
prática, bem como o senso de propósito na realização das
89
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

tarefas. A estratégia é crucial para o sucesso da


organização, como fica nítido na quarta etapa, e, embora
existam muitos modelos para criá-la, em linhas gerais
eles se baseiam na análise de problemas e oportunidades,
identificação de partes interessadas, análise histórica dos
sucessos e fracassos da organização, avaliação da
situação atual e das condições da organização, avaliação
dos impactos de atividades específicas e realização de
ações corretivas necessárias nas atividades, objetivos e
alocação de recursos. A criação de estratégias exige
cuidados especiais na definição do que a organização é
capaz de fazer, bem como o envolvimento das lideranças
organizacionais na sua implementação. Esforços
adicionais devem ser consumidos na sua comunicação,
bem como na avaliação dos esforços (COHEN;
EIMICKE, 2002).

Uma atividade a ser realizada pelo gestor efetivo, mas


que se decidiu tratar à parte por perpassar várias das anteriores,
é o relacionamento com grupos de interesse, com os meios de
comunicação e o Legislativo. Neste caso, a preocupação
desloca-se para o exterior da organização; um gestor efetivo
deve buscar manter o público informado a respeito das ações

90
MARCELLO B. ZAPPELLINI

empreendidas e esclarecer sua importância no atendimento das


necessidades da sociedade (COHEN; EIMICKE, 2002).

Questões para Reflexão:

Como você descreveria a relação entre sua organização e


esses públicos externos? Há dois extremos: a completa
transparência e a “caixa preta”. Pensando no que sua
organização realiza, qual deveria ser a melhor estratégia dentre
esses extremos?

3.3 MODELO DE POPOVICH

Popovich et al. (1998) consideram que uma organização


de alto desempenho possui uma série de características:
a) Clareza em relação à missão organizacional, que é
proposta em termos de uma visão de futuro e chama
atenção para os resultados que ela deve alcançar;
b) Definem seus resultados e focalizam neles, direcionando
seus esforços para alcançar esses resultados dentro da
perspectiva de cumprir sua missão;
c) Utilizam o empowerment em seus empregados, dando-
lhes condições de aprimorar suas habilidades, de se
adaptar a mudanças e de se engajar em aprendizado
contínuo na busca da missão organizacional;

91
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

d) Instituem processos inovadores de motivação para o


pessoal, desenvolvendo um senso de colaboração e
criando abordagens descentralizadas para o atingimento
dos resultados;
e) São flexíveis, possuem elevada capacidade de adaptação
e são ágeis no ajustamento a novas condições ambientais;
f) São competitivas, pois conhecem seu histórico de
desempenho e buscam permanentemente sua superação.
Além disso, as organizações procuram competir com
outras que possuam o mesmo foco na missão
organizacional;
g) Reestruturam processos para melhor atender as
necessidades dos usuários de seus serviços, pois
enfatizam a qualidade, a satisfação do consumidor e os
resultados – inclusive, buscam melhorar seus resultados
por meio de processos que envolvam a participação dos
cidadãos;
h) Utilizam canais de comunicação efetivos com seus
stakeholders, enfatizando sua participação na geração de
novas ideias e de sugestões de melhoria.

Dessas características pode-se extrair um modelo de


gestão voltado para alcançar resultados superiores. Uma
comparação entre os modelos tradicionais e o de alto

92
MARCELLO B. ZAPPELLINI

desempenho é dado pelos autores, a partir de componentes


básicos do design organizacional, conforme a figura 4.

Organização Organização de alto


Componente
tradicional desempenho
Especialização Múltiplas habilidades
Pessoas
Individualismo Trabalho em equipe
Sistemas Centralizados e
Dispersos e abertos
decisórios fechados
Entrevistas de
Processos
emprego realistas
padronizados de
Treinamento
seleção
Sistemas de contínuo
Treinamento de
recursos Pagamento baseado
rotina
humanos no desempenho
Pagamento baseado
Job enrichment
no emprego
Equipes
Empregos repetitivos
autorreguladas
Hierarquias rígidas Hierarquias flexíveis
com vários níveis e achatadas
Estrutura organizacionais Unidades de
Departamentalização negócios
funcional autossuficientes
Promoção de Promoção de
Valores e obediência envolvimento,
cultura Comportamentos inovação e
rotinizados cooperação
Figura 4: Comparação entre as formas organizacionais
Fonte: Resnick e West, apud Popovich et al., 1998, p. 23.

93
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Verifica-se, portanto, que as organizações de alto


desempenho privilegiam as pessoas e buscam criar um
ambiente que promova o crescimento pessoal e o
comprometimento com as metas organizacionais. As estruturas
organizacionais devem ser criadas com o intuito de favorecer a
iniciativa e o comprometimento do pessoal com a obtenção de
resultados.

Questões para Reflexão:

Sua organização está mais próxima do modelo


tradicional ou do de alto desempenho?
Qual dos componentes de design podem ser
considerados pontos fortes de sua organização? Quais
seriam pontos fracos? Por quê?

Para criar organizações de alto desempenho, de acordo


com Popovich et al. (1998), é preciso um conjunto de requisitos:
a) Deve haver uma liderança continuada e sustentável
focalizada no alto desempenho. Os líderes
organizacionais devem ter uma visão de futuro da
organização e comunicá-la aos funcionários;
b) Deve existir capacidade e interesse em produzir medidas
de desempenho, tanto qualitativas quanto quantitativas,

94
MARCELLO B. ZAPPELLINI

preferencialmente por meio da participação de


stakeholders;
c) É preciso que exista empenho para mudar a organização
como um todo, se for necessário, porque muitas vezes as
organizações precisam de mudanças em todos os setores
e dimensões;
d) Finalmente, deve haver a capacidade e o empenho em
alocar recursos para o aprendizado contínuo, integrando
processos de treinamento e educacionais em processos
de produção de bens e serviços.

Questões para Reflexão:

Como você caracterizaria a sua organização em termos


desses requisitos? Qual deles pode ser considerado um ponto
forte de sua organização? Qual seria um ponto fraco? Por quê?

Para os autores, é preciso que esses requisitos sejam


internalizados como atitudes de gestores, líderes
organizacionais e os demais stakeholders. Visto isso, deve-se
abordar as etapas necessárias para que a organização alcance
esse modelo.

95
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

3.3.1 Preparar-se para a mudança

Implantar um processo de mudança organizacional do


porte da gestão para o desempenho exige grandes esforços por
parte dos gestores. É essencial preparar a organização para uma
mudança profunda em seus processos, formas de gestão e
modos de pensamento. Assim, a primeira etapa proposta por
Popovich et al. (1998) refere-se ao pensamento estratégico: é
preciso ter uma visão estratégica da organização e formular um
plano de mudança.

Assim, é preciso tornar-se estratégico, isto é, antecipar


problemas e questões a serem enfrentados, considerar opções
de como lidar com isso, selecionar estratégias e reavaliar e
melhorar continuamente os esforços realizados. Para fazer com
que a organização adote o pensamento estratégico, em primeiro
lugar é preciso realizar algumas atividades: esclarecer o
propósito da mudança, indicando que tipo de organização de
alto desempenho se pretende criar, e por quê; isso será feito
revisando as características desse tipo de organização e
avaliando as forças e fraquezas atuais da organização.

A segunda atividade refere-se à compreensão do


ambiente organizacional, em suas dimensões política,

96
MARCELLO B. ZAPPELLINI

econômica e cultural. Para tanto, deve-se verificar quais são os


elementos ambientais que mais influenciam a forma pela qual a
organização trabalha e opera.

Questões para Reflexão:

Popovich e seus colegas propõem um checklist para fazer


essa análise ambiental, cujas questões seguem abaixo. A

• Quais fatores, tendências e condições terão provavelmente


sugestão é que você a realize em sua organização:

os maiores impactos em sua organização e sua habilidade de

• Quais são as implicações positivas e negativas dessas


cumprir sua missão?

• Quais são os clientes ou usuários do serviço de sua


tendências, fatores e condições para a organização?

• Como o ambiente em que esses clientes e usuários se insere


organização?

• Quão efetiva tem sido sua organização em alcançar os


vem se modificando?

• Quais forças influenciam a habilidade de sua organização


resultados desejados por essas pessoas?

em servir seus clientes ou usuários?

A terceira atividade a ser realizada refere-se à


identificação de stakeholders. As pessoas que dependem dos
serviços prestados pela organização, os funcionários, os líderes
políticos e os responsáveis pela implementação das políticas
públicas serão profundamente afetados por mudanças na forma

97
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

pela qual a organização opera, portanto é crucial analisar quem


são os stakeholders que possuem algum tipo de interesse nas
atividades das organizações, determinando quem pode se
interessar pelo sucesso da organização e identificando, dentre
eles, pessoas que devam se envolver no processo, mobilizando-
lhes o apoio e reduzindo as incertezas em relação às mudanças
que serão empreendidas.
Em seguida, deve-se construir um compromisso com a
mudança. Deve-se mobilizar aliados que possam apoiar as
atividades, divulgar as atividades e engajar os atores
fundamentais, demonstrando o quanto sua opinião é
importante e válida para o processo. Isso deve reduzir as
resistências e barreiras à mudança, difundindo a importância e
a necessidade de transformar a organização em uma de alto
desempenho.

3.3.2 Desenvolver a visão, a missão e os valores

Para Popovich et al. (1998), missão, visão e valores bem


delineados e construídos são essenciais para que se possa tanto
guiar a visão estratégica quando moldar as decisões diárias a
respeito do que a organização faz e como faz. Afinal, a visão, a
missão e os valores focalizam as energias da organização em
torno de metas comuns; em sua ausência, a organização

98
MARCELLO B. ZAPPELLINI

enfrenta uma barreira significativa em termos de sua


capacidade de atingir seu potencial. Para os autores, a chave
para desenvolver adequadamente esses aspectos reside no
envolvimento e na participação de pessoas que tenham algum
tipo de interesse na organização – ou seja, os stakeholders.

Na prática...

Uma pesquisa em sites institucionais de organizações


públicas revela que diversas possuem declarações de missão, de
visão e de valores. Antes de prosseguir a leitura, pesquise
algumas dessas declarações e procure descobrir quais delas
foram desenvolvidas por meio da participação de stakeholders,
se possível.

Em primeiro lugar, deve-se determinar o que Popovich


et al. (1998) entendem por declarações de visão, missão e
valores:
a) Uma declaração de visão descreve o futuro desejado
pela organização, ou seja, reflete as condições e a
qualidade de vida que os stakeholders esperam alcançar,
indicando o que acontecerá para o mundo se a
organização for bem sucedida;
b) A declaração de missão consiste em determinar por que
uma organização existe, e o que ela pretende alcançar,
definindo o que ela pretende contribuir para o mundo;

99
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

c) A declaração de valores indica como a organização e


seus funcionários devem agir, de modo consistente com
a missão e com a forma de atingir a visão. Usualmente
inclui atributos como a integridade, a honestidade, a
colaboração, igualdade de oportunidade,
responsividade, entre outros. Mas, de acordo com os
autores, é preciso tomar cuidado com um aspecto
importante: é mais fácil listar valores do que agir de
acordo com eles! Muitas organizações valorizam a
colaboração entre seus funcionários, mas instituem
bônus especiais por desempenho individual, por
exemplo.

100
MARCELLO B. ZAPPELLINI

Na prática...

• MISSÃO: Atuar de forma segura e rentável, com responsabilidade social e


A Petrobras apresenta as seguintes declarações:

ambiental, nos mercados nacional e internacional, fornecendo produtos e


serviços adequados às necessidades dos clientes e contribuindo para o

• VISÃO: Seremos uma das cinco maiores empresas integradas de energia do


desenvolvimento do país e dos países onde atua.

• VALORES:
mundo e a preferida pelos nossos públicos de interesse.

Desenvolvimento sustentável: perseguimos o sucesso dos negócios com


uma perspectiva de longo prazo, contribuindo para o desenvolvimento
econômico e social e para um meio ambiente saudável nas comunidades onde
atuamos.
Integração: buscamos maximizar a colaboração e a captura de sinergias
entre equipes, áreas e unidades, assegurando a visão integrada da companhia
em nossas ações e decisões.
Resultados: buscamos incessantemente a geração de valor para as partes
interessadas, com foco em disciplina de capital e gestão de custos.
Valorizamos e reconhecemos, de forma diferenciada, pessoas e equipes com
alto desempenho.
Prontidão para mudanças: estamos prontos para mudanças e aceitamos
a responsabilidade de inspirar e criar mudanças positivas.
Empreendedorismo e inovação: cultivamos a superação de desafios e
buscamos incessantemente a geração e implementação de soluções
tecnológicas e de negócios inovadoras que contribuam para o alcance dos
objetivos estratégicos da Petrobras.
Ética e transparência: nossos negócios, ações, compromissos e demais
relações são orientados pelos Princípios Éticos do Sistema Petrobras.
Diversidade humana e cultural: valorizamos a diversidade humana e
cultural nas relações com pessoas e instituições. Garantimos os princípios do
respeito às diferenças, da não discriminação e da igualdade de oportunidades.
Pessoas: fazemos das pessoas e de seu desenvolvimento um diferencial
de desempenho da Petrobras.
Orgulho de ser Petrobras: nós nos orgulhamos de pertencer a uma
empresa brasileira que faz a diferença onde quer que ature, por sua história,
suas conquistas e por sua capacidade de vencer desafios.
FONTE: Petrobras (http://www.petrobras.com.br/pt/quem-somos/estrategia-
corporativa/)

101
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Embora Popovich et al. (1998) não apresentem uma lista


de valores para as organizações de alto desempenho, Sandra J.
Hale (1996) o faz. Para ela, é preciso que as organizações
valorizem o aprendizado (promovendo a inovação, o risco, o
treinamento, a comunicação e a medição dos resultados e do
desempenho no trabalho), possuam uma missão focalizada e
orientada para a satisfação do consumidor ou usuário, busquem
promover uma cultura voltada para a comunidade (e, neste
aspecto, a autora faz referência não à comunidade exterior, mas
ao trabalho em equipe, à participação dos funcionários na
gestão, políticas de recompensa e reconhecimento pelo bom
trabalho e utilizem autoridade flexível, isto é, concedam
autoridade aos funcionários quando for necessário à melhoria
de resultados), e, por fim, busquem produzir uma liderança de
alto desempenho.

Como desenvolver essas declarações? A equipe de


Popovich sugere alguns processos que podem ser úteis para
essa finalidade:
a) Realizar um amplo processo de visualização pública:
trata-se de uma atividade que deve ser empreendida
após se definir metas mensuráveis para a organização.
Deve-se, aqui, realizar atividades como pesquisas junto
ao público, focus groups, audiências públicas, que possam

102
MARCELLO B. ZAPPELLINI

envolver os stakeholders externos no processo de


mudança para uma organização de alto desempenho;
b) Desenvolver declarações internamente: neste caso, se a
organização já possui essas declarações, pode-se
trabalhar em processos de revisão, envolvendo os
stakeholders mais importantes. Deve-se, aqui, oferecer
recursos para que um grupo de trabalho se fixe em
questões chave como:
• Quem somos nós?
• O que fazemos?
• Para quem fazemos?
• Como fazemos?
• Por que fazemos?
Outra forma é realizar uma conferência de pesquisa do
futuro, em que se debatem as principais forças que
afetam a organização, seus sucessos e fracassos e as
esperanças para o futuro; deve-se engajar os stakeholders
principais em exercícios de pequenos e grandes grupos
que, ao final, desenvolverão uma declaração de visão
para a organização.
c) Fazer surgir uma visão a partir dos objetivos
mensuráveis: esta técnica só funciona na hipótese de
existir uma lista de objetivos e metas mensuráveis, bem
como uma declaração de missão.

103
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

É importante que se tenha em mente que essas


declarações não devem se restringir ao mandato de um
governador ou prefeito, por exemplo. É preciso uma visão de
longo prazo para as organizações públicas, afirmam Popovich
e seus colegas (1998). Esforços de comunicação e esclarecimento
dos funcionários e demais stakeholders devem ser empreendidos
constantemente, bem como engajá-los em esforços de mudança
permanente.

3.3.3 Realizar avaliações organizacionais úteis

Nesta etapa, afirmam Popovich et al. (1998), as


organizações devem produzir avaliações quantitativas e
qualitativas a respeito do quanto estão alcançando sua missão e
visão, e o quanto isto é feito com base nos valores
organizacionais. Essas avaliações são feitas pra motivar a
mudança, ajudar a selecionar alvos de oportunidade, ou seja,
áreas e atividades em que se tenha um desempenho elevado ou
abaixo das expectativas, e para monitorar o progresso no
atingimento das metas e objetivos organizacionais. Os autores
tratam de diferentes tipos de avaliação, mas, como será feita
uma exposição deste tema posteriormente, eles não serão
abordados aqui; será feita apenas uma listagem de avaliações
possíveis:

104
MARCELLO B. ZAPPELLINI

a) Avaliações da estrutura e cultura organizacional;


b) Avaliação da satisfação do consumidor ou usuário;
c) Avaliação da satisfação dos funcionários.

Questões para Reflexão:

Sua organização já realizou alguma dessas avaliações? Se o


fez, você participou dela, seja respondendo perguntas ou
construindo a avaliação? Os resultados foram divulgados para
os funcionários?

Essas avaliações podem ser complementadas por uma


estimativa das necessidades de mudança. Neste caso, deve-se
deixar a segurança dos stakeholders imediatos da organização e
trabalhar com outras organizações, verificando de que forma
elas operam. Para realizar a avaliação das necessidades de
mudança, pode-se trabalhar com técnicas como melhores
práticas e benchmarking, que permitem identificar qual é a
melhor organização em determinado processo, e a partir disso
fazer comparações. Para usar a técnica, deve-se, em primeiro
lugar, identificar um alvo (um processo organizacional) que se
deseja realizar benchmark; em seguida, deve-se documentar os
esforços atualmente realizados pela organização neste processo,
para, posteriormente, identificar o melhor exemplo. Tendo isso
em mãos, os gestores devem especificar as necessidades de
dados e os métodos para coletá-los, e realizar uma pesquisa
105
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

junto à organização que possui a melhor prática. Por fim, deve-


se analisar os dados obtidos e verificar se, de fato, a organização
benchmark realmente está fazendo melhor.

Questões para Reflexão:

O que sua organização (qual processo) faz tão bem que


poderia ser objeto de benchmarking por parte de outras
organizações? E qual processo exige essa atividade
urgentemente?

Além disso, é possível usar os critérios de qualidade, que,


nos Estados Unidos, são exemplificados pelo prêmio Malcolm
Baldridge, e, no Brasil, são definidos pela Fundação Nacional
da Qualidade (critérios de excelência). Esses critérios podem ser
usados para conduzir uma avaliação da situação atual da
organização e verificar o que precisa ser modificado.
Entretanto, observam os autores, é preciso manter o foco na
missão da organização; os critérios são importantes somente
neste contexto.

Portanto, a aplicação de critérios de qualidade ou de


excelência na gestão de resultados deve ser feita
cuidadosamente, tendo-se em mente que foram desenvolvidos
como instruções genéricas de gestão. Os critérios podem ser
106
MARCELLO B. ZAPPELLINI

muito úteis para comparações entre as organizações, mas não


necessariamente refletem a realidade específica de um órgão
público, portanto. Dessa maneira, é preciso que se faça uma
avaliação da estratégia de gestão da organização antes de tomar
qualquer decisão de aplicá-los.

O quadro “Na Prática”, a seguir, apresenta os critérios de


excelência defendidos pela Fundação Nacional de Qualidade.

Por fim, pode-se avaliar componentes e elementos do


design organizacional, como os recursos e as políticas das
organizações, sua tecnologia, a estratégia, o ambiente de tarefa,
os produtos e resultados, a estrutura organizacional e as normas
e valores da organização.

107
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Na prática...
A Fundação Nacional da Qualidade trabalha com 8 critérios de excelência:
1. Liderança: este Critério aborda os processos gerenciais relativos à orientação
filosófica da organização e controle externo sobre sua direção; ao engajamento,
pelas lideranças, das pessoas e partes interessadas na sua causa; e ao controle de
resultados pela direção.
2. Estratégias e Planos: este Critério aborda os processos gerenciais relativos
à concepção e à execução das estratégias, inclusive aqueles referentes ao
estabelecimento de metas e à definição e ao acompanhamento de planos
necessários para o êxito das estratégias.
3. Clientes: este Critério aborda os processos gerenciais relativos ao tratamento
de informações de clientes e mercado e à comunicação com o mercado e clientes
atuais e potenciais.
4. Sociedade: este Critério aborda os processos gerenciais relativos ao respeito e
tratamento das demandas da sociedade e do meio ambiente e ao desenvolvimento
social das comunidades mais influenciadas pela organização.
5. Informações e Conhecimento: este Critério aborda os processos gerenciais
relativos ao tratamento organizado da demanda por informações na organização
e ao desenvolvimento controlado dos ativos intangíveis geradores de diferenciais
competitivos, especialmente os de conhecimento.
6. Pessoas: este Critério aborda os processos gerenciais relativos à configuração
de equipes de alto desempenho, ao desenvolvimento de competências das pessoas
e à manutenção do seu bem-estar.
7. Processos: este Critério aborda os processos gerenciais relativos aos processos
principais do negócio e aos de apoio, tratando separadamente os relativos a
fornecedores e os econômico-financeiros.
8. Resultados: este Critério aborda os resultados da organização na forma de
séries históricas e acompanhados de referenciais comparativos pertinentes, para
avaliar o nível alcançado, e de níveis de desempenho associados aos principais
requisitos de partes interessadas, para verificar o atendimento.

Fonte: Fundação Nacional da Qualidade – endereço eletrônico:


http://www.fnq.org.br/site/402/default.aspx

108
MARCELLO B. ZAPPELLINI

3.3.4 Desenhar um plano para a mudança orientado para


resultados

A última atividade na metodologia dos autores diz


respeito a construir um plano de mudança baseado nos
resultados. O primeiro aspecto defendido por eles diz respeito
a construir uma estrutura de accountability, que definem como a
“[...] responsabilidade aceita por cada pessoa, tanto
individualmente quanto como parte de uma equipe, em atingir
resultados.” (POPOVICH et al., 1998, p. 89). Para eles, essa
responsabilidade compartilhada por resultados é a cola que
mantém a organização unida, bem como oferece motivos de
celebração quando algum objetivo é atingido, bem como
oportunidades para fazer correções quando não é. Os autores
consideram que sua visão da accountability é diferenciada, pois
não está focada nos procedimentos e sim nos resultados.

Para que o planejamento funcione, na visão da equipe de


Popovich (1998), é preciso criar uma estrutura de planejamento,
e esta deve ser o mais inclusiva possível: o plano deve ser de
todos os que possuem alguma autoridade para empreender a
mudança – e isso inclui os funcionários responsáveis por prestar
o serviço. Além disso, é preciso definir os resultados que devem
ser alcançados, pois estes são o fundamento da visão de

109
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

accountability defendida pelo autor. Para tanto, é necessário


escolher resultados mensuráveis.

Na prática...

Os autores apresentam alguns exemplos de objetivos


mensuráveis do governo do estado do Oregon, dentre os quais:
“no ano de 2000, a percentagem de famílias vivendo em
situação de pobreza será reduzida da taxa atual de 13% para
8%”. Em comparação, o planejamento estratégico da
FIOCRUZ para 2011 – 2014 apresenta objetivos como:
“Fortalecer a educação e o ensino em saúde” – como mensurar
o grau de atingimento desse objetivo?

Aproveitando a oportunidade...

Questões para Reflexão:

Se sua organização possui objetivos estratégicos para seus


resultados, qual dos dois modelos é seguido?

Deve-se, a seguir, definir medidas de desempenho, pois


nem sempre esses objetivos estratégicos são alcançados em sua
plenitude (e, em muitos casos, por problemas alheios à
organização), e é preciso ter medidas que apresentem o
progresso no seu atingimento para indicar o que precisa de
atenção urgente. Deve-se ter bem claro que essas medidas de
desempenho não se referem à carga de trabalho ou aos recursos
110
MARCELLO B. ZAPPELLINI

utilizados, como o número de policiais disponíveis por mil


habitantes. Elas devem se referir aos resultados produzidos
pela organização.

O processo de planejamento para resultados possui


efeitos em toda a organização, portanto, é preciso dedicar
atenção para mudanças na política, nos processos e na cultura
da organização. Essas mudanças devem ser produzidas com
base em um novo paradigma, baseado na participação dos
stakeholders e na abertura de canais de comunicação que
permitam compreender melhor os processos de trabalho e as
necessidades de mudança. Ademais, é interessante focar a
produtividade de toda a organização, e não de setores
específicos. Outras recomendações dadas pelos autores
incluem:
a) Reduzir as regras e seu conteúdo ao mínimo possível,
para abrir espaço para o arbítrio e a participação do
pessoal;
b) Criar uma cultura de resolução dos problemas à medida
que surgem;
c) Direcionar o fluxo de informação para o ponto em que
ações diretas podem ser empreendidas (isso é bastante
importante: normalmente as informações “sobem a
pirâmide” para encontrar alguém com capacidade
decisória e depois “descem” para aqueles que
111
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

efetivamente irão agir), aumentando dessa maneira a


capacidade dos funcionários em tomar e implementar
decisões;
d) Criar sistemas de apoio ao trabalho baseados em
resultados e no alto desempenho;
e) Adotar, como um dos valores centrais da organização, a
perspectiva da qualidade de vida no trabalho
(POPOVICH et al., 1998).

Nessas recomendações, os autores são categóricos: deve-


se aprender com as práticas do setor privado. Evidentemente,
não se pode levar essa ideia adiante sem considerar as
diferenças cruciais entre os dois setores, mas as práticas de
processos que não conflitam com as exigências legais podem ser
adaptadas e incorporadas à “caixa de ferramentas” do gestor
público. A lição que pode ser tirada dessa sugestão é: manter a
mente aberta e receptiva a práticas que possam ser adaptadas à
realidade da gestão pública sem ferir os princípios
constitucionais da Administração Pública nem desrespeitar
objetivos sociais e políticos de sua ação, como a promoção de
maior equidade e democracia na sociedade.

A cultura organizacional, definida por Popovich e seus


colegas (1998) como a soma de formas de operar e trabalhar

112
MARCELLO B. ZAPPELLINI

junto, refletida em seus valores, deve ser mudada se o objetivo


da organização é criar condições para o desempenho elevado.
Para tanto, existem diferentes formas, dentre as quais pode-se
citar a focalização da organização no desempenho a partir da
visão e dos benchmarks, esclarecer melhor os valores
organizacionais e revisar os processos operacionais a partir
destes, e mudar a forma pela qual o trabalho é organizado.

Questões para Reflexão:

Na sua visão, a cultura de sua organização está voltada para


o desempenho elevado? Seria possível modificá-la rapidamente
para incorporar os valores de uma organização de alto
desempenho? Como?

Na etapa seguinte, recomenda-se adotar estratégias de


mudança. Os autores citam a gestão da qualidade total, a
reengenharia, a contratação do setor privado, fomento da
competição e a mudança orientada por princípios como opções
estratégicas que podem conduzir a organização pública ao alto
desempenho.

113
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Na prática...

Uma estratégia que não é citada pelos autores, mas foi


aplicada no governo de Minas Gerais no seu “choque de
gestão” é o acordo de resultados, em que as organizações
públicas celebravam com a Secretaria de Planejamento, gestora
do choque, contratos de resultados a serem alcançados, em
troca de maior autonomia.
Diferentemente da contratação de resultados de Popovich et
al., que prevê acordos entre o setor público e o privado para
garantir o desempenho, a estratégia mineira trabalha com a
perspectiva de acordar resultados entre o governo estadual e as

• Fixação de metas de desempenho específicas para cada


agências e organizações públicas. Os objetivos do acordo são:

organização de acordo com as políticas públicas e os

• Aumento da oferta e melhoria da qualidade dos serviços


programas do governo;

• Aperfeiçoamento do controle e acompanhamento dos


prestados à população;

• Aumento da transparência e do controle social das ações


resultados da gestão pública;

públicas por meio da divulgação dos termos do acordo e dos

• Racionalização de gastos com custeio administrativo para


resultados obtidos;

• Estímulo e valorização do servidor público por meio de


garantir maior aplicação nas atividades finais de cada órgão;

programas de capacitação, profissionalização e valorização

• Estímulo ao desenvolvimento e instituição de sistemas de


das funções;

avaliação individual de desempenho dos servidores.


FONTE: Duarte et al., 2006.
114
MARCELLO B. ZAPPELLINI

Em seguida, deve-se implementar o plano. A


implementação do plano começa com a definição e a operação
de um sistema de gestão do desempenho, baseado em
protocolos de coleta de dados, pesquisa e coleta de informações
após o plano de mudança ter sido aprovado, teste do sistema e
relatórios de resultados. Em seguida, é preciso desenvolver
uma estratégia de comunicação com base na definição do
público que deverá receber informações sobre o plano,
modelando-a de acordo com as formas de comunicação e as
necessidades específicas de cada tipo de público. Por fim, deve-
se empreender esforço contínuo de avaliação e melhoria do
processo.

3.4 MODELO DE EPSTEIN, COATES, WRAIN E SWAIN

Epstein e seus colegas (2006) afirmam que é fundamental


que uma organização se estruture para medir seu desempenho
e gerenciar seus resultados. Como mencionado anteriormente,
o modelo dos autores é voltado para a participação e o
engajamento dos cidadãos no processo de obter os resultados
mais importantes, pois todo o processo de produção de bens e
serviços por parte da gestão pública deve estar voltado para a
melhoria das comunidades. Para eles, a governança pública não
se restringe apenas aos esforços governamentais, devendo

115
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

abranger o papel das comunidades em empreender ações


significativas para melhoria e mudança da sociedade.
Epstein e sua equipe definem um modelo (por eles
denominado Modelo de Governança Efetiva da Comunidade)
baseado em três elementos básicos, quais sejam, engajar
cidadãos, mensurar resultados e “fazer as coisas” (getting things
done). Para eles, é um ponto pacífico que as comunidades
tenham seu bem estar afetado tanto por decisões e ações
privadas quanto públicas, por isso o elemento do fazer envolve
ações tanto no setor público quanto no privado. Os três
elementos podem ser descritos como:
a) Engajar cidadãos significa dar-lhes oportunidades
efetivas de fazer a diferença, influenciando as decisões e
ações que afetem uma comunidade. É preciso envolver
os cidadãos no diálogo a respeito do que é mais desejável
para a comunidade e quais são as melhores formas de
atingir os resultados neste sentido. É possível
desempenhar esta atividade por meio de cinco papéis
realizados pelos cidadãos: stakeholders, advocates,
formadores de agendas, avaliadores e colaboradores;
b) Medir resultados consiste em definir indicadores
mensuráveis tanto das condições da comunidade como
um todo quanto dos resultados dos serviços fornecidos,
tanto para a sociedade em geral, quanto para grupos-

116
MARCELLO B. ZAPPELLINI

alvo específicos. Neste elemento, é crucial que as


atividades de coleta e análise de informações sejam
efetivas. Neste aspecto específico, o modelo dos autores
envolve algumas atividades:
I. Em primeiro lugar, é preciso determinar quais são
os resultados mais importantes a serem
alcançados pela organização. Ou seja, adaptando-
se essa ideia ao modelo de Popovich et al. (1998),
deve-se ter em mente a missão, a visão e os valores
da organização para ajudar a definir os resultados
mais importantes, pois estes servem ao propósito
da organização, e desenvolver mecanismos para
medição dos mesmos;

Na prática...

Cabe à Polícia garantir a segurança dos cidadãos e de suas


propriedades. No entanto, em áreas pobres dominadas pelo
tráfico de drogas isso não ocorre: não há patrulhamento
ostensivo das ruas, nem prisões de meliantes. Um processo de
gestão de resultados que utilize o modelo de Epstein, se
implantado na Polícia Militar deve necessariamente incluir a
melhoria da segurança dessas áreas como um de seus objetivos
mais importantes.

II. Em seguida, é preciso assegurar que a gestão para


os resultados seja parte de um ciclo de feedback
117
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

para o desempenho. É fundamental que os dados


de medição de resultados realimentem o processo
administrativo por meio do processo decisório,
auxiliando dessa forma a melhoria contínua dos
resultados. Naturalmente, é muito importante
cuidar da implementação das decisões, sem a qual
o processo não será eficaz;
III. O terceiro aspecto defendido pelos autores diz
respeito a desenvolver accountability pelos
resultados. Muitas vezes, os gestores públicos se
queixam de falta de mecanismos de controle e
autoridade sobre os resultados que devem
produzir. Para modificar esse quadro, é preciso
conscientizá-los de que os resultados podem ser
melhorados se houver a percepção de que podem
ser alcançados – deve-se deixar claro para os
gestores públicos que a organização pública
possui condições de atingir melhores resultados
se o foco for deslocado dos recursos ou inputs
consumidos no processo para os resultados

Questões para Reflexão:

Como está sua organização no que diz respeito a essas


atividades? Alguma delas é uma prática comum nela?
118
MARCELLO B. ZAPPELLINI

alcançados. Além disso, é preciso criar diferentes


níveis de accountability pelos resultados, uma vez
que nem todos os gestores possuem recursos na
mesma quantidade, tampouco autoridade para
flexibilizar e modificar processos.

c) “Fazer as coisas” diz respeito a conseguir com que


organizações públicas e privadas desempenhem
atividades, formulem planos e tomem decisões que
afetem as condições da comunidade, provendo serviços,
regulando e/ou subsidiando ações necessárias para
atingir resultados importantes para a comunidade.

Para os autores, é crucial que o modelo seja aplicado


“incansavelmente”: a busca por melhores resultados nas
organizações públicas deve ser permanente, e o design
organizacional, quando possível, deve ser modificado para
favorecer esse objetivo. Além disso, é importante que as
decisões de investimento dos governos e das organizações
públicas passem a considerar políticas que ajudem no
atingimento dos resultados: a alocação de recursos precisa
considerar os resultados a serem alcançados pelas organizações
para indicar comprometimento governamental com essa
política. Os esforços de mensuração e avaliação de resultados
desempenham um papel bastante importante neste aspecto.
119
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Por fim, é preciso destacar que a estratégia de resultados


deve ser de longo prazo, sustentada por uma política de
aprendizado contínuo. Como as organizações mudam ao longo
do tempo, é preciso tornar o aprendizado, a mudança e a
melhoria de resultados um valor organizacional (EPSTEIN et
al., 2006).

QUESTÕES PARA FIXAÇÃO E APROFUNDAMENTO DO


CONTEÚDO

1. Em algumas organizações, a declaração de missão mais


parece ser a de visão, na concepção trabalhada neste
capítulo, e vice-versa. Pesquise declarações em
organizações públicas e verifique se esse problema
ocorre com elas.
2. Desenvolva o modelo lógico para o serviço de varrição
de ruas.
3. Quais são os aspectos comuns entre os modelos
estudados? Explique as semelhanças.
4. Por que é tão importante ter um sistema de mensuração
do desempenho na gestão de resultados? Explique.
5. “Na gestão de resultados, é preciso antes de tudo o mais
mudar a cultura da organização”. Essa frase, repetida

120
MARCELLO B. ZAPPELLINI

por vários estudiosos, encerra um desafio: como mudar


culturas? Pesquise propostas e métodos para mudança
da cultura organizacional e verifique sua relação com os
modelos de gestão aqui descritos.

121
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

4 COMO MEDIR O RESULTADO DE UMA ATIVIDADE?


PRINCÍPIOS PARA O ESTABELECIMENTO DE
INDICADORES

A medição de resultados por meio de indicadores é uma


prática disseminada no setor público: por exemplo, os governos
estão sempre utilizando indicadores como a taxa de inflação, o
crescimento do Produto Interno Bruto (PIB), o Índice de
Desenvolvimento Humano (IDH), bem como indicadores
associados à gestão dos recursos que a população lhes
disponibiliza (ASSIS, 2005).

Três critérios básicos que podem ser usados para avaliar


resultados já foram definidos: eficiência, eficácia e efetividade.
No entanto, esses não são as únicas formas de avaliar, nem
tampouco se pode obtê-los diretamente das informações. Além
disso, vários autores, como Hatry (1996) chamam a atenção para
a necessidade de se trabalhar com diferentes itens
simultaneamente, pois fixar-se num só não permite avaliar a
qualidade dos serviços. Para isso, precisa-se de indicadores, e é
para o seu conceito que se irá dedicar atenção agora.

Para ter clareza em relação à importância dos


indicadores, deve-se ter em mente que são a base de sistemas

122
MARCELLO B. ZAPPELLINI

de medição de desempenho, e estes, por sua vez, são


importantes por diversas razões. Poister (2003) lista uma série
de usos para os sistemas de mensuração de desempenho:
acompanhamento e relatórios de atividades, planejamento
estratégico, gestão financeira e orçamentária, avaliação,
gerenciamento de programas, gestão do desempenho, melhoria
da qualidade e dos processos, gestão de contratos, benchmarking
externo e comunicação com o público.

4.1 CONCEITO DE INDICADOR

Scriven (1991) define indicadores simplesmente como


fatores, variáveis ou observações que podem ser empiricamente
relacionados a algum critério. Marino (2003) afirma que os
indicadores são elementos concretos que indicam o quanto a
organização foi bem sucedida ou fracassou em alcançar os
objetivos esperados. Cohen e Franco (2007) definem o indicador
como a unidade que, numa avaliação, permite mensurar o grau
em que um objetivo específico foi alcançado. Estes autores
dividem os indicadores em duas classes:
a) Diretos: traduzem o atingimento de um objetivo por
meio de uma relação lógica (COHEN; FRANCO, 2007).
Por exemplo, a companhia de saneamento deseja
aumentar o número de habitantes de um município que
tem acesso a água e esgoto tratados. Um indicador direto
123
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

seria a variação no número de domicílios atendidos


durante o período de referência;
b) Indiretos: são indicadores que precisam ser construídos
por meio de uma análise dos conceitos científicos (e suas
variáveis) envolvidos no programa (COHEN; FRANCO,
2007). Por exemplo, uma campanha que busque
aumentar a participação política pode ser avaliada pelo
indicador “variação no número de participantes em
reuniões para discussão do Plano Diretor”. Embora haja
uma relação probabilística entre esse indicador e o
aumento da participação, não se pode afirmar que haja
relação direta, pois muitas pessoas podem simplesmente
fazer-se presentes às reuniões sem participar.

Questões para Reflexão:

Formule um indicador direto e um indireto para avaliar um


serviço prestado por sua organização, e detalhe as relações entre
o indicador e o objeto de sua medição.

Para Hatry (1996) os indicadores devem ser capazes de


mensurar resultados intermediários e finais: alguns serviços
produzem resultados imediatamente após sua prestação,
enquanto que outros demoram algum tempo para se

124
MARCELLO B. ZAPPELLINI

materializar. Usar um mesmo indicador para esses efeitos pode


ser um erro.

Na prática...

Quando a polícia do Rio de Janeiro começou a implantar as


Unidades de Polícia Pacificadora (UPPs) em favelas
dominadas pelo narcotráfico, um efeito imediato foi a
diminuição no número de crimes como venda de drogas e
assassinato de traficantes rivais nas áreas pacificadas. Estes
podem ser considerados como indicadores de resultado
intermediário, mas somente uma redução na taxa de
criminalidade como um todo seriam um indicador de resultado
final.

Embora normalmente os autores trabalhem a noção de


indicadores quantitativos, Trosa (2001) reconhece a existência e
a importância dos indicadores qualitativos. Para ela, estes se
referem à satisfação dos usuários – ou seja, embora possam ser
expressos numericamente, dizem respeito a percepções
pessoais sobre o uso de um serviço. Ambos, de acordo com a
autora, são igualmente importantes e deve-se fazê-los dialogar
para se ter uma visão mais completa da realidade do produto
ou serviço, ou dos processos organizacionais. Não se deve,
entretanto, confundi-los. Pode-se afirmar que os indicadores
qualitativos se destinam a trabalhar com aspectos que não
podem ser mensurados adequadamente, como a satisfação do

125
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

usuário com o serviço ou do funcionário com o seu emprego;


mesmo que essas noções sejam expressadas em graus ou
valores, ainda assim permanece a dificuldade de compará-las.

Paladini (2002) afirma que um indicador se estrutura em três


componentes básicos:
a) Elemento: consiste no contexto, situação, assunto ou
natureza que caracteriza o indicador. Por exemplo,
consumidores do serviço;
b) Fator: é a combinação de componentes no mesmo
contexto, a relação entre duas ou mais variáveis,
determinando dessa maneira o que será considerado na
avaliação. Por exemplo, pessoal alocado para
atendimento ao consumidor [fator 1] por unidade
organizacional [fator 2];
c) Medida: refere-se à unidade de mensuração dos fatores.
Deve-se escolher a medida mais adequada (por exemplo,
unidades do produto, número de pessoas) para medir a
variação dos fatores. Seguindo-se o exemplo dos
componentes acima, a medida pode ser o número de
funcionários alocados para o atendimento ao
consumidor.

126
MARCELLO B. ZAPPELLINI

Questões para Reflexão:

Pense em algum serviço prestado por sua organização, e


formule indicadores para medir os resultados do mesmo,
definindo o elemento, os fatores e a medida. Tente fazer esse
exercício para um indicador quantitativo e para um qualitativo.

Uma questão muito importante no uso dos indicadores


diz respeito à sua validade. De acordo com Poister (2003), a
validade é uma propriedade do indicador que se refere à
propriedade do mesmo em refletir diretamente e representar a
dimensão de desempenho para a qual ele foi formulado. Ou
seja, indicadores devem estar diretamente relacionados com
dimensões específicas de desempenho e devem ser confiáveis,
demonstrando eficazmente os progressos na realização de
atividades e geração de resultados. Além da questão da
validade, é importante que os indicadores apresentem
sensibilidade; de acordo com Januzzi (2006), trata-se da
capacidade de um indicador em refletir as mudanças que
porventura tenham ocorrido na realidade social para a qual eles
foram formulados.

127
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

4.2 COMO ELABORAR INDICADORES?

Para Marino (2003), todo projeto de avaliação deve


começar com a definição de perguntas orientadoras, que são
questões que norteiam a forma pela qual uma avaliação será
feita e o que ela pretende alcançar. A definição dos indicadores
representa, de acordo com o autor, mais um passo no sentido
de tornar concreta a intenção de fazer algo que existe somente
no mundo das ideias.
Para Trosa (2001), existem alguns fatores que conduzem
ao sucesso no uso dos indicadores na gestão pública:
a) Em primeiro lugar, deve-se evitar sobrecargas: um
grande número de indicadores pouco contribui para os
resultados organizacionais;
b) O segundo fator refere-se à simplicidade: deve-se usar
mecanismos simples para calcular os indicadores,
evitando-se o uso excessivo de informações e as
sobreposições;
c) Por fim, deve-se trabalhar com o uso: os gestores devem
utilizar os indicadores para melhorar seu trabalho. Isso
significa que os indicadores devem ser apresentados,
analisados e discutidos pela equipe e depois devem ser
transformados em ações.

128
MARCELLO B. ZAPPELLINI

Para a autora, o caminho lógico para elaborar


indicadores pode ser encontrado no projeto do serviço, e pode
ser compreendido conforme a figura 5.

Figura 5: Dos objetivos aos indicadores qualitativos


Fonte: Trosa, 2001.

Inicialmente, deve-se esclarecer os objetivos que devem


ser atingidos; em seguida, analisa-se as estratégias de execução
dos programas e atividades da organização. A terceira etapa
refere-se a identificar os fatores de êxito ou sucesso das
atividades. A seguir, é preciso relacionar os indicadores
quantitativos já existentes que ajudam a compreender os
resultados da organização. A etapa subseqüente consiste em
decidir quais in dicadores quantitativos podem ser usados para
demonstrar a taxa de melhoria do serviço ou programa, ou seja,
deve-se relacionar os indicadores aos objetivos. Por fim, é
preciso verificar quais são os indicadores qualitativos que serão
129
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

utilizados para dar uma ideia do que está sendo feito, e como
isso está sendo visto pelos stakeholders.

Mas, embora a noção de Trosa seja praticamente


intuitiva, ela não esclarece adequadamente como os indicadores
podem ser formulados. Embora existam muitas metodologias
diferentes para elaborar indicadores, optou-se por apresentar
aqui a criada pela World Wide Foundation (WWF), que é
bastante simples e pode ser aplicada a diferentes situações. Em
primeiro lugar, para a WWF (2007), os indicadores são sinais, e
se destinam a simplificar, medir e comunicar acontecimentos
complexos ou tendências, que ajudam a entender o que está
acontecendo e julgar se a organização, a equipe ou a pessoa está
avançando no atingimento de seus objetivos ou não. A
organização é categórica: bons indicadores são provenientes de
um processo, e não dos livros; ou seja, os bons indicadores são
feitos para a realidade à qual se aplicam, não existindo
indicadores universais, aplicados em todas as situações.

O processo de criação de um sistema de indicadores


descrito pela WWF se divide em seis etapas:
a) Conscientização: a primeira etapa consiste em
conscientizar as pessoas a respeito da importância da
atividade para a qual se está formulando o conjunto de

130
MARCELLO B. ZAPPELLINI

indicadores. Nesta etapa também se deve preparar o


planejamento das demais fases do processo, recrutar
serviços para a formulação dos indicadores, determinar
o público que se deseja atingir, definir o tempo, os
recursos e a equipe necessários para realiza a atividade;
b) Decisão: é preciso definir os assuntos que sejam os
objetos de maior preocupação e interesse, e obter acordo
sobre eles. O envolvimento dos stakeholders é muito
importante para garantir que se terá apoio para utilizar
os indicadores em ações de mudança na organização;
c) Seleção: nesta etapa, a partir da listagem de assuntos de
interesse comum, busca-se identificar ideias e critérios
para cada um e listar os indicadores mais significativos;
d) Coleta: neste caso, deve-se utilizar todas as informações
relevantes disponíveis nas diferentes fontes de dados
para calcular os indicadores;
e) Comunicação: esta etapa se refere à forma de comunicar
os indicadores calculados para a audiência que deve usá-
los de maneira criativa e inteligível. Deve-se ter em
mente que os indicadores precisam ser compreensíveis e
fáceis de utilizar;
f) Galvanização e revisão: por fim, é preciso envolver,
convencer e estimular as pessoas a seguir em frente. Os
indicadores devem ser fontes de motivação, por isso
deve-se buscar comunicá-los às diferentes audiências e
131
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

públicos da melhor forma possível. Nesta etapa, também


pode ser necessário revisar, refinar e adaptar os
indicadores para garantir seu uso no longo prazo (WW,
2007).

Uma palavra final sobre a metodologia da WWF: deve-


se manter o sistema o mais simples possível. Somente por
meio da simplicidade se consegue garantir que os indicadores
cumpram sua tarefa, ou seja, ajudar a compreender a realidade
e a posição da organização nesse contexto.

Outro modelo pode ser obtido em Santos et al. (2006),


que lidaram com a gestão de organizações sociais e
apresentaram uma interessante descrição de como criar um
sistema de indicadores. Para os autores, é preciso realizar uma
série de etapas:
a) Em primeiro lugar, deve-se definir as dimensões a serem
avaliadas, formulando conceitos para cada uma delas e
descrevendo variáveis que possam ser observadas;
b) Em seguida, é preciso descrever indicadores para cada
dimensão. Para tanto, deve-se formular as questões que
devem ser respondidas pelo indicador e as premissas
que sustentam os conceitos adotados

132
MARCELLO B. ZAPPELLINI

c) A terceira etapa consiste em selecionar os indicadores


necessários para se ter uma visão consistente de como a
dimensão está evoluindo. Parâmetros de cálculo devem
ser definidos e uma pontuação ou ponderação para cada
indicador específico no sistema geral deve ser elaborada;
d) Após essas etapas, deve-se coletar os dados, calcular os
indicadores e definir um plano de análise dos resultados.

Por fim, pode-se apresentar a metodologia de Armani (2006)


para elaborar indicadores. Para este autor, eles podem ser
comparados a “réguas” que ajudam a medir, avaliar ou
demonstrar as variações em dimensões relevantes da realidade,
pois operacionalizam conceitos e permitem captar fenômenos
sociais de maneira mais clara e direta. Para formular
indicadores, em primeiro lugar é preciso estabelecer um
conceito. Ou seja, é preciso definir e delimitar a realidade que
se pretende estudar. Por exemplo, se o conceito é “atendimento
do paciente” em um programa de saúde, deve-se identificar o
que se quer dizer com atender um paciente.

133
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Na prática...

No estudo de caso realizado por Santos et al. (2006),


definiram-se várias dimensões de gestão para as organizações
sociais, dentre elas o processo decisório. Uma das questões que

• Os gestores da OS tem capacitação técnica e


se procurou responder era:

experiência prévia em gestão e os conselheiros foram


eleitos para o cargo, e sua atuação é reconhecida pelo
conjunto de trabalhadores da organização?
A premissa era a de que “um perfil desejável de gestor
contempla capacitação técnica e experiência prévia como
requisitos desejáveis para lhe conferir legitimidade técnica e
política para decidir. A legitimidade política é conferida pela
condução via eletiva aos cargos e pelo exercício efetivo da
liderança.”
Um dos indicadores criados pela equipe é definido como
“indicador de existência constatada”, e é descrito pelo % de
atendimento pelos gestores de requisitos para exercício da
função gerencial, quais sejam, treinamento na área de
administração e gestão, e experiência prévia em gestão. Sua
fórmula de cálculo é: (Nº de gestores que preenchem os dois
requisitos/Total de gestores)x100.
A premissa por trás desse indicador era que a capacitação
específica e a experiência prévia na gestão são requisitos
desejáveis de legitimidade técnica do gestor e aumentam a
capacidade decisória da organização.

134
MARCELLO B. ZAPPELLINI

O momento subsequente refere-se a identificar as


dimensões mais relevantes e fundamentais do fenômeno
estudado, ou seja, definir variáveis (isto é, grandezas que
sofram algum tipo de modificação ao longo de um período). Por
exemplo, na questão do atendimento do paciente, pode-se
pensar em termos de tempo de espera para ser atendido,
duração da consulta, atenção dada ao paciente durante a
anamnese, e assim por diante. Em seguida, deve-se verificar
quais são as formas mais adequadas para medir as variações
(ARMANI, 2006). No caso do tempo de espera, cronometrar o
tempo entre a chegada do paciente e seu efetivo atendimento
permite verificar adequadamente a variação dessa dimensão.
Essa progressão pode ser visualizada na Figura 6.

Figura 6: Como chegar a indicadores


Fonte: Armani, 2006.

Em termos práticos, pode-se listar um checklist de


questões a serem respondidas:
• Para quê? Define-se a variável que se pretende avaliar;
• O quê? Indica-se, em termos concretos, o que se vai
avaliar;
135
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

• Quanto? Deve-se prever e quantificar a variação


esperada;
• Quem? Identifica-se um grupo de referência;
• Quando? Refere-se a determinar quando se começa a
avaliar a variável e por quanto tempo isso será feito;
• Onde? Base geográfica de referência;
• Como? Consiste em indicar meios de verificação de
dados (ARMANI, 2006).

Na prática...

Pode-se aplicar o checklist acima para o caso do tempo de

• Para quê? Qualidade no atendimento aos pacientes no


espera pelo atendimento no posto de saúde:

• O quê? Tempo de espera para ser atendido;


posto de saúde;

• Quanto? Pretende-se reduzir o tempo de espera pelo

• Quem? Usuários do serviço de clínica geral do posto de


atendimento dos atuais 55 minutos para 15 minutos;

• Quando? A medição do tempo de espera iniciar-se-á após o


saúde;

término das reformas no posto de saúde e será feita

• Onde? Postos de Saúde da Prefeitura Municipal;


permanentemente, com dados consolidados em bases mensais;

• Como? Consulta ao controle de emissão de senhas para


atendimento e anotações dos clínicos gerais envolvidos no
atendimento da população.

136
MARCELLO B. ZAPPELLINI

Após definir os indicadores, deve-se testar sua


viabilidade (ou seja, quanto o indicador demanda em termos de
tempo e recursos para ser verificado) e sua validade, isto é, a
capacidade do indicador em demonstra que o objeto de
avaliação é efetivamente fruto do projeto (ARMANI, 2006) ou
ação de intervenção na realidade.

Questões para Reflexão:

Utilize a metodologia de Armani para formular um


indicador de resultado para um serviço prestado por sua
organização, e discuta se é válido ou viável.

4.3 ONDE OBTER DADOS PARA OS INDICADORES? COMO


USÁ-LOS?

O cálculo de indicadores só pode ser feito a partir de


dados. Hatry (1996) afirma que os dados sobre o desempenho
de uma organização devem ser desagregados de forma a
refletirem o que efetivamente grupos importantes de usuários
consideram importante, em primeiro lugar; além disso, é
preciso desagregar dados em termos das atividades
desempenhadas, já que as tarefas dentro das organizações
refletem cargas distintas de trabalho (por exemplo, não se pode
comparar a carga de trabalho de um recepcionista no posto de
137
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

saúde com a do médico ou dos enfermeiros). Por fim, deve-se


verificar o método utilizado para a prestação de serviços; os
dados do desempenho de uma universidade em termos de
formação de seus alunos devem ser desagregados no que diz
respeito ao ensino presencial e ao ensino à distância, já que se
trata de dois métodos muito diferentes de realizar as atividades.

Existem diversas fontes de dados para calcular


indicadores para medir os resultados e o desempenho de um
programa ou organização pública:
a) Arquivos e registros das organizações: dados sobre
custos, utilização de recursos, quantidade de produtos
ou serviços, entre outros, estão disponíveis para uso dos
gestores e podem ser usados em diversos indicadores,
não somente de eficiência, mas também de eficácia e
qualidade do serviço;
b) Observadores treinados: neste caso, treinam-se
funcionários da organização ou voluntários para
analisarem as características físicas da prestação de
serviços. Por exemplo, quando são feitas visitas para
reconhecimento e autorização de cursos nas
universidades, um grupo de avaliadores devidamente
preparado para observar a realidade da instituição de
ensino é destacado para avaliar os critérios definidos

138
MARCELLO B. ZAPPELLINI

pelo MEC em termos de acessibilidade, equipamentos de


informática, condições das salas de aula, etc.;
c) Surveys junto a consumidores: considerando-se a
perspectiva dos usuários finais, deve-se buscar junto a
estes suas percepções e sua avaliação dos serviços
prestados por meio de pesquisas específicas;
d) Mensurações físicas: em alguns casos, é possível medir
fisicamente o resultado de um serviço. Por exemplo,
medições da poluição do ar após uma nova legislação
antipoluição;

Na prática...

A FATMA realiza inspeções periódicas nas condições de


balneabilidade das praias em Florianópolis, o que ilustra a ideia
de uma inspeção de mensuração física.

e) Focus groups: pesquisas junto a grupos de consumidores


podem ser usadas para ter uma ideia de como estes vêem
os resultados do serviço prestado, e também para
identificar por que certos resultados inesperados
acabaram ocorrendo (HATRY, 1996).

139
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Questões para Reflexão:

Sua organização desenvolve algum desses tipos de


instrumentos de coleta de dados? Qual deles, na sua opinião,
era mais importante para assegurar o bom desempenho das
funções organizacionais? Por quê?

Fontes externas de dados, como arquivos públicos,


universidades, o IBGE, entre outros, são muito úteis para o
cálculo dos indicadores. Em alguns casos, já existem dados de
boa qualidade, coletados por meio de procedimentos científicos
devidamente validados, que podem ser usados pelo gestor
público para o cálculo de indicadores de gestão.

Quanto ao uso dos dados, supõe-se que, após terem sido


construídos e calculados os indicadores de desempenho, seja
dada alguma destinação para os mesmos. Hatry (1996)
seleciona alguns usos mais comuns dos dados sobre resultados
e desempenho nas organizações públicas:
a) Ajudar a manter os funcionários e gestores públicos
responsáveis e accountable;
b) Motivar funcionários públicos, especialmente se for
possível instituir planos de pagamento com bônus por
desempenho;
140
MARCELLO B. ZAPPELLINI

c) Monitorar e acompanhar a realização de contratos;


d) Desenvolver e justificar alocações de recursos nos
orçamentos;
e) Encorajar os funcionários a focalizar nas necessidades
dos consumidores e usuários;
f) Encorajar melhorias nos serviços públicos.

O fundamental é que os dados sejam utilizados em


alguma ação concreta. Um sistema de indicadores exige
trabalho da equipe que o formula e interfere nas atividades
diárias dos funcionários, pois a coleta de dados deve ocorrer
constantemente. Estes devem ter certeza de que seus esforços
foram medidos e que essa medição será usada para alguma
coisa importante dentro da organização.

QUESTÕES PARA FIXAÇÃO E APROFUNDAMENTO DO


CONTEÚDO

1. Em poucas palavras: para que serve um indicador? Por


quê?
2. Os indicadores destinados a suprir necessidades de
informação de stakeholders externos devem ser diferentes
dos que os gestores necessitam para tomar decisões na
organização? Por quê?

141
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

3. Como os indicadores podem ser usados para aumentar a


accountability? Explique.
4. Suponha que você deseje avaliar a atividade de
calçamento de ruas por meio do seguinte indicador:
quilometragem de ruas calçadas dividido pela
quilometragem de ruas do município. Sabe-se que o
mesmo é viável, mas é preciso verificar sua validade.
Analise esse critério.
5. “Indicadores qualitativos são mais úteis para avaliar o
desempenho de uma organização, enquanto que os
quantitativos o são para avaliar resultados”. Você
concorda? Justifique.

142
MARCELLO B. ZAPPELLINI

5 A METODOLOGIA KPI

Uma conclusão evidente do que foi tratado acima é:


existe ampla variedade de indicadores, cada qual com sua
utilidade e aplicação nos métodos gerenciais utilizados para
gerar um bom desempenho. No entanto, apenas alguns
indicadores podem ser calculados e analisados por vez, sendo
necessário definir quais seriam aqueles que poderiam ser
considerados fundamentais para que a organização produza os
resultados esperados, ou seja, aqueles que devem ser
acompanhados e avaliados permanentemente. A esses
indicadores pode-se chamar de indicadores chave de
desempenho, ou key performance indicators (KPI), na formulação
de David Parmenter (2007), indicadores que devem ser
trabalhados em conjunto com o balanced scorecard (BSC). Como
este conceito é bastante conhecido, este capítulo focalizará
somente a ideia de KPI.

5.1 O QUE SÃO KPI – KEY PERFORMANCE INDICATORS?


COMO CRIÁ-LOS?

Parmenter (2007) considera que se deve distinguir entre


indicadores de resultados e de desempenho: os primeiros se
referem a medidas de efeitos de diversas ações e indicam se o
gestor está levando sua organização na direção correta, mas não
143
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

fornecem as informações necessárias para melhorar os


resultados. Os indicadores de desempenho, por outro lado,
medem aspectos da performance de uma organização. Para
usar uma analogia semelhante à do autor, se uma pessoa viaja
de carro de uma cidade para a outra, seu destino representa o
resultado: se ela não chegar ao local desejado, não alcançou o
resultado desejado; saber quanto tempo ela demorou, quanto
combustível gastou, são indicadores de desempenho e
permitirão que, ao planejar a próxima viagem, a pessoa decida
se vai seguir pelas mesmas estradas, fazer as mesmas paradas,
etc.

Os indicadores chave de desempenho (KPIs) são as


medidas que focalizam aspectos de desempenho críticos para o
sucesso presente ou futuro da organização, e se caracterizam
por:
a) Não se expressam em unidades monetárias;
b) São calculados com frequência, ou seja, em bases diárias;
c) Ações para melhorá-los são empreendidas pela alta
direção da organização;
d) Todo o staff da organização deve compreender o
indicador e as ações necessárias para corrigir eventuais
problemas;

144
MARCELLO B. ZAPPELLINI

e) A responsabilidade pelo indicador cabe a indivíduos ou


equipes;
f) Possuem impactos significativos sobre fatores críticos de
sucesso;
g) Geram impactos positivos sobre outras medidas de
desempenho (PARMENTER, 2007).

Questões para Reflexão:

Escolha um indicador de desempenho de sua organização e


aplique o checklist acima. Esse indicador pode ser considerado
um KPI? Por quê?

Definir os KPIs para uma organização não é uma tarefa


muito difícil, mas exige algum cuidado por parte do gestor,
pois, se existem muitos indicadores de desempenho, por outro
lado poucos são efetivamente indicadores chave. Parmenter
recomenda que se trabalhe com uma perspectiva 10 – 10 – 80:
10% dos indicadores são KPIs, 10% devem ser indicadores
chave de resultado (key results indicators – KRIs) e 80% devem
ser indicadores de desempenho pura e simplesmente. Antes de
começar a detalhar o processo de construir KPIs, é conveniente
revisar as bases necessárias para desenvolver e utilizá-los:

145
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

a) Parceria: deve existir uma parceria efetiva entre a gestão,


os representantes dos funcionários, os principais
usuários ou consumidores e os principais fornecedores;
b) Transferência de poder: o pessoal da “linha de frente”,
responsável pelo atendimento direto ao público, deve ter
poder para desempenhar suas atividades e implantar
medidas corretivas caso elas não estejam correndo bem;
c) Integração: os esforços de mensuração, relato e melhoria
do desempenho devem estar integrados de modo a
garantir que o desempenho relatado possa ser
transformado em medidas e ações corretivas;
d) Ligação com a estratégia: as medidas de desempenho
devem estar ligadas diretamente a fatores críticos de
sucesso da organização e aos seus objetivos estratégicos.
A missão, a visão e os valores devem servir de guias para
a ação cotidiana e guardar relação com os KPIs.

Questões para Reflexão:

Sua organização apresenta todos esses fundamentos? Em


que grau? Qual deles necessitaria de atenção mais urgente?

Uma vez assegurado que a organização efetivamente


possui essas bases ou fundamentos, é possível trabalhar com o

146
MARCELLO B. ZAPPELLINI

processo de formulação de KPIs. Parmenter (2007) divide esse


processo em doze etapas, que podem ser descritas como se
segue:
I. Garantir o comprometimento da alta direção: para que
se possa adotar KPIs e utilizá-los em bases adequadas, é
preciso que a alta direção da organização se comprometa
com o sistema, pois ela pode criar o ambiente em que tal
procedimento pode ser utilizado com êxito. Assim, é
preciso “vender” a ideia para a direção;

Na prática...

Tendo em mente a realidade das organizações públicas, é


fundamental garantir apoio de líderes políticos relevantes para
o projeto além da direção.

Criar uma equipe de projeto: equipes pequenas e bem treinadas


(o autor recomenda até quatro pessoas) são muito importantes
para que o projeto de KPIs prospere. Esse grupo deve estar
comprometido permanentemente com a atividade e reportar-se
diretamente ao mais alto executivo da organização, devendo
também manter contato permanente com os responsáveis por
unidades ou departamentos da organização, os coordenadores
ou líderes de equipe responsáveis pelo desempenho e os
principais stakeholders. Para Parmenter, esse grupo de projeto

147
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

não deve incluir representantes da alta direção, porque estes


não têm o tempo necessário para se dedicar integralmente a ele;
II. Estabelecer a cultura do fazer: neste caso, deve-se criar e
adotar uma cultura de debater cada etapa do projeto
como um exercício intelectual em que os indicadores
existentes são revisados, realiza-se a checagem das bases
e fundamentos do projeto e são feitas consultas aos
stakeholders a respeito do que está sendo realizado;
III. Desenvolver uma estratégia holística de
desenvolvimento dos KPIs: deve-se envolver os KPIs
numa estratégia mais ampla de melhores práticas.
Inicialmente, é preciso mapear a estratégia de mudança
da organização e definir práticas de implementação. A
equipe de trabalho deve avaliar a cultura organizacional
no que tange a práticas de mensuração de desempenho e
seu uso. Além disso, é importante adotar uma estratégia
flexível de trabalho;
IV. Fazer o marketing: todos os funcionários devem ser
preparados para a mudança organizacional. Por isso,
tanto a equipe quanto a alta direção devem se esforçar
para convencer o pessoal da necessidade de uma
mudança, partilhando informação de maneira aberta e
honesta; prever quais mudanças são necessárias;
demonstrar como os KPIs se encaixam e são importantes

148
MARCELLO B. ZAPPELLINI

na estratégia geral da organização; atrair o interesse dos


funcionários e estimular sua participação; lidar com a
resistência à mudança e à medição de desempenho;
V. Identificar fatores críticos de sucesso que abranjam toda
a organização: os fatores críticos de sucesso referem-se a
questões e aspectos fundamentais para a saúde e a
vitalidade da organização. Em primeiro lugar, é preciso
determinar o que afeta mais profundamente o sucesso da
organização, e depois trabalhar na lista de fatores até
obter um rol de cinco a oito fatores críticos. Esses fatores
impactam simultaneamente diversas dimensões, como a
saúde financeira da organização, processos internos,
relação com o cliente, satisfação do funcionário, relação
com o ambiente e a comunidade e aprendizagem
organizacional. Para identificá-los, pode-se usar o
planejamento estratégico da organização, dentre outros
documentos, mas a lista final só deve ser preparada após
um debate com os stakeholders e funcionários da
organização;
VI. Registrar as medidas em uma base de dados: os
resultados das atividades realizadas até o momento
devem ser registrados em uma base de dados. Essa base
deve operar também com o registro dos dados de
desempenho da organização de maneira atualizada e
completa, e deve ser disponibilizada para os
149
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

funcionários da organização, para que esses possam


compreender as medidas de desempenho já adotadas e
utilizá-las como bases para a definição de medidas
adequadas às suas necessidades específicas;

Na prática...

Quais seriam os fatores críticos de sucesso para o SAMU?


Embora essa lista não exista oficialmente, alguns aspectos
parecem ser fundamentais (evidentemente, ela precisaria ser
devidamente aperfeiçoada a partir do contato com os gestores e

• Celeridade no atendimento das ocorrências;


funcionários do serviço):

• Treinamento e capacidade dos socorristas na prestação do

• Disponibilidade de ambulâncias e equipamentos de socorro


atendimento;

• Comunicação adequada com os hospitais, a população, a


em condições de uso;

polícia e com as próprias ambulâncias.

VII. Selecionar medidas de desempenho ao nível das equipes:


equipes de trabalho são fundamentais em todas as
organizações; se dotadas das medidas de desempenho
adequada, elas alinharão suas atividades e
comportamentos de modo coerente, favorecendo toda a
organização. Indicadores de desempenho devem ser

150
MARCELLO B. ZAPPELLINI

definidos para cada equipe, e os KPIs mais relevantes


para suas tarefas devem ser adotados como medidas.
Neste aspecto, é fundamental envolver essas equipes,
treinando-as e solicitando-lhes a participação no
processo. Parmenter recomenda um máximo de 25
medidas de desempenho para cada equipe, e relembra
que não existem KPIs específicos de uma equipe – eles
devem abranger toda a organização;
VIII. Selecionar os principais KPIs: após garantir o
envolvimento das equipes de trabalho, o grupo de
projeto de KPIs deve definir os indicadores de
desempenho principais. Estes devem refletir fatores
críticos de sucesso e relacionar-se às atividades vitais que
contribuem para o sucesso ou fracasso da organização. O
autor é categórico: não se deve confundir medidas de
desempenho cruciais para equipes, departamentos ou
divisões da organização, por mais importantes que
sejam, com KPIs.
IX. Desenvolver uma estrutura de relatórios para todos os
níveis organizacionais: sem comunicação, o projeto
fracassa. Dessa maneira, a equipe de projeto deve criar
um sistema de relatórios que perpasse toda a
organização, começando das equipes de trabalho,
passando por divisões e departamentos, até chegar à alta
direção. É essencial que a informação de qualidade esteja
151
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

disponível para os tomadores de decisão no momento


adequado, para tanto, deve-se garantir que as pessoas
saibam como preparar relatórios e comunicar resultados,
e desenvolver uma hierarquia de uso: nem todos os
resultados devem estar disponíveis para todas as
pessoas na organização, por isso é importante garantir
que as informações sejam disponibilizadas para as
pessoas certas;
X. Facilitar o uso: deve-se tomar medidas que tornem os
KPIs conhecidos de todos na organização e incorporá-los
à cultura organizacional. Programas de treinamento e
educação corporativa e canais de comunicação devem
ser usados permanentemente para que a organização
efetivamente incorpore os KPIs como parte das tarefas
diárias realizadas. O comprometimento e o apoio da alta
direção mostram-se novamente fundamentais para o
sucesso dessa atividade, mas o grupo de projeto deve
garantir que os mecanismos de comunicação alcancem a
todos dentro da organização. Uma forma de aumentar o
interesse do pessoal pelos KPIs consiste em adotar
indicadores que possam ser comparados com outras
organizações;
XI. Refinar os KPIs: como as organizações e seus ambientes
estão em permanente mudança, o grupo de trabalho

152
MARCELLO B. ZAPPELLINI

deve realizar atividades de revisão e modificação dos


KPIs para refletir mudanças de prioridades que tenham
ocorrido durante o processo de melhoria do
desempenho. Para tanto, deve-se estabelecer uma rotina
de revisão dos indicadores, utilizar pesquisas de focus
groups, consultar os stakeholders e manter o senso de
propriedade das equipes (estas devem considerar os
KPIs e os indicadores de desempenho como “seus”).

A lista acima torna evidente que a responsabilidade pelo


desempenho elevado em uma organização pertence a todos,
mas um projeto como o dos KPIs exige comprometimento
especial das lideranças organizacionais, e, sobretudo, o trabalho
de uma equipe especialmente criada para desenvolvê-los. Nas
organizações públicas, isso pode ser prejudicado pela falta de
continuidade dos processos e formas de gestão quando as
lideranças políticas mudam, ou quando a percepção da
população é negativa. Mas isso não significa que seja impossível
adotá-los – somente representa uma barreira adicional a ser
vencida. A continuidade do apoio político, a conscientização e
o interesse da população, o comprometimento dos funcionários
da organização em todos os níveis, são todos elementos que
ajudam a manter vivo o projeto dos KPIs.

153
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

QUESTÕES PARA FIXAÇÃO E APROFUNDAMENTO DO


CONTEÚDO

1. Pesquise indicadores utilizados por alguma organização


pública ou privada e verifique se são voltados para o
desempenho ou para o resultado. Justifique a distinção.
2. Por que os KPIs devem ser calculados para toda a
organização? Explique.
3. Pense na pesquisa e prospecção de campos petrolíferos
feita pela Petrobras. Pode-se afirmar que um indicador
que relacione as novas reservas encontradas em relação
ao total de reservas já conhecidas seja um KPI? Explique.
4. Você usaria KPIs para justificar o aumento das verbas
orçamentárias para sua organização? De que forma?
5. Ao longo do que foi discutido nos capítulos anteriores,
verifica-se que a participação do pessoal é um valor a ser
promovido nas organizações voltadas para o alto
desempenho. Entretanto, percebe-se que o processo de
elaboração de KPIs deve ser guiado por um pequeno
grupo. Há uma incoerência entre os modelos estudados
e a formulação de KPIs? Explique.

154
MARCELLO B. ZAPPELLINI

6 COMO AVALIAR RESULTADOS?

Avaliar os resultados ou o desempenho do governo é


uma tarefa que deve ser empreendida por pessoas comuns ou
por organizações interessadas em obter informações a respeito
do valor que as organizações públicas estão criando e
entregando à população. Não basta trabalhar com aspectos
puramente financeiros, como observa Lynn (apud HEINRICH,
2010); é preciso verificar se os bens e serviços ofertados pelo
governo estão adequados às necessidades da sociedade, se são
produzidos de acordo com critérios de eficiência e se as
informações geradas por sistemas de avaliação são
adequadamente utilizadas em esforços de melhoria e
desenvolvimento da qualidade.

De acordo com Heinrich (2010), um sistema ideal de


gestão do desempenho pode ser compreendido como a
integração de esforços de monitoramento (ou
acompanhamento) e de avaliação do desempenho (em que os
resultados ou impactos são devidamente analisados) ao
processo de gestão, em que os dados obtidos são utilizados para
o planejamento do programa ou da organização e para o
aprimoramento das atividades futuras.

155
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Assim, quando se pensa em termos de gestão do


desempenho integrada à avaliação, tem-se em mente a noção do
ciclo, ou seja, a ideia de um processo em que as diferentes
etapas são dispostas de maneira progressiva, em que cada uma
deve ser vista como uma preparação para a outra, até chegar ao
final – em que o processo ser realimenta. A ideia de ciclo de
avaliação é bastante importante porque esclarece a necessidade
de realizar atividades que permitam a retroalimentação do
sistema; como a avaliação precisa ser considerada em termos do
aprendizado que ela produz em uma organização, o ciclo se
revela uma metáfora extremamente interessante para
demonstrar esse aprendizado. Um ciclo de avaliação pode ser
exemplificado pela figura 7.

Figura 7: Ciclo de avaliação


Fonte: adaptado de Assis, 2005.
156
MARCELLO B. ZAPPELLINI

Pode-se observar que a atividade passa necessariamente


pela ação. Avaliar sem agir é perder tempo e recursos que
poderiam ser dedicados a outras atividades organizacionais. A
ideia do ciclo se completa quando se realiza uma ação que
transforma ou modifica a organização e gera novo desempenho,
que deve ser medido – realimentando-se, dessa forma, o
processo. Poister (2003) é categórico: sistemas de avaliação ou
mensuração de desempenho são apoio para outros processos
gerenciais ou de tomada de decisão, como planejamento,
orçamento, melhorias de processos e benchmarking.

Questões para Reflexão:

Se a sua organização realiza avaliações, ela consegue “fechar


o ciclo”, ou seja, ela consegue realizar as ações corretivas e de
melhoria necessárias?

De acordo com Poister (2003), medidas de desempenho


são indicadores quantitativos e objetivos de diferentes aspectos
do desempenho de programas ou agências. O processo de
medição de desempenho é essencialmente a definição,
observação e uso dessas medidas (POISTER, 2003), sempre
tendo-se em mente uma perspectiva operacional, ou seja,
sempre preocupando-se em gerar informações que possam ser

157
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

usadas pelos gestores na decisão do que fazer dentro da


organização.

6.1 CONCEITO DE AVALIAÇÃO

De acordo com Newcomer (1996), a avaliação de serviços


e programas públicos é uma tentativa de medir de maneira
desapaixonada e o mais neutra possível os efeitos gerados; esse
cuidado deve ser mencionado porque as organizações públicas
operam em ambientes altamente politizados, em que diferentes
interesses operam. No entanto, a autora reconhece que não se
trata de uma atividade fácil. A autora afirma que a avaliação do
desempenho do governo em termos de prestação de serviços à
população não é nenhuma novidade, mas, na década de 90,
relacionar os indicadores com a missão do programa, a
definição de metas de objetivos e o esforço sistemático de relatar
o atingimento dessas metas constituem-se em características
novas (NEWCOMER, 1997).

Existem muitas definições de avaliação. McDavid e


Hawthorn (2006), por exemplo, conceituam avaliação como um
processo estruturado que cria e sintetiza informações com o
objetivo de reduzir a incerteza dos stakeholders a respeito de uma
política ou programa, que responde perguntas ou testa

158
MARCELLO B. ZAPPELLINI

hipóteses; os resultados desses testes e respostas são, então,


incorporados às bases de informação dos stakeholders a respeito
do objeto de avaliação. Scriven (1991), um dos especialistas mais
respeitados do mundo na área, considera-a como o processo de
determinar o mérito, a importância ou o valor de alguma coisa,
bem como o produto desse processo.

Um dos manuais mais conhecidos e adotados


internacionalmente apresenta a seguinte definição:

Avaliação de programas é a apreciação sistemática de seus


resultados, e, até onde for possível, do grau em que ele os
gera. A avaliação inclui monitoramento contínuo de
programas tanto quanto estudos únicos de seus processos
ou impactos. (NEWCOMER; HATRY; WHOLEY, 2004,
p. XXXIII).

A avaliação, de uma forma genérica, pode ser


considerada como um esforço de apreciação, exame e
julgamento do valor ou do mérito de algum objeto, utilizando
critérios previamente definidos e defensáveis para a produção
de juízos de valor sobre tal objeto (WORTHEN; SANDERS;
FITZPATRICK, 2004). Toda avaliação pressupõe uma pesquisa
que produzirá dados e informações a respeito do objeto
avaliado, e deve ser utilizada por alguém (uma pessoa, um
grupo social ou uma organização) para cumprir seus objetivos

159
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

e metas. Newcomer, Hatry e Wholey (2004) afirmam que a


avaliação pode ser vista como uma estratégia de aprendizado,
aumentando o conhecimento sobre a lógica e sobre os
resultados práticos de um programa.

Carol H. Weiss (1998, p. 4) define a avaliação como uma


“[...] estimativa sistemática da operação e/ou dos resultados de
um programa ou política, comparados com um conjunto de
padrões explícitos ou implícitos, como meio de contribuição
para a melhoria do programa ou política.” Esta definição deve
ser desdobrada em alguns elementos:
a) A avaliação é sistemática porque usa procedimentos
formais e rigorosos, de acordo com os cânones da ciência
social;
b) A avaliação pode focalizar tanto os processos de operação
quanto os produtos ou resultados do programa ou política,
de acordo com os interesses dos avaliadores;
c) Toda avaliação pressupõe julgamento, portanto é preciso ter
critérios ou padrões que permitam comparar o efetivamente
alcançado com o previsto ou com o ideal;
d) Por fim, o propósito da avaliação é prático: contribuir para
as pessoas ou organizações trabalharem melhor, alocar
recursos de maneira mais eficiente, produzir melhores
resultados.

160
MARCELLO B. ZAPPELLINI

Peter H. Rossi e seus colegas definem a avaliação como o


“[...] uso de métodos de pesquisa social para investigar
sistematicamente a efetividade de programas de intervenção
social de maneira adaptada aos seus ambientes político e
organizacional, desenhados para comunicar ação social para
melhorar condições sociais.” (ROSSI; LIPSEY; FREEMAN, 2004,
p. 16). Alguns aspectos merecem ser considerados nesta
definição:
a) O uso de métodos de pesquisa social indica que a avaliação
usa as técnicas científicas para construir descrições sólidas
do fenômeno social;
b) O foco na efetividade é justificado pelo fato de que os
programas sociais existem para “fazer bem”, melhorando as
condições sociais;
c) Toda avaliação deve ser “feita sob medida” para a realidade
avaliada, ou seja, o plano de avaliação seguirá o que os
patrocinadores da avaliação e/ou os stakeholders desejam
obter em termos de informação sobre o funcionamento do
programa. Assim sendo, os contextos político e
organizacional devem ser compreendidos para que a
avaliação gere os resultados desejados;
d) Por fim, é preciso ter em mente que a avaliação deve
produzir respostas úteis (e utilizáveis) a perguntas sobre o
programa social, portanto ela deve gerar resultados que
161
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

informem os atores sociais e guiem sua ação para melhorar


as condições sociais (ROSSI; LIPSEY; FREEMAN, 2004).

Chen, por sua vez, conceitua a avaliação como a


aplicação de técnicas, conhecimentos e abordagens para estimar
sistematicamente e para melhorar o planejamento, a
implementação e a efetividade de um programa (2005). É
conveniente observar que o autor trata diretamente da
avaliação de programas sociais, sem procurar oferecer um
conceito mais aberto. De qualquer forma, ele afirma que a
avaliação deve ser orientada para ações futuras, gozar de
credibilidade tanto junto à comunidade científica quanto aos
stakeholders, além de utilizar uma abordagem holística, que se
valha não somente das informações específicas do programa
quanto das contextuais.

Das definições acima se pode deduzir algumas


conclusões:
a) Toda avaliação é feita usando algum tipo de sistematização.
A avaliação é um processo, ou seja, é uma sucessão de etapas
interrelacionadas;
b) A avaliação exige algum conhecimento do avaliador, no
mínimo para definir padrões que lhe permitam fazer um
julgamento do objeto avaliado;

162
MARCELLO B. ZAPPELLINI

c) Os resultados da avaliação devem ser úteis a alguém (uma


pessoa, um grupo social, uma organização) que esteja
associado ou tenha algum interesse no objeto avaliado;
d) A avaliação utiliza dados pesquisados a respeito de uma
realidade e gera, a partir deles, informações úteis para os
interessados. Assim, a avaliação deve ajudar a produzir
melhorias no objeto social;
e) Toda avaliação produz um juízo de valor sobre o objeto e,
portanto, não pode aspirar ser neutra. Realizar um
julgamento a respeito desse objeto está por trás de todo
esforço de avaliação.

De acordo com Chianca (2001), é preciso ter em mente


que a avaliação obedece a uma série de princípios:
a) Utilidade: estes princípios estão associados à garantia da
utilidade da avaliação, ou seja, de que ela responderá às
necessidades dos stakeholders do objeto de avaliação;
b) Viabilidade: trata-se de buscar uma avaliação que utilize
procedimentos práticos e adequados, que seja
politicamente viável para os stakeholders e que possua
boa relação custo-efetividade;
c) Propriedade: neste caso, o princípio visa assegurar que a
avaliação seja feita dentro de princípios éticos e das
normas legais, respeitando o bem estar dos envolvidos e

163
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

de quaisquer pessoas que possam ser afetadas pela


realização da avaliação;
d) Precisão: neste caso, os objetivos são voltados para
garantir a qualidade técnica das informações produzidas
sobre o programa, permitindo uma visão sobre o mérito
e a relevância do programa.

Price (2011) afirma que a avaliação de resultados vem se


tornando cada vez mais importante para o gestor, pois ela não
apenas envolve a coleta dos dados, mas também seu uso
sistemático para gerar conhecimentos. Isso é muito importante,
já que os sistemas de gestão do desempenho e dos resultados se
baseiam num princípio de aprendizagem sistemática, em que os
conhecimentos gerados devem ser usados em auxílio da
tomada de decisão. Para a autora, muitos sistemas de gestão de
desempenho e dos resultados trabalham com a perspectiva de
monitorar o desempenho, quando na verdade o que é
necessário é avaliá-lo.

Há muitos métodos disponíveis para a avaliação,


qualitativos, quantitativos ou mistos, experimentais ou não, que
podem ser utilizados para emitir esse juízo sobre o objeto; é
fundamental que se trabalhe com a perspectiva da utilização da
avaliação, ou seja, independentemente do método que for

164
MARCELLO B. ZAPPELLINI

escolhido, ele deve ser adequado às necessidades do público à


qual a avaliação se destina. Quando esse público é composto
por gestores públicos responsáveis por uma organização ou um
programa/política, normalmente a avaliação é produzida para
que se possa acumular maior conhecimento a seu respeito e
para que se abasteça o processo decisório de informações que
ajudem a compreender o problema, a situação atual, os
resultados obtidos.

A escolha de um sistema de avaliação de desempenho


deve ser norteada por uma série de aspectos:
a) Em primeiro lugar, deve-se considerar qual é o público
ou audiência que irá ter acesso ao relatório de avaliação
e utilizá-lo;
b) Deve-se considerar a questão do tempo, pois os
resultados da avaliação devem estar disponíveis quando
se fizerem necessários;
c) O terceiro aspecto a ser considerado refere-se à
relevância dos dados para o público primário a que se
destina;
d) É preciso levar em conta a forma do relatório final, que
deve ser atraente para o público destinatário e conter as
informações necessárias de forma direta e simples;
e) As competências das pessoas envolvidas no processo de
avaliação são fundamentais. Não se deve realizar
165
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

nenhuma atividade de avaliação sem ter clareza em


relação à competência do pessoal envolvido;
f) O tipo de recomendações que serão feitas a partir da
avaliação é outro ponto importante, pois devem estar
adequadas às necessidades e capacidades do público;
g) A forma de comunicação dos resultados finais é o sétimo
aspecto a ser considerado;
h) O uso das informações contidas no relatório final é outro
ponto que precisa ser definido antes de se tomar a
decisão por um sistema ou método de avaliação de
desempenho.
i) Finalmente, é preciso considerar os incentivos que
devem ser dados pelos tomadores de decisão mais
importantes em termos do uso dos dados de avaliação na
melhoria do desempenho por parte da organização.
Neste caso específico, trata-se de um aspecto político
antes de técnico: os programas públicos são realizados
por diferentes pessoas, e, portanto, afetam-nas em maior
ou menor grau (NEWCOMER, 1996).

Questões para Reflexão:

Observe a lista acima. Qual desses aspectos representaria o


maior entrave para implantar a avaliação em sua organização,
caso ela não tenha essa cultura? Por quê?
166
MARCELLO B. ZAPPELLINI

Assim, a escolha de um método de avaliação do


desempenho de um programa ou organização pública passa
necessariamente por uma série de fatores administrativos
(como as capacidades, competências e recursos disponíveis
para utilização do método), políticos (como os interesses dos
envolvidos na gestão do programa ou organização) e cognitivos
(como a capacidade de compreensão e uso inteligente das
informações disponibilizadas por parte dos gestores).

Mas também é preciso tomar decisões em termos teóricos


e metodológicos. Por exemplo, algumas questões relevantes são
apresentadas por Worthen, Sanders e Fitzpatrick (2004):
a) Deve-se adotar uma perspectiva formativa (ou seja, a
respeito de como um programa funciona) ou somativa
(que trata dos resultados obtidos pelo programa)?
b) Deve-se usar uma equipe interna (isto é, proceder à
avaliação usando pessoal próprio da organização) ou
externa (contratação de avaliadores independentes)?

A escolha deve ter em mente os usos que se pretende dar


para a avaliação, a disponibilidade de tempo e de recursos
humanos, físicos e financeiros para investir na avaliação, a
capacitação do pessoal designado para trabalhar com o
processo, dentre outros aspectos. O fundamental é lembrar que
não existe método universal de avaliação que possa ser adotado
167
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

em quaisquer situações por todas as organizações. “Ao gosto do


freguês” é a expressão que deveria ser adotada por todos os que
estejam trabalhando com definição e desenho de programas de
avaliação.

6.2 AVALIAÇÃO DE RESULTADOS – MÉTODOS DE


McDAVID & HAWTHORN, DE SCHALOCK E MOYNIHAN

Como mencionado anteriormente, os métodos de gestão


do desempenho e dos resultados trabalham com a lógica de
acompanhar e monitorar o desempenho das atividades. Essa
visão, demonstrou Price (2011), está errada, pois simplesmente
obter e reunir informações a respeito do que quer que seja não
garante que serão usadas para a tomada de decisão. Além disso,
sistemas de monitoramento e controle tem uma limitação, qual
seja, o fato de que não lidam com questões cruciais como as
razões pelas quais certos resultados foram obtidos ou se o
programa efetivamente os produziu (PRICE, 2011), algo que um
bom sistema de avaliação, baseado em premissas teóricas
sólidas e em relações causais (como a teoria do programa, que
será estudada posteriormente), permite analisar e concluir.
Outro problema é que esses sistemas trabalham com a
perspectiva de que aumentar o volume de dados e
conhecimentos a respeito do assunto avaliado será suficiente

168
MARCELLO B. ZAPPELLINI

para ampliar a accountability, o que, para Price (2011), não ocorre


automaticamente.

Assim, um sistema de avaliação do desempenho e dos


resultados deve ser construído no sentido de garantir não
somente a disponibilidade dos dados, mas também o seu uso
em decisões de melhoria de processos e operações que gerem
resultados. Isso não significa abandonar os esforços já
realizados no sentido de construir sistemas de monitoramento
e controle, e sim integrá-los numa perspectiva de uso dos
conhecimentos, que os sistemas de avaliação podem fornecer.
Assim, na verdade, os sistemas de monitoramento e controle do
desempenho devem ser considerados exclusivamente como
etapas para a realização da avaliação. Como notou Price (2011),
a avaliação não somente focaliza no que está acontecendo, mas
também no porque acontece. Isso significa buscar um
conhecimento e um entendimento mais profundo a respeito do
programa de ação pública ou do serviço, o que frequentemente
abrange verificar como o contexto o afeta; dessa forma, os
tomadores de decisão são munidos com informações úteis e
relevantes a respeito das mudanças específicas que deverão ser
realizadas para a melhoria dos processos e operações, além de
fornecerem uma visão de conjunto do programa ou serviço
público avaliado.

169
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Existe uma infinidade de métodos de avaliação de


resultados, e seria impossível trabalhar com todos eles – ou
mesmo com uma amostra significativa de métodos. Por isso,
concentrar-se-á o esforço em apresentar com maior grau de
profundidade três métodos, dois dos quais direcionados para a
mensuração do desempenho como parte de um ciclo de gestão
(McDavid e Hawthorn, e Moynihan), e o outro (Schalock)
voltado para medir resultados.

6.2.1 Método de McDavid e Hawthorn

McDavid e Hawthorn (2006) inserem a avaliação de


resultados dentro de um ciclo de gestão de desempenho, que
pode ser representado pela figura 8.
O ciclo se inicia com a definição clara de objetivos para a
ação pública, por meio de planejamento estratégico ou do
desenvolvimento de políticas setoriais; as estratégias efetivas
derivam de planos de negócios, do design do programa, de
alocações de recursos ao nível governamental ou do
desenvolvimento de políticas. Quanto aos sistemas de gestão,
deve-se buscar o alinhamento entre os diferentes sistemas para
que procurem objetivos coerentes; incluem-se, aí, os sistemas
financeiros e de recursos físicos, humanos e tecnológicos. A
mensuração e o relato do desempenho utilizam diferentes

170
MARCELLO B. ZAPPELLINI

estratégias de avaliação e comunicação dos resultados, e afetam


a realidade: as consequências para a gestão pública podem ser
observadas em termos de resultados de eleições, decisões
orçamentárias, programas de compensação, entre outros
(McDAVID; HAWTHORN, 2006). Como esta seção focaliza na
avaliação, os demais componentes do ciclo serão postos de lado.

Figura 8: Ciclo de gerenciamento do desempenho


Fonte: McDavid e Hawthorn, 2006.

171
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

De acordo com os autores, a avaliação de desempenho de


organizações públicas e programas governamentais baseia-se
em alguns princípios: em primeiro lugar, pode-se considerar o
governo como um negócio, no sentido de que suas ações devem
ser baseadas em objetivos claramente declarados, deve haver
uma preocupação com a eficiência e é cada vez mais importante
uma filosofia de gestão baseada nos resultados; o segundo
aspecto refere-se à ideia de organização como um sistema
aberto, ou seja, que a organização está em permanente troca
com o ambiente e pode apreender melhor as relações de causa-
efeito entre os resultados que produz e as ações empreendidas
dentro desse contexto; por fim, há a ideia da organização como
máquina, ou seja, as organizações se baseiam em combinações
de processos interligados.

As características da avaliação baseada na medição de


desempenho, de acordo com os autores, são:
a) A medição de desempenho deve ser permanente,
realizada em bases regulares e contínuas;
b) A avaliação do desempenho possui um foco mais geral,
trabalhando com diversos aspectos da estrutura da
organização;

172
MARCELLO B. ZAPPELLINI

c) Os indicadores e medidas do desempenho são


rotinizados, e os métodos de coleta de dados fazem parte
das atividades cotidianas da organização;
d) Diferentemente da avaliação de programas públicos
tradicional, a avaliação do desempenho não faz
discussões a respeito de como atribuir determinados
efeitos às atividades realizadas: ela assume tais relações
como dadas;
e) Não há necessidade de buscar recursos para as
avaliações, pois, como as mensurações de desempenho
são realizadas contínua e regularmente, os recursos
necessários para seu cálculo já estão disponíveis na
organização;
f) Os responsáveis pela avaliação de desempenho são,
normalmente, gestores que trabalham regularmente na
organização e, portanto, são atores chave no
desenvolvimento e comunicação de resultados de
desempenho;
g) O uso da informação em uma avaliação baseada na
medição do desempenho é mutável, evoluindo à medida
que as necessidades dos diferentes processos
organizacionais se modificam. Dessa forma, medidas e
indicadores que eventualmente foram úteis em
determinados momentos podem ser desconsiderados
em momento seguinte.
173
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Questões para Reflexão:

Observe a lista acima. Se sua organização utiliza algum


método de avaliação do desempenho, este possui as
características supracitadas?

Com isso em mente, pode-se descrever o modelo de


McDavid e Hawthorn em termos de atividades fundamentais a
serem empreendidas. Os autores chamam a atenção para uma
preocupação fundamental, qual seja, a sustentabilidade da
atividade; é necessário garantir que a mensuração de
desempenho seja mantida, mesmo quando ocorrerem
mudanças significativas na gestão da organização. Pode-se
afirmar que essa preocupação se justifica, pois as organizações
públicas são muito afetadas pela mudança política e social.

De qualquer forma, as atividades que devem ser


realizadas para implantar o modelo de avaliação baseado na
medição de desempenho de McDavid e Hawthorn (2006) são:
I. Identificar defensores dessa mudança na
organização: é fundamental que existam líderes
organizacionais que abracem a causa da
mensuração de desempenho e a defendam mesmo

174
MARCELLO B. ZAPPELLINI

quando líderes políticos a critiquem e sugiram seu


fim;
II. Entender o que os sistemas de medição de
desempenho podem – e o que não podem – fazer:
por mais úteis que esses sistemas sejam, eles tem
limitações. Podem oferecer boas indicações sobre
a efetividade do programa, mas, uma vez que não
lidam com a discussão sobre a atribuição dos
resultados, não se pode provar irrefutavelmente,
a partir do sistema, que existam relações causais
entre as atividades desempenhadas e os
resultados alcançados;
III. Estabelecer canais múltiplos de comunicação: a
medição de desempenho introduz mudanças
significativas na organização, devendo portanto
ser comunicada eficazmente para evitar
resistências do pessoal. Neste sentido, devem ser
criados canais de comunicação horizontais, de
cima para baixo e de baixo para cima, para
garantir que as informações sejam
compartilhadas, problemas sejam identificados e
soluções sejam propostas;
IV. Esclarecer expectativas: a adoção de um sistema
de mensuração de desempenho cria expectativas
na organização a respeito dos usos de informação.
175
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Usualmente, espera-se que as informações de


desempenho sejam usadas pelos gestores em
atividades de melhoria da performance da
organização; para McDavid e Hawthorn, esse
deve ser o uso primário. Usos externos da
informação (como relatórios para o público ou
para o Congresso/assembleia/câmara) não
devem ser o motivo primário para a implantação
dessa metodologia;
V. Identificar os recursos disponíveis para desenhar,
implantar e manter o sistema de mensuração do
desempenho: a atividade de medição consome
recursos financeiros, humanos, tecnológicos e
materiais, portanto, é preciso determinar se as
necessidades do sistema estão cobertas pelas
disponibilidades da organização. Especificamente
no que tange aos recursos humanos, os autores
defendem que se treine o pessoal envolvido no
desenho e implementação do sistema. Também se
deve assegurar que os dados necessários para a
medição do desempenho estejam disponíveis;
VI. Conhecer a história da organização: em alguns
casos, a organização já tentou implantar uma
iniciativa similar em momentos anteriores. É

176
MARCELLO B. ZAPPELLINI

conveniente tirar algum tempo para estudar essas


tentativas e verificar o que aconteceu, pois
gestores que participaram de esforços anteriores
fracassados serão de pouco uso para a medição de
desempenho;
VII. Desenvolver modelos lógicos: deve-se criar
modelos lógicos para cada programa para o qual
se esteja desenvolvendo um sistema de medição
de desempenho e identificar os conceitos teóricos
básicos que os norteiam. Neste momento, é
preciso verificar se os objetivos foram solidamente
construídos e são realistas. Além disso, é preciso
verificar construtos como eficiência, qualidade e
efetividade do programa, para então desenvolver
medidas de desempenho aplicáveis – afinal, a
medida necessária para avaliar a qualidade de um
programa específico pode ser bastante diferente
para outro;
VIII. Identificar construtos que se apliquem a mais de
um programa: neste sentido, os esforços se dão no
sentido de verificar o que a organização
desenvolveu e que pode ser aplicado a todo um
setor. Por exemplo, o sistema de medição de
desempenho das escolas de ensino fundamental
pode incluir construtos que sejam aplicáveis ao
177
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

ensino médio, medidas criadas para postos de


saúde podem ser aplicadas a hospitais
universitários, e assim por diante. Medidas de
desempenho setorial não são exatamente fáceis de
desenvolver, mas ajudam a visualizar o
desempenho de uma política pública, por
exemplo;
IX. Envolver usuários: na definição de um modelo de
medição de desempenho, envolver os usuários na
revisão dos modelos lógicos e dos construtos
ajuda não apenas a melhorá-los, mas também
diminui as possibilidades de que o sistema não
seja bem compreendido pelos seus usuários;
X. Medir os construtos identificados como partes do
sistema de mensuração de performance: dados
secundários são normalmente a melhor forma de
medir construtos, mas é preciso verificar até que
ponto eles podem ser devidamente utilizados. O
sistema de medição de desempenho precisa ser
analisado pelos gestores para que eles
identifiquem sua validade e confiabilidade;
XI. Registrar, analisar, interpretar e relatar os dados
de desempenho: devem ser criados mecanismos
que permitam o registro de dados para posterior

178
MARCELLO B. ZAPPELLINI

tratamento analítico e interpretativo. Nesta etapa,


mecanismos de comparação entre os dados da
organização específica e similares devem ser
desenvolvidos e testados. Relatórios de dados
devem ser criados e submetidos a análises de
adequação e consistência antes de apresentados
aos usuários. É preciso obter um equilíbrio entre
as exigências de accountability externa e as
necessidades de uso das informações no plano
interno da organização, buscando assegurar que
ambos os públicos obtenham informações e
conhecimentos úteis dos relatórios;
XII. Revisar e mudar: deve-se revisar regularmente o
feedback dos usuários do sistema e, sempre que
necessário, introduzir mudanças. Como as
necessidades dos usuários e da organização em
termos de informações estão sempre mudando, é
importante que se mantenha um esforço
permanente de melhoria do sistema de
mensuração de desempenho. Para tanto, é preciso
desenvolver canais de retroalimentação em que as
informações dos usuários possam fluir para os
responsáveis pelo sistema, criar um panel de
especialistas para revisá-lo, buscar, se possível,
suporte externo independente para análise dos
179
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

mecanismos e procedimentos do sistema, garantir


a credibilidade das informações e proceder a
avaliações periódicas do seu funcionamento.

Questões para Reflexão:

Suponha que sua organização esteja discutindo a


implantação do sistema de mensuração de desempenho
defendido por McDavid & Hawthorn. Qual das atividades
acima, no seu ponto de vista, seria a mais difícil de se realizar,
e por quê?

Uma vez que o sistema de avaliação baseado na


mensuração de desempenho tenha sido implantado na
organização, deve-se ter em mente que ele garantirá maior
apoio interno e externo se for utilizado em bases regulares. Ou
seja, a mensuração do desempenho deve ser considerada uma
atividade permanente da organização, e os resultados que o
sistema vier a gerar devem ser utilizados em ações
organizacionais; portanto, devem ocorrer na organização
consequências reais de ações tomadas a partir de dados de
desempenho, como no ciclo mostrado na figura anterior.

180
MARCELLO B. ZAPPELLINI

6.2.2 Modelo de Schalock

Schalock (2001) define avaliação baseada nos resultados


como o tipo de avaliação que utiliza resultados objetivos,
baseados nas preferências das pessoas e por elas valorados,
para analisar a efetividade, o custo-benefício ou o impacto de
um programa de ação. Esse método de avaliação, de acordo
com o autor, pode ser utilizado de quatro formas diferentes:
a) Avaliação de programa: determina os resultados atuais e
desejados dos programas, e sob o ponto de vista das
pessoas, bem como seu uso;
b) Avaliação de efetividade: determina até que ponto um
programa alcança os objetivos e metas que propõe;
c) Avaliação de impacto: observa se o programa faz alguma
diferença em comparação com uma alternativa ou com a
hipótese de nenhuma intervenção;
d) Avaliação de política: trata dos resultados de uma
política em termos de equidade, eficiência e efetividade
(SCHALOCK, 2001).

181
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Na prática...

Suponha o caso do Ministério da Saúde tentando avaliar os


resultados do programa de vacinação contra a gripe. Sob a
perspectiva do programa, ele pode identificar quantas pessoas
foram vacinadas em relação ao pretendido, e se as pessoas
tiveram facilidade de obter a vacina. Sob a perspectiva da
efetividade, deve-se verificar se os casos de gripe entre as
populações vacinadas reduziram-se. No ponto de vista do
impacto, pode-se buscar a comparação entre os casos de gripe
reportados por pessoas não vacinadas e aqueles por pessoas
vacinadas, ou então comparar a população servida pelo
programa e as faixas etárias não vacinadas. Finalmente, no que
diz respeito à política, seria importante verificar os custos do
programa, o percentual da população efetivamente vacinado e se
as populações carentes tiveram, pelo menos, o mesmo acesso à
vacinação que o resto.

Existem diversas razões para usar a avaliação baseada


nos resultados, de acordo com o autor, como entender a
contribuição de um programa nas vidas das pessoas, ajudar os
consumidores, cidadãos e famílias a escolher serviços, melhorar
a educação, o cuidado com a saúde e programas sociais, atender
as necessidades crescentes por accountability e aumentar o apoio
da comunidade por meio da demonstração de resultados
devidamente valorados e serviços eficientes. O modelo
proposto por ele baseia-se no pluralismo metodológico, que
consiste em utilizar simultaneamente métodos de pesquisa

182
MARCELLO B. ZAPPELLINI

qualitativa e quantitativa, e adota uma perspectiva formativa: a


avaliação deve ser conduzida para oferecer feedback para a
organização e, dessa forma, estimular mudanças

A avaliação baseada em resultados combina três


elementos:
a) Padrões: há duas perspectivas possíveis de accountability
na avaliação, quais sejam, desempenho e valor;
b) Foco: pode-se enfatizar a perspectiva da organização ou
a do indivíduo;
c) Resultados: devem ser mensuráveis e podem ser
captados por indicadores individuais ou organizacionais
de desempenho ou valor.

Questões para Reflexão:

Identifique como seria a avaliação baseada em resultados na


sua organização, com base nos três elementos: escolha um
padrão e um foco, e defina qual seria o resultado mais
importante a avaliar.

Em seguida, pode-se trabalhar com a descrição do


modelo propriamente dito, destacando-se como aplicá-lo
empiricamente. O primeiro aspecto a considerar refere-se à
escolha de qual tipo (programa, efetividade, impacto ou
política) será adotado; não há propriamente um checklist a ser
183
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

aplicado para determinar essa escolha, mas algumas perguntas


elaboradas por Schalock (2001) são relevantes:
a) Programa: Qual resultado meu programa está gerando
em seus usuários?
b) Efetividade: Meu programa está atingindo suas metas e
objetivos?
c) Impacto: Meu programa é melhor do que outros?
Lembre-se de que é preciso, aqui, considerar a hipótese
do programa também ser melhor do que a alternativa de
nenhum atendimento.
d) Política: Esta política realmente funciona?

Outro aspecto a considerar diz respeito à escolha dos


resultados que devem ser avaliados. Aqui também é possível
considerar quatro possibilidades: resultados do desempenho da
organização (como estabilidade financeira), resultados de valor
da organização (por exemplo, apoio da comunidade),
resultados de desempenho individual (status dos beneficiários
e usuários) e resultados de valor individual (como inclusão
social). É fundamental, de acordo com Schalock, que os
resultados atendam a critérios de accountability e melhoria
contínua. Existem vários critérios que podem ser utilizados
para selecionar os resultados a serem avaliados:

184
MARCELLO B. ZAPPELLINI

• Os resultados são aceitáveis para os responsáveis pelo


programa e pelos stakeholders?
• Os resultados obedecem a critérios estabelecidos como
confiabilidade, validade, clareza, objetividade, acurácia,
expressão quantitativa e padronização?
• Os resultados são econômicos, ou seja, a organização
pode mensurá-los eficientemente a partir dos recursos de
que dispõe?
• Os resultados são tempestivos, ou seja, cobrem o período
desejado de avaliação?
• Os resultados refletem os principais objetivos e metas
individuais e organizacionais?
• Os resultados estão logicamente conectados ao
programa ou intervenção social avaliado? Ou seja, é
possível estabelecer um modelo lógico conectando as
ações aos resultados produzidos?
• Os resultados podem ser avaliados longitudinalmente,
permitindo uma comparação temporal?
• Os resultados são acurados, refletindo os eventos que
realmente ocorreram no período pesquisado:
• Os resultados são culturalmente sensíveis, ou seja,
respeitam os padrões culturais da população avaliada e
as diferenças das minorias, se for o caso?

185
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

• Os resultados são multidimensionais, ou seja, permitem


uma análise do comportamento das pessoas em suas
diferentes dimensões?

Questões para Reflexão:

Aplique as questões acima aos resultados que sua


organização avalia e veja como ela se sai neste critério. Se não
há avaliação de resultados, escolha um dos que sua organização
produz e responda as questões.

Deve-se também prestar atenção aos indicadores que


serão utilizados para a mensuração dos resultados. Existem
vários tipos distintos que podem ser utilizados, mas o principal
aspecto refere-se à sua operacionalização: os indicadores devem
se identificar com resultados específicos, e em segundo lugar
devem utilizar técnicas específicas de mensuração. Uma vez
definidos e calculados os indicadores, deve-se usá-los para
análise e interpretação dos resultados. Neste caso específico,
técnicas estatísticas podem ser empregadas para aumentar a
confiabilidade das interpretações e conclusões obtidas,
trabalhando-se com a perspectiva da sua aplicação em
propostas de ação válidas e adequadas para as necessidades da
organização. Na interpretação de resultados, Schalock
recomenda expressamente tomar cuidado com as influências do
186
MARCELLO B. ZAPPELLINI

contexto nos mesmos; alguns temas precisam de atenção


especial:
a) Em primeiro lugar, é preciso tomar cuidado com o
contexto em que o comportamento estudado ocorre. Não
basta, para avaliar um programa educativo, analisar o
local onde os serviços são prestados, pois condições
familiares e sociais influenciam bastante os resultados.
Além disso, é importante levar em consideração aspectos
culturais envolvidos;
b) Deve-se ter em mente que o contexto é um processo, e
não um dado: ele é instável, dinâmico e mutável, pois
está em permanente transformação por parte dos
participantes, os quais também influenciam a forma pela
qual o programa funciona;
c) A terceira consideração tangencia a distinção entre
ciências básicas e aplicadas. Neste caso, busca-se a
melhor compreensão da realidade da forma pela qual
ocorre em bases diárias;
d) O quarto tema refere-se ao fato de que todo programa
influencia significativamente seu próprio
desenvolvimento, ou seja, todo programa gera
informações que stakeholders relevantes utilizam para
documentar a accountability, a efetividade e a eficiência
da organização.

187
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

6.2.3 Modelo de Moynihan

Para Moynihan (2008), o início do século XXI pode ser


descrito como a “era da governança por desempenho”: obter
melhor desempenho nas atividades realizadas pelo governo
tornou-se uma preocupação central, fundindo-se valores
gerenciais e de eficiência com a efetividade; os gestores públicos
são chamados a justificar suas ações não somente em termos de
eficiência, mas também de produção de resultados. Para ele, a
gestão do desempenho pode ser definida como:

um sistema que gera informação sobre o desempenho por


meio do planejamento estratégico e de rotinas de
mensuração de desempenho e conecta essa informação a
locais de decisão onde, idealmente, a informação influencia
uma gama de decisões possíveis. (MOYNIHAN, 2008, p.
5).

A integração de que fala o autor pode ser visualizada na


Figura 9.

O que o modelo evidencia é a necessidade de conectar


uma visão estratégica do governo à medição de desempenho, e,
em seguida, à disseminação de informações sobre esse
desempenho observado nas organizações públicas, de modo a

188
MARCELLO B. ZAPPELLINI

garantir sua utilização em medidas de correção e de melhoria


do desempenho.

Figura 9: Modelo de Moynihan.


Fonte: Moynihan (2008, p. 6)

Para trabalhar com seu modelo de desempenho,


Moynihan (2008) recomenda tratar em primeiro lugar de
questões relacionadas à motivação dos gestores e à adequação
dos recursos que devem ser mobilizados para a implantação de
um sistema com essas características; além disso, é importante
cuidar de aspectos relacionados à autoridade formal dos
gestores responsáveis, já que a gestão do desempenho envolve
mudanças radicais no funcionamento da organização: há uma
relação circular, afirma o autor, entre as informações de

189
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

desempenho e a autoridade necessária para iniciar e implantar


processos de mudança.

Quanto à avaliação do desempenho propriamente dita,


Moynihan (2008) reconhece que informações a esse respeito são
normalmente ambíguas e pouco claras, sujeitando-se assim a
diferentes interpretações. Como uma solução para o problema,
ele propõe um modelo de “diálogo interativo”, que se baseia na
ideia de diferentes atores, com perspectivas e interesses
distintos no desempenho da organização, que apresentam e
discutem seus pontos de vista sobre essa dimensão. O autor
assume que esse diálogo é político – portanto, é possível
considerar que diferentes alocações de poder influenciarão a
interpretação que se dará a partir das informações de
desempenho.

Cumpre observar que o modelo de Moynihan pouco


esclarece a respeito da coleta e das fontes de informação sobre
o desempenho: seu foco consiste em determinar como utilizar
essas informações para gerar condições organizacionais
adequadas ao desempenho superior

O modelo do diálogo interativo opera em uma


perspectiva de integração entre o orçamento e o desempenho,

190
MARCELLO B. ZAPPELLINI

em que este seria usado para decidir a alocação de recursos


entre as organizações. No entanto, é preciso considerar que a
informação sobre desempenho não é suficientemente
abrangente, é ambígua e subjetiva, e que não existe qualquer
garantia de uso da informação produzida. Além disso, existem
questões como as crenças individuais, a filiação institucional e
o contexto em que o diálogo ocorre, que afetam a forma pela
qual a informação é selecionada, produzida, percebida,
apresentada e utilizada pelas organizações (MOYNIHAN,
2008).

Para que se possa criar e utilizar informações sobre o


desempenho adequadas às necessidades organizacionais,
Moynihan propõe que se constitua uma rede de defensores
(advocates) na organização, ou seja, pessoas que compreendam
adequadamente a informação e defendam formas de sua
utilização; estes profissionais devem promover o melhor uso da
informação com base nas necessidades organizacionais. Deve-
se também criar condições para o diálogo entre os atores
organizacionais, dando a diferentes tipos de atores o acesso à
informação sobre o desempenho. Isso permitirá maior
variedade na interpretação das informações e gerará diferentes
perspectivas; por sua vez, as interpretações distintas
enriquecerão a gama de soluções possíveis para problemas de
desempenho, o que gera maior discussão em relação ao que
191
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

fazer. Pode-se concluir que a promoção do diálogo interativo


entre atores organizacionais na mensuração do desempenho
alimenta o processo de planejamento estratégico da
organização e ajuda a gerar maior volume de alternativas,
aumentando as possibilidades de sucesso na seleção e adoção
da mais adequada para as necessidades da organização. O
modelo pode se constituir numa interessante perspectiva de
aprendizagem organizacional (MOYNIHAN, 2008).

Questões para Reflexão:

Como sua organização está se saindo em termos das


atividades propostas pelo modelo de Moynihan? Há condições
de implantar o modelo de diálogo interativo em sua organização
no momento?

6.2.4 Uma tentativa de síntese

Do exposto acima, parece ficar claro que existem alguns


elementos que são comuns ou subjacentes a todos os modelos
de avaliação da gestão de resultados, os quais se passa, agora, a
apresentar de maneira bastante sintética:
a) Deve haver um compromisso estratégico da organização em
termos de buscar os melhores resultados: sem um
envolvimento da organização em todos os seus níveis e sem
192
MARCELLO B. ZAPPELLINI

o direcionamento dado pela estratégia organizacional, o


sistema não prospera;
b) Estratégias de comunicação são essenciais: não somente a
organização deve se comprometer em esclarecer o que se
busca alcançar para seus funcionários, ela também deve
deixar bem claro à população o seu compromisso em obter
resultados superiores;
c) Desempenho (performance) e resultados estão atrelados: as
atividades organizacionais devem ser pensadas em termos
de como contribuem para os resultados parciais ou finais.
Cada tarefa desempenhada por um funcionário público
deve ser pensada como uma etapa necessária e fundamental
para alcançar um resultado esperado e desejado pela
população;
d) A participação é importante: como os resultados devem ser
pensados em termos do que deve ser produzido ou prestado
pelo setor público para a sociedade, é conveniente envolver
a participação de diferentes stakeholders no processo de
avaliação, o que combina diferentes perspectivas e,
simultaneamente, aumenta o conhecimento do contexto
dentro do qual o serviço ou programa de ação pública está
operando. Além disso, pessoas que não estão envolvidas
com as atividades diretas de produção e prestação de
serviços normalmente oferecem uma perspectiva
diferenciada;
193
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

e) As informações devem ser utilizadas no processo decisório


sempre que necessário: um sistema que não produza
tempestivamente informações na quantidade e na qualidade
exigidas para a tomada de decisão seria inútil. É preciso que
se crie mecanismos que garantam que essas informações
serão usadas adequadamente pelos gestores que tem
responsabilidades de tomada de decisão.

Uma lição muito importante provem do trabalho de


Denhardt (2000): as organizações públicas estão muito mais
próximas do objetivo da transparência e de compartilhar
informações do que as privadas. É importante considerar que
as organizações públicas deverão, cada vez mais, informar a
população a respeito de suas atividades e dos resultados que
alcançam, pois isso não apenas está se tornando uma exigência
legal, no Brasil, como também é uma obrigação: o conceito de
valor público, por exemplo, só pode ser compreendido a partir
da perspectiva da população, que deve estar informada a
respeito de como as organizações alocam recursos para
produzir bens e serviços necessários para a sociedade.

194
MARCELLO B. ZAPPELLINI

QUESTÕES PARA FIXAÇÃO E APROFUNDAMENTO DO


CONTEÚDO

1. Toda avaliação é feita tendo-se em mente um propósito.


Explique como esse princípio influencia a escolha de um
método de avaliação a ser adotado pela organização.
2. Quais são as relações entre a avaliação de resultados e a
accountability? Explique.
3. Compare a ideia de multidimensionalidade dos
resultados defendida por Schalock com o conceito de
KPIs de Parmenter. Existe alguma relação entre eles?
Explique.
4. Tendo em mente que você pretende implantar um
método de avaliação dos resultados e do desempenho da
sua organização, qual dos que foram tratados aqui você
adotaria? Por quê? ATENÇÃO: Suponha que sua
organização possui recursos suficientes para utilizar
qualquer um deles.
5. Os construtos de que falam McDavid e Hawthorn são
idênticos aos conceitos que norteiam a construção de
indicadores? Explique.

195
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

7 A TEORIA DO PROGRAMA COMO FERRAMENTA DE


AVALIAÇÃO

Este capítulo está dedicado a definir e apresentar um


modelo de avaliação que pode contribuir bastante para a
avaliação dos resultados, qual seja, a teoria do programa. Por
insistir num modelo lógico e causal entre atividades e
resultados de um programa de ação pública, a teoria do
programa pode ser bastante útil no sentido de auxiliar os
gestores não somente em termos de quais resultados devem ser
avaliados, mas também no que diz respeito a como eles se
relacionam logicamente às ações e atividades realizadas.

7.1 CONCEITO DE PROGRAMA

Para Rossi, Lipsey e Freeman (2004), um programa ou


intervenção social é um esforço organizado, planejado e
contínuo para melhorar as condições sociais ou solucionar um
problema social. Este conceito é corroborado por Cano (2007),
que conceitua o programa social como uma intervenção
sistemática e planejada que objetiva a mudança na realidade
social. Embora interessantes, essas definições precisam de uma
complementação, focalizando aspectos internos.

196
MARCELLO B. ZAPPELLINI

Para Newcomer, Hatry e Wholey (2004), um programa é


um conjunto de recursos dirigidos a uma ou mais metas
comuns, podendo ser dirigido por uma só pessoa ou por uma
equipe, envolvendo atividades desempenhadas em apenas uma
organização ou por diversas organizações, públicas, privadas,
do Terceiro Setor ou em níveis governamentais diferentes. Os
programas sociais são empreendimentos complexos que
incorporam uma ampla variedade de recursos, pessoas,
procedimentos e estilos, sendo muitas vezes difícil descrever o
que realmente são, compreender seu conteúdo e atribuir os
resultados observados às suas ações (WEISS, 1998).

Chen (1990), por sua vez, definiu inicialmente um


programa como o esforço propositado e organizado de
intervenção em um processo social contínuo para resolver um
problema ou fornecer um serviço. Posteriormente (2005) ele
reelaborou sua definição para deixar claro que os programas
sociais buscam aumentar o bem-estar das pessoas.

Todo programa, conforme Chen (2005), ao ser analisado


em uma perspectiva sistêmica, deve desempenhar duas
funções:
a) Internamente, todo sistema deve garantir a transformação
de recursos em produtos desejáveis;

197
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

b) Externamente, todo sistema deve interagir com o seu


ambiente para garantir os recursos e o apoio necessário para
sobreviver.

Os componentes do programa, de acordo com Chen


(2005) são as entradas (inputs), que representam recursos
retirados do ambiente (como tecnologia, equipamentos,
pessoal, instalações, recursos financeiros, etc.), as
transformações (os processos que garantem a conversão dos
recursos em produtos e garantem os serviços aos clientes), e os
produtos (outputs), que são as saídas finais do processo e devem
estar associados às metas do programa ou ação social. O
programa se insere no ambiente, que representa os fatores que
podem promover ou restringir sua implementação. Para ser
bem sucedido, o programa precisa de informações sobre os
recursos, as transformações, os produtos e o ambiente, exigindo
assim o feedback; sem este, o sistema deteriora e eventualmente
desaparece (CHEN, 2005).

Na prática...

Acesse o site de um ministério, como o da Saúde, o dos


Transportes ou o da Educação, e faça um levantamento das
atividades que são caracterizadas como programas no mesmo.
Escolha uma dessas atividades e verifique se ela se enquadra
no conceito de programa que está sendo defendido aqui.

198
MARCELLO B. ZAPPELLINI

A figura 10 representa esquematicamente um programa


a partir da visão sistêmica.

Figura 10: Visão sistêmica de um programa social


Fonte: Chen, 2005, p. 4.

Questões para Reflexão:

Procure, em sua organização, alguma atividade que se


caracterize como um programa, e tente desenhar a figura acima
para esse programa de ação.

As interações entre os recursos, transformações e


produtos dentro do sistema, bem como a interação deste com o
ambiente, são dinâmicas e mutáveis, exigindo dessa forma
permanentes esforços de avaliação para verificar se o programa
está alcançando seus objetivos e metas e, desta forma, está
auxiliando na construção da mudança social na direção
pretendida por seus responsáveis e formuladores.

199
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

7.2 A TEORIA DO PROGRAMA

Para Chen (1990), a teoria é um quadro de referência que


auxilia as pessoas a entenderem o mundo e a desempenharem
funções dentro de seu contexto. Para Sidani e Sechrest (1999, p.
228),
uma teoria é uma tentativa ampla de organizar e explicar
fenômenos que ocorrem no mundo. Uma teoria “conota
um corpo de conhecimento que organiza, categoriza,
descreve, prevê, explica e de qualquer forma ajuda a
entender e controlar um tópico”. [...] Uma teoria contém
um grupo consistente de proposições que apresentam uma
visão sistemática sobre fenômenos que ocorrem em
situações da vida real. [...] Uma teoria é usada para
organizar e dirigir pensamentos, observações e ações.

A teoria do programa é um conceito desenvolvido pelos


trabalhos de dois estudiosos da avaliação: Peter Rossi e Huey-
Tsyh Chen. Como a maior parte dos conceitos dentro das
ciências sociais, não se pode precisar adequadamente quem
criou a teoria do programa: já no início da década de 70 Carol
Weiss defendia maior preocupação com a formulação teórica
dentro da avaliação, mas um trabalho publicado em 1983 por
Chen e Rossi (“Evaluating with sense: The theory-driven
approach”) na Evaluation Review é usualmente considerado
como o principal divulgador da teoria do programa como

200
MARCELLO B. ZAPPELLINI

ferramenta de avaliação. Cumpre, então, definir o que é essa


teoria.

Uma teoria do programa está voltada para o


entendimento dos efeitos esperados de um programa,
consistindo num conjunto de proposições que descrevem um
programa particular e explicam por que, como e sob quais
condições seus efeitos ocorrem, prevê seus resultados, e
especifica o que deve ser feito para alcançar os efeitos desejados
(SIDANI; SECHREST, 1999). Na visão de Rogers et alii (apud
CHRISTIE; ALKIN, 2003), a teoria do programa é um modelo
ou teoria explícito de como o programa causa os resultados
pretendidos ou observados ou, nas palavras de Weiss (1998), os
mecanismos que intermediam o fornecimento dos serviços e o
surgimento de resultados; ela deve enfatizar as respostas que as
pessoas dão às atividades do programa (WEISS, 1998).

Toda teoria, de acordo com Christie e Alkin (2003), deve


ser utilizada para guiar a prática (um conceito que ecoa a visão
de Weiss, 1998: a teoria é um conjunto de crenças subjacentes à
ação). No caso de uma teoria da avaliação, esta deve especificar
seu foco e papel, as questões específicas a serem estudadas, o
design, a implementação e o uso dos resultados da avaliação
(CHRISTIE; ALKIN, 2003). É conveniente observar que a teoria
é essencialmente hipotética: as hipóteses são as bases sobre as
201
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

quais os planos do programa são construídos, e não são


necessariamente aceitas por todos (WEISS, 1998).

Chen (1990, p. 43) define a teoria do programa como “[...]


a especificação do que deve ser feito para atingir as metas
desejadas, que outros impactos importantes podem também ser
antecipados, e como estas metas e impactos seriam gerados.” A
teoria do programa se divide em duas partes:
a) Teoria normativa: é o elemento prescritivo e trata de como
a estrutura do programa deve ser, fornecendo elementos para
definir quais metas ou resultados devem ser buscados e
como os processos devem ser desenhados e implementados.
Uma teoria normativa provém de premissas, suposições,
procedimentos costumeiros, conhecimentos e teorias
anteriores, e fornece a racionalidade e a justificativa para a
estrutura e as atividades do programa;
b) Teoria causativa: elemento descritivo, lida com os
mecanismos que relacionam as entradas, os processos e os
produtos. A teoria causativa especifica como o programa
trabalha, identificando como os processos funcionam e
quais são suas prováveis consequências. Uma teoria
causativa é empírica e representa os conhecimentos práticos
a respeito das relações causais entre os inputs, os processos e
os resultados alcançados (CHEN, 1990).

202
MARCELLO B. ZAPPELLINI

Questões para Reflexão:

Entre no site da saúde e procure um programa de atenção à


saúde básica. Verifique a descrição do mesmo e reflita sobre o
tipo de teoria que a sustenta: causativa ou normativa?

De acordo com Sidani e Sechrest (1999), o elemento


normativo especifica a natureza, a intensidade e a duração das
atividades a serem desempenhadas para alcançar os resultados
pretendidos, os recursos humanos e materiais necessários e os
procedimentos a serem seguidos para que o programa forneça
os serviços definidos, enquanto que o causativo define o
problema para o qual o programa foi desenhado, prevê
resultados desejados, especifica os processos causais pelos
quais se espera que o programa produza tais resultados, e
identifica as condições sob as quais os processos causais se
desenvolvem.

É importante distinguir entre a teoria articulada do


programa, que se encontra explicitada em documentos e é bem
compreendida pelo staff e pelos stakeholders, e a teoria implícita,
uma teoria tácita que não foi adequadamente explicitada nem
registrada na documentação utilizada pelo staff e pelos
stakeholders (WEISS apud ROSSI; LIPSEY; FREEMAN, 2004).

203
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

O problema da causalidade vem sendo examinado na


ciência há bastante tempo, e é central na teoria do programa. De
acordo com Cano (2007), três requisitos devem ser cumpridos
para que se possa falar em uma relação causal entre dois
elementos quaisquer: em primeiro lugar, deve existir uma
associação ou covariação entre os dois elementos, em que a
variação de um está associada à do outro; a seguir, deve-se
determinar em que direção isso ocorre, ou seja, definir qual
elemento é a causa do outro; por fim, é preciso excluir
explicações alternativas ou outras dimensões que possam estar
causando simultaneamente os dois elementos.

A teoria do programa deve ser distinguida da teoria da


implementação. Este conceito foi criado por Carol Weiss (1998)
para indicar como o programa realiza as coisas que pretende,
movendo-se do planejado para atividades efetivas e
transformando objetivos e metas em práticas na ação social. “A
implementação abrange implicitamente uma teoria sobre o que
é requerido para traduzir objetivos em fornecimento contínuo
de serviço e operações de programa." (WEISS, 1998, p. 58).

A construção da teoria do programa pode utilizar três


métodos, de acordo com Leew (2003):

204
MARCELLO B. ZAPPELLINI

a) Político-científico: inicialmente, consiste em identificar


mecanismos comportamentais que, de acordo com o que se
espera, podem resolver o problema. Em seguida, devem ser
procuradas, nos documentos do programa, proposições que
demonstrem que tais mecanismos são considerados
essenciais para a obtenção dos resultados; essas proposições
e mecanismos devem ser ligados às metas do programa, e
reformuladas em proposições do tipo “se... então”. A etapa
seguinte consiste em buscar justificativas para essas
proposições, que também deverão ser reformuladas como
proposições condicionais “se... então”, buscando identificar
relações causais. Por fim, as proposições são avaliadas em
termos de sua validade, buscando identificar sua
consistência lógica, seu conteúdo empírico e seu foco em
variáveis que possam ser manipuladas ou “dirigidas” pelo
programa;
b) Estimativa estratégica: utiliza uma perspectiva de
empowerment, em que um conjunto de equipes é formado a
partir de indivíduos interessados no programa social (deve-
se garantir que as equipes tenham pontos de vista diferentes
umas das outras, mas contem com convergência de opiniões
dentro delas). Em seguida, as equipes devem definir as
proposições e hipóteses que, em sua opinião, fundamentam
o programa, produzindo dessa forma uma estratégia. A
terceira etapa consiste no “debate dialético” entre as
205
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

equipes, devendo cada uma delas apresentar da melhor


forma possível sua estratégia; as equipes devem debater as
diferentes estratégias, gerando o melhor conhecimento
possível sobre as estratégias preferidas dentro de cada
grupo. Por fim, busca-se uma síntese das estratégias,
definindo-se as proposições sobre as quais as equipes
concordam, formando assim as bases para o consenso;
c) Metodologia de extração: modelos mentais e mapas
cognitivos são desenvolvidos dentro das organizações para
compreender os programas e seus impactos. É essencial
produzir a ligação entre os modelos e mapas e os resultados
desejados do programa, pois eles indicam o que ocorre
dentro de uma organização e como ela se comporta.

Uma distinção final deve ser feita nesta seção: embora


muitos autores costumem equiparar os conceitos de teoria do
programa e de modelo lógico, Chen (2005) assevera que aquela
não pode ser confundida com este. A técnica do modelo lógico,
aliás, é anterior ao conceito de teoria do programa.

O modelo lógico é um “[...] modelo plausível e sensível


de como o programa irá operar sob determinadas condições
ambientais para resolver os problemas identificados.”
(McLAUGHLIN; JORDAN, 2004, p. 8), e pode ser considerado

206
MARCELLO B. ZAPPELLINI

como um organizador de idéias para o desenho e a


implementação de uma avaliação, composto por alguns
elementos: os recursos, as atividades, os produtos, os clientes
ou usuários, os resultados de curto, médio e longo prazos
(McLAUGHLIN; JORDAN, 2004). Para Chen (2005), enquanto
o modelo lógico busca desenvolver formas para a avaliação da
ação, provendo o avaliador com marcos de passagem e
quantificando as atividades, a teoria do programa tenta
determinar o que confere solidez a um programa.

7.3 AVALIAÇÃO DIRIGIDA PELA TEORIA

A avaliação dirigida pela teoria de acordo com Sidani e


Sechrest (1999) advoga alguns princípios:
a) Deve-se modelar os mecanismos subjacentes aos efeitos
de um programa em termos dos processos causais
responsáveis pela produção dos resultados esperados do
programa e dos procedimentos a serem seguidos quando
da implementação;
b) É preciso coletar os dados pertinentes às variáveis
especificadas no programa, incluindo as que se
relacionam com as características da população-alvo, a
implementação, os processos que geram os efeitos
pretendidos e os resultados antecipados pelas metas e
objetivos definidos;
207
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

c) Por fim, examina-se a correspondência entre os


processos e resultados observados e as hipóteses
formuladas no programa, produzindo uma
interpretação válida das descobertas, quer elas indiquem
efeitos significativos ou fracassos do programa.

A avaliação dirigida pela teoria esclarece os


pressupostos teóricos subjacentes à intervenção social em
termos de uma sequência de causas e efeitos; os dados são
coletados para examinar o quão bem cada etapa dessa
sequência é conduzida (o que permite ao avaliador identificar
onde ocorrem os problemas, caso existam, já que o programa é
dividido em etapas sequenciadas e cada etapa é examinada), e
sua análise busca determinar se as condições requeridas estão
em seu devido lugar para que os resultados desejados sejam
alcançados – se estiverem, e a teoria estiver correta, o programa,
pode-se afirmar, tem grande probabilidade de sucesso
(CARVALHO; WHITE, 2004).

Uma avaliação dirigida pela teoria desenvolve, conforme


Christie e Alkin (2003), a teoria do programa, e a utiliza como
guia para a avaliação do próprio programa. Ou seja, trata-se de
um processo em duas etapas: em primeiro lugar, o(s)
avaliador(es) formula(m) uma teoria que explique como o

208
MARCELLO B. ZAPPELLINI

programa funciona e como produz os resultados esperados; a


seguir, o desenho da avaliação é produzido a partir das
premissas e proposições contidas na teoria. Como observam
Rossi, Lipsey e Freeman (2004), a teoria do programa fornece a
base para a formulação e a definição de prioridades em termos
de questões avaliativas, o design da pesquisa de avaliação, além
de interpretar as descobertas.

De acordo com Carvalho e White (2004, p. 143),


a avaliação dirigida pela teoria é particularmente útil
quando os produtos e resultados não são prontamente
observáveis, quer seja porque é cedo demais para terem
ocorrido, quer porque não sejam de fácil observação. Ela
também é útil para entender os fatores causais para os
efeitos observados.

Weiss (2007) apresenta duas situações em que


comumente se adota a avaliação dirigida pela teoria do
programa:
a) O avaliador é também o responsável pela formulação do
programa de ação social, desenvolvendo a teoria,
operacionalizando-a nas atividades do programa social,
testando-o e revisando a ação ou intervenção social;
b) Existe um desenvolvimento consciente, baseado na teoria,
do programa. Algumas teorias sociais estão bem

209
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

desenvolvidas e bem assentadas junto aos profissionais e


estudiosos, permitindo seu uso sem maiores dificuldades.

Com a teoria do programa em mãos, o avaliador formula


perguntas, estabelece indicadores, define meios de coleta,
tratamento e análise de dados, determina as fontes de
informação, enfim, estabelece o design da avaliação. O principal
aspecto, portanto, é produzir a teoria do programa.

Como observam Rossi, Lipsey e Freeman (2004), não


existe um consenso a respeito de como elaborar a teoria do
programa, por isso o restante desta seção será dedicado à
apresentação de algumas metodologias de formulação da teoria
do programa. Em primeiro lugar, será descrita a “estimativa de
avaliabilidade” (evaluability) criada por Wholey, seguida pela
metodologia de Rossi, Lipsey e Freeman, concluindo-se com a
construção da teoria de programa conforme Chen.

7.3.1 Formulação da teoria do programa: A “estimativa de


avaliabilidade” de Wholey

Joseph S. Wholey, de acordo com Rossi, Lipsey e


Freeman (2004), foi o responsável por uma das primeiras
tentativas de trabalhar a teoria do programa, advogando a

210
MARCELLO B. ZAPPELLINI

adoção do que chamou de estimativa de avaliabilidade, que


permite estimar as demandas de informação e os tipos possíveis
de avaliação, definindo designs de avaliação relevantes e úteis
para as necessidades dos usuários (WHOLEY, 2004).

Um programa pode ser avaliado quando:


a) Suas metas e necessidades prioritárias de informação
estão bem definidas;
b) As metas são plausíveis;
c) É possível obter dados relevantes de desempenho a
custos razoáveis;
d) Os usuários dos resultados da avaliação concordam em
como a informação será utilizada (WHOLEY, 2004).

A estimativa de avaliabilidade esclarece o design do


programa, explora sua realidade e ajuda a redesenhá-lo, caso
não seja possível atender aos quatro critérios supracitados. Ela
não somente demonstra se um programa pode ser avaliado
como também define qual tipo de avaliação contribuirá para a
melhoria da performance ou desempenho (WHOLEY, 2004).

O modelo exige a realização de seis etapas:


a) Envolver os usuários da informação: o avaliador deve
interagir com os policymakers, os gestores e com o staff do
programa, para que a avaliação seja feita em
211
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

conformidade com as expectativas dos envolvidos com a


ação;
b) Esclarecer as intenções do programa: muitos programas
são deliberadamente formulados de maneira vaga. O
avaliador deve esclarecer as relações entre os recursos, as
atividades e os resultados pretendidos na perspectiva
dos policymakers, gestores, staff e demais grupos de
interesse. É preciso documentar as metas, as
expectativas, proposições causais e necessidades de
informação para clarificar os indicadores de
desempenho e as evidências que permitirão a avaliação
do programa. Duas fontes de informação são úteis: a
documentação do programa e as entrevistas com os
gestores, policymakers e demais stakeholders relevantes.
Essas informações devem produzir modelos lógicos do
programa e uma listagem de indicadores de
desempenho (deve haver concordância entre os
stakeholders a respeito de quais indicadores devem ser
usados);
c) Explorar a realidade do programa: nesta etapa, deve-se
documentar as possibilidades de mensurar o
desempenho do programa e estimar as probabilidades
de atingimento de suas metas. As principais fontes de
informação, além da documentação do programa, são as

212
MARCELLO B. ZAPPELLINI

visitas in loco e eventuais observadores externos. O


avaliador deverá comparar o que foi planejado com o
que está sendo de fato implementado, em termos de
recursos, atividades e resultados; identificar problemas
que estejam inibindo o desempenho; finalmente, deverá
identificar medidas plausíveis do desempenho do
programa;
d) Obter um acordo sobre as mudanças necessárias no
design do programa: neste momento, o avaliador poderá
ter observado a necessidade de introduzir mudanças no
programa. As informações obtidas e analisadas a partir
das três primeiras etapas devem produzir aprendizado
e, quando necessário, explorar opções de mudança. É
comum os recursos serem insuficientes ou inadequados,
existirem metas implausíveis, e os próprios responsáveis
pelo programa constarem a necessidade de cumprir
outras metas. O avaliador pode sugerir mudanças no
design do programa para melhorar seu desempenho;
e) Explorar designs alternativos de avaliação: existem
diversas formas de avaliar um programa social, e
dependendo da situação, o avaliador poderá sugerir
outros desenhos. Alguns fatores precisam ser discutidos:
• Dados a coletar;
• Análises a realizar;
• Custos prováveis dessas coletas e análises;
213
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

• Tempo necessário;
• Custos políticos e burocráticos;
• Usos da informação coletada;
f) Obter concordância em termos de prioridades de
avaliação e nos usos pretendidos das informações
geradas pela avaliação: o avaliador deve encorajar os
policymakers, gestores e o staff a utilizarem a informação
gerada pela avaliação e, em alguns casos, em termos de
realização de avaliações adicionais (WHOLEY, 2004).

O resultado final da estimativa de avaliabilidade pode


ser descrito como uma sequência lógica de elementos,
apresentada na figura 11.

Uma última recomendação: deve-se proceder de


maneira iterativa, repetindo o processo quantas vezes forem
necessárias para que a estimativa de avaliabilidade possa ser
concluída, já que “cada iteração da estimativa de avaliabilidade
permite ao avaliador fornecer nova informação e alcançar um
senso melhor das posições administrativas nas quais as opções
parecem ser mais úteis” (WHOLEY, 2004, p. 58).

214
MARCELLO B. ZAPPELLINI

Figura 11: Esquema de uma estimativa de avaliabilidade


Fonte: adaptado de um exemplo apresentado por Wholey, 2004,
p. 55

Embora seja uma técnica independente, a estimativa de


avaliabilidade pode ser usada como uma preparação para a
formulação de teorias de programa em outras abordagens.
Rossi, Lipsey e Freeman (2004), em particular, defendem o uso
da estimativa de avaliabilidade como uma etapa preliminar
para sua própria metodologia de avaliação.

Questões para Reflexão:

O Programa Minha Casa Minha Vida do governo federal está


voltado para a redução do déficit habitacional brasileiro. Procure
informações sobre o programa e produza um esquema de estimativa
de avaliabilidade do mesmo, usando como base a figura 11.

215
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

7.3.2 A abordagem de Rossi, Lipsey e Freeman para formulação


da teoria do programa

Para Rossi, Lipsey e Freeman (2004), a teoria do


programa é a fundação sobre a qual todo o programa social
repousa. Ela deve ser articulada, ou seja, deve ser feita a
descrição das concepções, proposições e expectativas que
constituem a base lógica sobre a qual o programa se estrutura e
desempenha suas operações (ROSSI; LIPSEY; FREEMAN,
2004). Normalmente, observam esses autores, a teoria não se
encontra suficientemente desenvolvida e precisa ser articulada
e sintetizada pelo avaliador (ou seja, para usar a dicotomia de
Weiss supracitada, a teoria do programa normalmente se
encontra implícita). A teoria do programa pode tanto ser feita
antes do planejamento quanto como uma preparação para a
avaliação do programa – mas antes desta ser feita, é preciso
estimar a própria validade e consistência da teoria.

A metodologia de Rossi, Lipsey e Freeman (2004) propõe


três componentes distintos, porém inter-relacionados, para a
descrição de uma teoria de programa:
a) Teoria do impacto: conjunto de proposições sobre o
processo de mudança iniciado pelo programa e a
melhoria social pretendida. Proposições sobre como o

216
MARCELLO B. ZAPPELLINI

serviço e o programa produzirão a mudança na


população-alvo são definidas e elaboradas nesta etapa,
que descreve a mudança social desejada. Ou seja, este
elemento se associa diretamente aos resultados previstos
para a ação social;
b) Plano de utilização de serviços: refere-se às proposições
e suposições a respeito de como o programa irá alcançar
a população-alvo, como contatar a população e prestar
serviços, e encerrar o relacionamento com esta quando
não houver mais necessidade de serviços. Tudo isso deve
ter o ponto de vista do usuário do serviço, e as
proposições elaboradas são a respeito de como as
pessoas utilizarão os serviços do programa, devendo ser
consideradas suas necessidades e conveniências. Este
elemento relaciona-se com os processos de produção do
serviço;
c) Plano organizacional: refere-se aos recursos físicos e
financeiros, ao pessoal e à administração e organização
gerais necessários para prestar os serviços. São
elaboradas proposições sobre como o programa, caso
tenha os recursos previstos, seja administrado e
organizado de certa maneira, poderá fornecer os serviços
desejados pela população e previstos pelos
formuladores. Da mesma forma que o plano de

217
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

utilização do serviço, este plano se relaciona com os


processos.

Esses elementos podem visualizados com maior precisão


na figura a seguir, que permite compreender suas interrelações,
uma vez que os três elementos devem ser considerados como
partes de um todo, conforme a Figura 12.

Figura 12: Visão geral da teoria do programa


Fonte: Rossi, Lipsey e Freeman, 2004, p. 140

Na figura 12, “população-alvo” refere-se ao grupo social


que se pretende beneficiar com o programa social; “arena de
serviço” é o local em que as atividades são desempenhadas
pelos funcionários e entregues aos usuários e beneficiários do
programa. Por fim, “programa” diz respeito às atividades

218
MARCELLO B. ZAPPELLINI

propriamente ditas, tal como definidas e planejadas pelos seus


responsáveis.

Cumpre analisar com maior detalhamento os três


componentes da teoria do programa de acordo com a
metodologia de Rossi, Lipsey e Freeman (2004). Esquemas
ilustrativos são apresentados:
I) Teoria do impacto: é uma teoria causal que descreve a
sequência de causa e efeito entre as atividades do programa
(que funcionam como causas) e os benefícios sociais
produzidos (os efeitos). Normalmente é visualizada por
meio de um diagrama causal em que cada elemento pode ser
tanto uma causa quanto um efeito das etapas previstas
(ROSSI; LIPSEY; FREEMAN, 2004).

A figura a seguir ilustra esta ideia (observe-se que


o programa prevê três atividades, e que o box “melhores
empregos” representa um resultado imediato, enquanto que
“melhor status econômico”, um resultado de longo prazo):

219
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Figura 13: Uma teoria de impacto para um programa de


capacitação para o mercado de trabalho
Fonte: Rossi, Lipsey e Freeman, 2004, p. 143

Em termos lógicos, supõe-se que, se a pessoa


receber treinamento para o trabalho, então adquirirá
maiores habilidades de trabalho, maiores habilidades na
busca de emprego e na participação de processos seletivos e
terá maior motivação para o trabalho. Qualquer um dos três
elementos conduzirá a melhores empregos, e
consequentemente melhoria no status econômico do
beneficiário;
II) Plano de utilização do serviço: este plano focaliza as
proposições críticas sobre como e por que a população-alvo
pretendida para o programa irá realmente se engajar no
220
MARCELLO B. ZAPPELLINI

mesmo, participando das atividades previstas, e o seguirá


(ou seja, continuará utilizando seus serviços), até obter
serviços suficientes para que a mudança social prevista na
teoria do impacto venha a ser realizada, descrevendo as
transações de serviço na perspectiva dos usuários (ROSSI;
LIPSEY; FREEMAN, 2004). O fluxograma representado na
figura 14 apresenta um plano de utilização do serviço.
III) Plano organizacional do programa: articulado a partir da
perspectiva da administração do programa, este plano
abrange as funções e atividades que o programa deve
realizar, bem como os recursos humanos, físicos e
financeiros exigidos para o desempenho. Os serviços do
programa são centrais dentro deste plano, já que apresentam
as atividades que constituem o papel básico do programa
nas transações de serviço que deverão levar aos benefícios
sociais. Pode incluir também atividades que afetem ou
apoiem a organização na prestação contínua do serviço. A
figura 15 apresenta um diagrama com o plano
organizacional para o serviço de orientação profissional:

221
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Figura 14: Plano de utilização do serviço para um programa de


capacitação para o mercado de trabalho

222
MARCELLO B. ZAPPELLINI

Fonte: adaptado de um exemplo de Rossi, Lipsey e Freeman,


2004, p. 144

Figura 15: Plano organizacional para um programa de


capacitação para o mercado de trabalho
Fonte: adaptado de um exemplo de Rossi, Lipsey e Freeman,
2004, p. 145

O primeiro aspecto a ser considerado na formulação da


teoria do programa consiste em definir os limites do programa,
o que deve ser feito a partir da perspectiva dos decisores que
deverão agir a partir dos resultados da avaliação e representa o
que eles podem ou não fazer, devendo ser garantido que todos

223
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

os recursos e atividades previstos para o fornecimento do


serviço serão definidos – o que pode ser feito definindo os
benefícios e trabalhando “de trás para frente” até chegar aos
recursos necessários (ROSSI; LIPSEY; FREEMAN, 2004).

O passo seguinte consiste em explicar a teoria,


descrevendo-a no caso ela esteja devidamente articulada, ou
desenvolvê-la, no caso de uma teoria implícita. É preciso
trabalhar diretamente com os stakeholders para desenhar a teoria
representada em suas ações e hipóteses, buscando informações
nos documentos do programa, entrevistando pessoal
relacionado, visitas in loco, e na literatura sobre a ação social
(ROSSI; LIPSEY; FREEMAN, 2004).

Como terceira etapa, deve-se definir os objetivos e metas


do programa, que devem ser representados na teoria. Os
objetivos e metas identificados na documentação do programa
não são necessariamente aqueles que aparecerão na teoria – esta
deve identificar aqueles que podem ser realisticamente
atingidos pelas ações do programa, ou seja, aqueles que
apresentam conexões entre as atividades e os resultados do
programa (ROSSI; LIPSEY; FREEMAN, 2004).

224
MARCELLO B. ZAPPELLINI

Em seguida, deve-se identificar as funções, atividades e


os componentes do programa, associando os elementos de
ações e recursos às funções a serem desempenhadas. Na quinta
etapa é preciso descrever a lógica ou sequência que liga as
funções às atividades e componentes do programa, indicando
sequenciamento temporal e as relações e ligações lógicas entre
os elementos; um fluxograma ajuda a compreender essa lógica
(ROSSI; LIPSEY; FREEMAN, 2004).

Por fim, é preciso corroborar a descrição do programa. A


teoria do programa normalmente descreve o programa
pretendido, não o programa real – uma diferença
absolutamente natural, mas que deve ser devidamente
trabalhada para que se possa determinar a magnitude dessas
diferenças. O resultado final dessas etapas deve ser uma “[…]
declaração detalhada e completa do programa como planejado,
que pode ser analisada e avaliada como um aspecto distinto da
avaliação.” (ROSSI; LIPSEY; FREEMAN, 2004, p. 152).

É preciso produzir uma avaliação da própria teoria do


programa para verificar sua solidez. Algumas práticas são úteis
nesta etapa:
a) Estimativa da relação da teoria do programa com as
necessidades sociais;

225
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

b) Revisão da lógica e da plausibilidade da teoria, o que pode


ser feito por um panel de especialistas na ação social ou em
avaliação;
c) Comparação com a pesquisa e a prática existentes sobre a
ação social, buscando programas semelhantes que possam
ser usados como parâmetros;
d) Observações preliminares, analisando os resultados
intermediários e a forma de implementação do programa
(ROSSI; LIPSEY; FREEMAN, 2004).

Questões para Reflexão:

Uma vez que você produziu a estimativa de avaliabilidade


do programa Minha Casa, Minha Vida, construa a teoria do
impacto, o plano de utilização de serviços e o plano
organizacional para a atividade de concessão de financiamentos
desse programa.

7.3.3 A abordagem de Chen para a formulação da teoria do


programa

Chen desenvolveu seu conceito de avaliação dirigida


pela teoria em seu livro de 1990, mas continuou trabalhando em
cima do mesmo até chegar a uma formulação definitiva em
2005, sendo esta a formulação utilizada neste trabalho. Em

226
MARCELLO B. ZAPPELLINI

primeiro lugar, é preciso observar que Chen (2005) distingue


entre proposições descritivas a respeito dos aspectos causais
referentes aos problemas sociais que o programa deve
solucionar, e proposições prescritivas, que dizem respeito ao
que os formuladores e stakeholders consideram necessário em
termos de atividades que devem ser desempenhadas para que
o programa possa ser bem-sucedido em suas funções. O
conjunto de proposições descritivas forma o que alguns autores
chamam “modelo de mudança” do programa, enquanto que
das prescritivas forma o “modelo de ação” (CHEN, 2005). Esses
modelos, observa o autor, são muito úteis para propósitos de
comunicação com o público não totalmente familiarizado com
a avaliação.

Para avaliar com base na teoria, Chen (2005) sugere


construir os modelos de mudança e de ação; para tanto, é
preciso verificar quais são seus componentes. O modelo de
mudança é formado pelos seguintes elementos:
a) Metas e resultados: as metas referem o desejo de satisfazer
necessidades, e são estabelecidas à luz de proposições
previamente assumidas pelo staff e stakeholders do programa,
refletindo conhecimento sobre relações causais. Os
resultados, por sua vez, são aspectos concretos e
mensuráveis associados ao programa, podendo ser de curto,
médio e longo prazos;
227
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

b) Determinantes: cada programa, de acordo com Chen (2005),


deve identificar um mecanismo de alavancagem ou causa de
problema sobre o qual seja possível desenvolver uma
intervenção ou tratamento. Tão logo essa causa seja
devidamente atacada, as metas serão atingidas. O
determinante refere-se ao que os responsáveis pelo
programa consideram ser a principal causa do problema. É
importante observar que problemas sociais dificilmente
apresentam uma só causa, mas os programas de ação
normalmente focalizam apenas uma, considerada a
principal causa, ou então a que apresenta maior
probabilidade de ser devidamente trabalhada, conduzindo
à solução do problema. As ciências sociais, outros
programas bem-sucedidos, e as experiências dos
responsáveis auxiliam a definir os determinantes;
c) Intervenção ou tratamento: consiste nas atividades
diretamente relacionadas a mudar um determinante – ou
seja, é o “agente de mudança” do programa social. A
hipótese fundamental aqui é a de que, se o programa
realizar as atividades previstas, o determinante será
mudado e as metas serão alcançadas.

O modelo de ação é um plano sistemático para combinar


staff, recursos, cenários e organizações de apoio para atingir a

228
MARCELLO B. ZAPPELLINI

população-alvo e fornecer serviços, definindo as principais


atividades a serem desempenhadas, garantindo um ambiente
favorável ao programa, recrutando e alistando a população-
alvo adequada, empregando e treinando o staff, desenvolvendo
modelos de fornecimento de serviço, desenhando uma
organização, etc. Seus elementos básicos são:
a) Protocolos de intervenção e de prestação do serviço: o
protocolo de intervenção é um documento que consolida a
natureza, conteúdo e as atividades planejadas para a
intervenção social, enquanto que o protocolo de prestação
de serviços consiste nos procedimentos de processamento
de clientes, definição de responsabilidades, contextos
formais ou informais em que as atividades são
desempenhadas e canais de comunicação;
b) Organizações de implementação: é preciso definir a
organização (ou organizações) responsável pelo programa,
definindo os recursos a serem alocados, as atividades, o
pessoal e a estrutura. Deve-se garantir que a organização
seja capaz de fazer o melhor uso de suas capacidades;
c) Responsáveis pela implementação do programa: deve-se
recrutar, treinar e manter a competência e o
comprometimento dos funcionários responsáveis pela
implementação do programa;
d) Colaborações: é importante contar com organizações
associadas ou parceiros na comunidade, garantindo relações
229
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

de colaboração entre a organização responsável pela


implementação do programa e outras organizações que
tenham interesse nesse problema social. Parcerias e
colaborações ajudam o avaliador a produzir um enfoque
holístico sobre o programa;
e) Contexto ecológico: o contexto ecológico diz respeito aos
elementos do ambiente geral que afetam diretamente o
programa. Os programas sociais têm necessidade desse
apoio ambiental para desempenharem suas funções, tanto
no nível micro (que diz respeito a variáveis sociais,
psicológicas e materiais necessárias à participação dos
clientes nas atividades) quanto no nível macro (apoio
político, normas da comunidade, fatores culturais, processos
econômicos). O programa bem-sucedido em garantir apoio
no nível macro é chamado pro Chen programa de
intervenção em múltiplos níveis, que obtém apoio não
somente dos interessados, mas da comunidade como um
todo;
f) População-alvo: é o grupo de pessoas para o qual o
programa está dirigido. Tais pessoas devem ser
identificadas, preparadas e trazidas para o programa, de
modo que as atividades possam desempenhar a mudança
social prevista. Um programa não possui efetividade se

230
MARCELLO B. ZAPPELLINI

atingir o público-alvo errado, ou não alcançar número


suficiente de pessoas dentro da população.

O relacionamento entre esses modelos pode ser


apresentado graficamente como se segue na Figura 16.

Figura 16: Relações entre os componentes de cada modelo, e


entre os modelos
Fonte: Chen, 2005, p. 29
231
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Na figura, as setas cinzentas representam componentes


que devem ser organizados ou conectados em ordem
sequencial, ou seja, completar alguns componentes é essencial
para que outros sejam alcançados (a única exceção é a seta
dupla interligando a organização implementadora às
organizações associadas na comunidade, em que se pode
propor relações simultâneas). Já as setas dentro do modelo de
mudança indicam relações causais. De acordo com Chen (2005),
o modelo de ação deve ser implementado antes do de mudança.
É possível também inseri-lo em um contexto ambiental
ampliado, em que se considerem as entradas de recursos e a
implementação do programa no ambiente.

Questões para Reflexão:

Como um exercício de comparação, construa os modelos de


ação e de mudança para o programa Minha Casa Minha Vida,
pensando em termos do objetivo de redução do déficit
habitacional.

7.4 ASPECTOS CRÍTICOS E QUESTIONAMENTOS

Uma questão que surge quando se trabalha a teoria do


programa e a avaliação por ela dirigida é: qual teoria usar?
232
MARCELLO B. ZAPPELLINI

Como observam Carvalho e White (2004), existem teorias


diferentes, com visões diferentes, sobre como um programa
funciona. Christie e Alkin (2003) oferecem uma possível solução
para este problema ao conciliarem a avaliação dirigida pela
teoria com a avaliação focada na utilização defendida por
Michael Quinn Patton. A teoria do programa deveria ser
escolhida ou formulada de acordo com os usos a serem dados
aos resultados da avaliação. É, portanto, uma abordagem que
exige uma interação direta com os responsáveis pelo programa
social, contribuindo para o empowerment – mas, mais importante
que isso, esclarece aos envolvidos com o programa social sua
lógica de funcionamento. Como Weiss (1998) nota, o avaliador
normalmente não constrói a teoria do programa: ele ajuda os
responsáveis pela ação a explicitarem suas próprias teorias
latentes.

Um efeito colateral da participação dos responsáveis na


formulação da teoria foi apontado por Weiss (apud ROGERS,
2007): muitas teorias de programa são baseadas somente nas
presunções e proposições dos profissionais envolvidos,
podendo ser excessivamente simplistas e mesmo parcial ou
totalmente erradas. Com base nisso, Weiss (2007) afirma que a
principal necessidade é a de melhores teorias. No entanto, a
análise lógica de alternativas, o uso de teorias de pesquisa e de
perspectivas alternativas do funcionamento do programa, pode
233
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

melhorar a qualidade da teoria (ROGERS, 2007), fazendo com


que essa crítica possa ser replicada.

Turnbull (2002) afirma que, idealmente, a construção de


teorias de programa e a acumulação de conhecimento sobre a
avaliação seria um processo iterativo em que as pesquisas
anteriores aumentariam a base de conhecimento e conduziriam
a melhores teorias que, por sua vez, acumulariam mais
conhecimento sobre a ação social – mas os formuladores de
políticas e de programas sociais têm a tendência de reinventar
a roda, algo que Pawson e Tilley (apud TURNBULL, 2002) veem
como uma benção para os avaliadores, por facilitar o seu
trabalho. No entanto, a avaliação não é um fim em si, devendo
contribuir para a melhoria da ação social; a tendência de
“recomeçar do zero”, em vez de usar a teoria já existente, pode
conduzir a gastos inúteis com programas baseados em
premissas erradas ou inadequadas. A teoria do programa,
devidamente testada e avaliada, pode se tornar uma fonte para
o planejamento de novas ações sociais.

Rogers (2007) afirma que a teoria do programa vem


sendo incorporada à gestão, afirmando que organizações e
financiadores de programas e projetos sociais têm exigido que
as propostas apresentadas incluam modelos lógicos ou teorias

234
MARCELLO B. ZAPPELLINI

de programa, reconhecendo o valor desta ferramenta no


planejamento e na gestão dessas atividades, não somente na
avaliação. Como um efeito adicional, a autora constatou o
aumento das avaliações dirigidas pela teoria (ROGERS, 2007).
Essa exigência poderá aumentar o conhecimento sobre a ação
social, ajudando a reduzir o desperdício de recursos em
programas com baixa probabilidade de sucesso, facilitando o
gerenciamento das atividades do programa e melhorando a
capacitação dos gestores sociais.

QUESTÕES PARA FIXAÇÃO E APROFUNDAMENTO DO


CONTEÚDO

1. A teoria do programa pode ser vista como um


mecanismo de compreensão da intervenção social. O
que, no conceito, sustenta esse ponto de vista?
2. No contexto da avaliação dos serviços públicos, você
consideraria importante que a teoria do programa fosse
construída de maneira democrática, envolvendo a
população atendida? Por quê?
3. Por que a teoria do programa deve ser distinguida da
teoria de implementação de Weiss?
4. Explique as relações entre os diferentes elementos (teoria
do impacto, plano organizacional e plano de utilização

235
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

dos serviços) da teoria do programa, demonstrando


como cada um auxilia os demais.
5. Considerando-se os modelos de ação e de mudança
definidos por Chen, explique como cada um pode ser
utilizado como um subsídio para o planejamento de uma
ação ou de um serviço público.

236
MARCELLO B. ZAPPELLINI

8 UMA PALAVRA FINAL

Hale (1996) afirma que é possível reconhecer uma


organização de alto desempenho quando se está diante de uma,
mas é muito mais difícil definir os atributos que contribuem
para isso. No entanto, é possível definir algumas características
dessas organizações:
a) Qualquer pessoa é capaz de dizer qual é a missão da
organização, e quais são seus valores;
b) Há um esforço permanente para buscar algo novo ou
diferente;
c) O nível de satisfação dos consumidores ou usuários dos
serviços é elevado;
d) Falhas e fracassos são considerados como experiências
de aprendizagem;
e) Os funcionários trabalham frequentemente em equipe;
f) Os líderes são parceiros dos demais funcionários;
g) Fornece informações relevantes a respeito dos resultados
alcançados por suas atividades;
h) Funciona como um laboratório e é seu próprio exemplo;
i) Outras pessoas estudam e escrevem sobre ela, e todos
querem ter crédito por suas realizações.

237
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

Questões para Reflexão:

Sua organização apresenta alguma dessas características? Faça


como uma reflexão final um levantamento dessas características
em sua organização e tente definir, com base nos modelos, como
alcançar as demais.

238
MARCELLO B. ZAPPELLINI

REFERÊNCIAS

ARMANI, Domingos. Como elaborar projetos? Guia prático


para elaboração e gestão de projetos sociais. Porto Alegre: Tomo
Editorial, 2006.

ASSIS, Marcelino Tadeu de. Indicadores de gestão de recursos


humanos. Rio de Janeiro: Qualitymark, 2005.

AZEVEDO, Sérgio de. Reforma do Estado, ação coletiva e


accountability no Brasil: idiossincrasias, constrangimentos e
desafios. VI Congreso Internacional del CLAD sobre la Reforma
del Estado y de la Administración Pública, Anais..., Buenos
Aires, Argentina, 5 – 9 nov. 2001.

BARZELAY, Michael; MOUKHEIBIR, Catherine. Listening to


costumers. In: PERRY, James L. (ed.). Handbook of public
administration. 2. Ed. San Francisco: Jossey-Bass, 1996, p. 527 –
536.

BOVENS, Mark. Public accountability. In: FERLIE, Ewan;


LYNN Jr., Laurence E.; POLLITT, Christopher (eds.). The
Oxford Handbook of Public Management. Oxford: Oxford
University Press, 2005, p. 182 – 206.

CANO, Ignacio. Introdução à avaliação de programas sociais.


3. ed. Rio de Janeiro: FGV, 2006.

CARVALHO, Soniya; WHITE, Howard, Theory-based


evaluation: The case of social funds. American Journal of
Evaluation, Thousand Oaks, v. 25, n. 2, p. 141-160, 2004.
Disponível em:
239
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

<http://aje.sagepub.com.cgi/content/abstract/25/2/141>.
Acesso em: 28 jun. 2007.

CHEN, Huey-Tsyh. Theory-driven evaluations. Newbury


Park: Sage, 1990.

______. Practical program evaluation: Assessing and


improving planning, implementation and effectiveness.
Thousand Oaks: Sage, 2005.

CHIANCA, Thomaz. Avaliando programas sociais: conceitos,


princípios e práticas. In: CHIANCA, Thomaz; MARINO,
Eduardo; CHIESARI, Laura. Desenvolvendo a cultura de
avaliação em organizações da sociedade civil. São Paulo:
Global, 2001, p. 15 – 83.

CHRISTIE, Christina A.; ALKIN, Marvin C. The user-oriented


evaluator’s role in formulating a program theory: Using a
theory-driven approach. American Journal of Evaluation,
Thousand Oaks, v. 24, n. 3, p. 373-385, 2003. Disponível em:
<http://aje.sagepub.com.cgi/content/abstract/24/3/373>.
Acesso em: 29 jun. 2007.

COHEN, Ernesto; FRANCO, Rolando. Avaliação de projetos


sociais. 7. Ed. Petrópolis: Vozes, 2007.

COHEN, Steven; EIMICKE, William. The effective public


manager: achieving success in a changing government. 3. Ed.
San Francisco: Jossey-Bass, 2002.

240
MARCELLO B. ZAPPELLINI

COSTIN, Cláudia. Administração pública. Rio de Janeiro:


Campus, 2010.

DE LEON, Linda. Sobre agir de forma responsável em um


mundo desordenado: ética individual e responsabilidade
administrativa. In: PETERS, B. Guy; PIERRE, Jon (orgs.).
Administração pública: coletânea. São Paulo: Editora Unesp;
Brasília: Enap, 2010, p. 573 – 594.

DENHARDT, Janet V.; DENHARDT, Robert B. The new public


service: Serving not steering. Armonk: M. E. Sharpe, 2003.

DENHARDT, Robert B. The pursuit of significance: strategies


for managerial success in public organizations. Long Grove:
Waveland Press, 2000.

______; DENHARDT, Janet V. Public administration: an action


orientation. 5. Ed. Belmont: Thomson Wadsworth, 2006.

DORNBUSCH, Rudiger; FISCHER, Stanley; BEGG, David.


Introdução à Economia: para cursos de Administração, Direito,
Ciências Humanas e Contábeis. Rio de Janeiro: Campus, 2003.

DUARTE, Kênnya, et al. Acordo de resultados. In: VILHENA,


Renata, et al. (orgs.). O choque de gestão em Minas Gerais:
políticas da gestão pública para o desenvolvimento. Belo
Horizonte: Editora da UFMG, 2006, p. 95 – 127.

DUMONT, Danilo Mozeli; RIBEIRO, José Araujo;


RODRIGUES, Luiz Alberto. Inteligência pública na era do
conhecimento. Rio de Janeiro: Revan, 2006.

241
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

EPSTEIN, Paul D., et al. Results that matter: improving


communities by engaging citizens, measuring performance and
getting things done. San Francisco: Jossey-Bass, 2006.

FUNDAÇÃO INSTITUTO OSVALDO CRUZ. A Fiocruz como


instituição pública estratégica de Estado para a saúde:
Relatório final. Disponível em:
<http://www.fiocruz.br/media/relatorio_final_ultima_versa
o.pdf>. Acesso em: 16 maio 2011.

FUNDAÇÃO NACIONAL DA QUALIDADE. Critérios de


excelência. Fundação nacional da qualidade. Disponível em:
<http://www.fnq.org.br/site/402/default.aspx>. Acesso em:
28 jun. 2011.

HALE, Sandra J. Achieving high performance in public


organizations. In: PERRY, James L. (ed.). Handbook of public
administration. 2. Ed. San Francisco: Jossey-Bass, 1996, p. 136 –
151.

HATRY, Harry P. Tracking the quality of services. In: PERRY,


James L. (ed.). Handbook of public administration. 2. Ed. San
Francisco: Jossey-Bass, 1996, p. 537 – 554.

HEINRICH, Carolyn J. Como avaliar o desempenho e a


efetividade do setor público. In: PETERS, B. Guy; PIERRE, Jon
(orgs.). Administração pública: coletânea. São Paulo: Editora
Unesp; Brasília: Enap, 2010, p. 53 – 75.

242
MARCELLO B. ZAPPELLINI

JANUZZI, Paulo de Martino. Indicadores sociais no Brasil:


conceitos, fontes de dados e aplicações. 3. Ed. Campinas: Alínea,
2006.

LEEW, Frans L. Reconstructing program theories: Methods


available and problems to be solved. American Journal of
Evaluation, Thousand Oaks, v. 24, n. 1, p. 5-20, 2003. Disponível
em: <http://aje.sagepub.com.cgi/content/abstract/25/1/5>.
Acesso em: 29 jun. 2007.

LYNN Jr., Laurence E. Gestão pública. In: PETERS, B. Guy;


PIERRE, Jon (Orgs.). Administração Pública: coletânea. São
Paulo: Editora Unesp; Brasília: Enap, 2010, p. 33 – 52.

MADEIRA, José Maria Pinheiro. Administração Pública (tomo


II). 11. ed. Rio de Janeiro: Campus, 2010.

MALENA, Carmen; FORSTER, Reiner; SINGH, Janmejay.


Social accountability: an introduction to the concept and
emerging practice. Washington, D. C.: The World Bank, 2004,
Social Devolopment Papers, Paper 76.

MARINO, Eduardo. Manual de avaliação de projetos sociais.


2. Ed. São Paulo: Saraiva, 2003.

MARSHALL, Alfred. Princípios de economia. 3. ed. São Paulo:


Nova Cultural, 1988, v. I.

MATIAS-PEREIRA, José. Manual de gestão pública


contemporânea. São Paulo: Atlas, 2007.

243
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

______. Curso de Administração Pública: foco nas instituições


e ações governamentais. São Paulo: Atlas, 2008.

McDAVID, James C.; HAWTHORN, Laura R. L. Program


evaluation & performance measurement: an introduction to
practice. Thousand Oaks: Sage Publications, 2006.

McLAUGHLIN, John A.; JORDAN, Gretchen B. Using logic


models. In: WHOLEY, Joseph S.; HATRY, Harry P.;
NEWCOMER, Kathryn E. (eds.). Handbook of practical
program evaluation. 2. ed. San Francisco: Jossey-Bass, 2004, p.
7-32.

MEIRELLES, Hely Lopes. Direito Administrativo brasileiro.


32. ed. São Paulo: Malheiros Editores, 2006.

MOORE, Mark H. Creating public value: strategic


management in government. Cambridge: Harvard University
Press, 1995.

MOYNIHAN, Donald P. The dynamics of performance


management: constructing information and reform.
Washington, D. C.: Georgetown University Press, 2008.

NEWCOMER, Kathryn E. Evaluating public programs. In:


PERRY, James L. (ed.). Handbook of public administration. 2.
Ed. San Francisco: Jossey-Bass, 1996, p. 555 – 573.

______. Using performance measurement to improve programs.


New Directions in Evaluation, San Francisco, v. 75, p. 5 – 14,
Fall 1997.
244
MARCELLO B. ZAPPELLINI

NEWCOMER, Kathryn E.; HATRY, Harry P.; WHOLEY, Joseph


S. Meeting the need for practical evaluation approaches: an
introduction. In: WHOLEY, Joseph S.; HATRY, Harry P.;
NEWCOMER, Kathryn E. (eds.). Handbook of practical
program evaluation. 2. Ed. San Francisco: Jossey-Bass, 2004, p.
XXXIII – XLI.

O’DONNELL, Guillermo. Accountability horizontal e novas


poliarquias. Lua Nova, São Paulo, n. 44, p. 27 – 54, 1998.

OSBORNE, David; HUTCHINSON, Peter. The price of


government: getting the results we need in an age of permanent
fiscal crisis. New York: Basic Books, 2004.

PALADINI, Edson Pacheco. Avaliação estratégica da


qualidade. São Paulo: Atlas, 2002.

PARMENTER, David. Key performance indicators:


developing, implementing, and using winning KPIs. Hoboken:
John Wiley & Sons, 2007.

PETROBRAS. Estratégia corporativa. Petrobras. Disponível em:


<http://www.petrobras.com.br/pt/quem-somos/estrategia-
corporativa/>. Acesso em: 18 jun. 2011.

PINHO, José Antonio Gomes de; SACRAMENTO, Ana Rita


Silva. Accountability: já podemos traduzi-la para o português?
Revista de Administração Pública, Rio de Janeiro, vo. 43, n. 6,
p. 1343 – 1368, nov. – dez. 2009.

245
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

POISTER, Theodore H. Measuring performance in public and


nonprofit organizations. San Francisco: Jossey- Bass, 2003.

POPOVICH, Mark G., et al. Creating high-performance


government organizations: a practical guide for public
managers. San Francisco: Jossey-Bass, 1998.

PRICE, Kelci M. The evolution of understanding: positioning


evaluation within a comprehensive performance management
system. New Directions in Evaluation, Vancouver, n. 131, p.
103 – 109, Fall 2011.

ROGERS, Patricia J. Theory-based evaluation: Reflections ten


years on. New Directions in Evaluation, San Francisco, n. 114,
p. 63-67, Summer 2007. Disponível em:
<http://www.interscience.wiley.com>. Acesso em: 20 ago.
2007.

ROMZEK, Barbara. Enhancing accountability. In: PERRY,


James L. (ed.). Handbook of public administration. 2. Ed. San
Francisco: Jossey-Bass, 1996, p. 97 – 114.

ROSSI, Peter H.; LIPSEY, Mark W.; FREEMAN, Howard E.


Evaluation: A systematic approach. 7. ed. Thousand Oaks:
Sage, 2004.

SANTOS, Sandra Maria Chaves dos, et al. Subsídios para


avaliação da gestão pública: processo de construção de
indicadores para avaliação da capacidade de gestão de
organizações sociais. Organizações & Sociedade, Salvador, v.
13, n. 37, p. 109 – 124, abr. – jun. 2006.
246
MARCELLO B. ZAPPELLINI

SCHALOCK, Robert L. Outcome-based evaluation. 2. Ed. New


York: Kluwer Academic, 2001.

SCRIVEN, Michael. Evaluation thesaurus. 4. Ed. Newbury


Park: Sage, 1991.

SIDANI, Souraya; SECHREST, Lee. Putting program theory


into operation. American Journal of Evaluation, Thousand
Oaks, v. 20, n. 2, p. 227-238, 1999. Disponível em:
<http://aje.sagepub.com.cgi/content/abstract/20/2/227>.
Acesso em: 29 jun. 2007.

SOUZA, Vera Lúcia de, et al. Gestão de desempenho. Rio de


Janeiro: FGV, 2005. Série Gestão de Pessoas.

STARLING, Grover. Managing the public sector. 6. ed.


Orlando: Harcourt, 2002.

STILLMAN II, Richard J. Introduction. In: ______ (ed.). Public


administration: concepts and cases. 7. Ed. Boston: Houghton
Mifflin Company, 2000, p. 1 – 6.

SWISS, James E. A framework for assessing incentives in


results-based management. Public Administration Review, v.
65, n. 5, p. 592 – 602, set. – out. 2005.

TALBOT, Colin. Performance management. In: FERLIE, Ewan;


LYNN Jr., Laurence E.; POLLITT, Christopher (eds.). The
Oxford Handbook of Public Management. Oxford: Oxford
University Press, 2005, p. 491 – 517.

247
GESTÃO POR RESULTADOS EM ORGANIZAÇÕES PÚBLICAS

TORRES, Marcelo Douglas de Figueiredo. Estado, democracia


e administração pública no Brasil. Rio de Janeiro: FGV, 2004.

TROSA, Sylvie. Gestão pública por resultados: quando o


Estado se compromete. Rio de Janeiro: Revan; Brasília: Enap,
2001.

TURNBULL, Barbara. Program theory building: A strategy for


deriving cumulative evaluation knowledge. American Journal
of Evaluation, Thousand Oaks, v. 23, n. 3, p. 275-290, 2003.
Disponível em:
<http://aje.sagepub.com.cgi/content/abstract/23/3/275>.
Acesso em: 29 jun. 2007.

WEISS, Carol H. Evaluation: Methods to study programs and


policies. 2. ed. Upper Saddle River: Prentice-Hall, 1998.

______. Theory-based evaluation: Past, present and future. New


Directions in Evaluation, San Francisco, n. 114, p. 68-81,
Summer 2007. Disponível em:
<http://www.interscience.wiley.com>. Acesso em: 20 ago.
2007.

WHOLEY, Joseph S. Evaluation and effective public


management. Boston: Little, Brown & Company, 1983.

______. Evaluability assessment. In: WHOLEY, Joseph S.;


HATRY, Harry P.; NEWCOMER, Kathryn E. (eds.). Handbook
of practical program evaluation. 2. ed. San Francisco: Jossey-
Bass, 2004, p. 33-62.

248
MARCELLO B. ZAPPELLINI

WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK,


Jody L. Avaliação de programas: concepções e práticas. São
Paulo: Gente; Edusp, 2004.

WWF. Señales de êxito. World Wide Foundation. Disponível


em: <http://preval.org/documentos/00519.pdf>. Acesso em
29 jul. 2007.

249

Você também pode gostar