1

Sistemas de avaliação do desempenho para as

organizações públicas, como construí-los efetivamente?
David Arellano
Introdução

Praticamente em todo o mundo, avaliar o desempenho de organizações

governamentais, de suas políticas e programas, converteu-se em uma moda e também em
uma obsessão para o setor público. Uma das razões disso é, provavelmente, que vem
aumentando cada vez mais a distância entre as grandes necessidades sociais a serem
satisfeitas e a quantidade de recursos disponíveis para fazê-lo: menos recursos e mais
necessidades são condições inevitáveis com que vêm se deparando as organizações
públicas dos mais variados tipos. Nesse contexto, os governos precisam demonstrar sua
capacidade de atender e resolver problemáticas de natureza heterogênea, assim como
dispor de conhecimento e de informações técnicas mais precisas, se quiserem manter sua
capacidade de influência, ou seja, de afetar os comportamentos das pessoas e das
organizações para alcançar seus objetivos sociais ou econômicos.

De maneira recorrente, os atores políticos nas democracias contemporâneas são

acusados de incapazes e de limitados, situação que os coloca diante da necessidade
imperiosa de buscar legitimação, tornando evidentes seus resultados concretos ante os
olhos da sociedade. A resposta a isso tem sido, ao menos em parte, a seguinte: impulsionar
mecanismos inovadores (e por vezes arriscados) para mostrar que os políticos, os
governos e os servidores públicos ainda conseguem enfrentar problemas sociais e
revolvê-los (ou argumentar que ao menos estejam tentando fazer isso), através de políticas
públicas certeiras, programas eficientes e de impacto, e organizações governamentais
inovadoras e efetivas.

Assim, o discurso administrativo em voga em uma grande quantidade de países é

vincular diretamente a legitimidade dos governos à obtenção de resultados. Este discurso
adquire vários nomes: administração ou gestão por resultados são alguns dos mais
conhecidos. O argumento é aparentemente simples: os governos são prestadores de
serviços e provedores de bens críticos para uma sociedade, que atuam através de
 2

procedimentos extensos, explícitos e vigiados estrita e normativamente. Entretanto, o

cumprimento normativamente impecável dos procedimentos administrativos não
assegura necessariamente que se obterão as melhores e mais eficientes soluções para
problemas sociais concretos.

Em decorrência de tudo isso, pode-se argumentar que, a partir de uma visão de

gestão por resultados, torna-se necessário que o sucesso dos objetivos e do impacto das
ações governamentais seja incorporado como um critério substantivo de êxito do próprio
governo, mais além do simples acatamento de normas ou processos formais. O
estabelecimento explícito de compromissos para obter resultados é o corolário desta idéia:
os governos se comprometem a alcançar resultados e, portanto, devem construir sua
gestão à luz deste compromisso adquirido. Sem dúvidas, a gestão por resultados implica
uma transformação normativa, legal, organizacional e culturalmente substantiva da forma
pela qual se entende o papel do setor público e de como ele deve organizar-se
integralmente para “obter resultados” específicos.

Pois bem, para que uma gestão deste tipo funcione, os servidores públicos não
somente são responsáveis (accountable) pelo acatamento de normas e de procedimentos,
como também pela obtenção dos resultados propostos. A idéia, em outras palavras, é que
uma ação governamental que seja capaz de prestar contas não só em termos de normas e
procedimentos, como também de efeitos concretos, mensuráveis e alcançáveis, como a
melhor via para construir governos que podem, de verdade, resolver grandes problemas
sociais. O encadeamento racional da ação governamental, neste sentido, encontra nos
Sistemas de Avaliação do Desempenho (SAD), sua melhor esperança.

Mas, em que consiste uma avaliação de desempenho? Alinhada com a perspectiva

de prestação de contas e de resolução de problemas anteriormente exposta, a avaliação do
desempenho pode ser definida, grosso modo, como “uma modalidade de revisão e
avaliação da atividade governamental com enfoque nos resultados da gestão pública”
(Barros, 2002, citado em Morales, 2006:9). Esta primeira conceitualização, no entanto,
esconde um aspecto crucial para a definição e a construção de um SAD, a saber, o que se
entende exatamente por “desempenho’. Tal discussão, por sua vez, torna-se
especialmente relevante no momento de decidir que tipo de informação se gera para a
tomada de decisões, pois, como assinala Wholey (1999), e como se expõe no capítulo IV
deste texto, não há, na realidade, uma definição única a respeito deste conceito, e os
 3

resultados constituem uma das várias dimensões que podem considerar-se como parte do
“desempenho”.

Seguindo a idéia anterior, seria preciso acrescentar à análise do desempenho os

“insumos, atividades ou processos” que tornam possível a obtenção dos resultados. O
desempenho pode ser visto em termos dos produtos de um organismo ou programa (bens
e serviços entregues à população) ou em função da eficiência, produtividade, ou qualidade
dos serviços outorgados. O desempenho também pode ser avaliado de forma aproximada
pelos resultados intermediários (como satisfação do cidadão/cliente) de um programa ou
pelos resultados finais de longo prazo, em interação com outros fatores “não controláveis”
(ou seja, análises de resultados vistos como impacto) (Wholey, 1999: 289-290). Num caso
limite, pode-se falar de desempenho “líquido”, ou seja, o que estaria passando caso o
programa em questão não tivesse sido implementado (Klerman, 2005: 348).

O desempenho então, parece ser uma categoria clara tanto em termos políticos
quanto retóricos, e geradora de amplas aspirações sociais, mas que, uma vez analisada
mediante um olhar mais detido, resulta ser mais complexa do que o esperado. É por isso
que, ante sua complexidade prática, diversos autores (Kravchuk y Schack, 1996;
Klitgaard y Light, 2005) têm proposto que é fundamental construir um sistema integrado
de elementos que permitam na prática fazer do desempenho um guia fundamental da ação
governamental. Dessa forma, passou-se a requerer sistemas de informação e métodos de
monitoramento constantes para que o desempenho possa ser analisado e avaliado. Em
outras palavras, diante de um conceito como o de desempenho, que é uma categoria
multidimensional para referir-se aos resultados e à eficácia e eficiência para produzi-los,
tem-se concluído que é fundamental obter-se um sistema na forma de um conjunto de
instrumentos diversos integrados sob uma lógica única que vincule desde o desenho até
a avaliação de todos os elementos que compõem o próprio sistema.

Talvez seja por esta complexidade de “capturar” a categoria “desempenho” que

por sua vez é muito difícil encontrar uma definição para um sistema que o avalie. A
Secretaria da Fazenda e Crédito Público (SHCP) do México, por exemplo, refere-se ao
SAD da seguinte maneira: “O Sistema de Avaliação do Desempenho (SAD) dará
prosseguimento à avaliação sistemática das políticas e programas das entidades e
dependências da [Administração Pública Federal] APF, para contribuir para a
consecução dos objetivos estabelecidos no [Plano Nacional de Desenvolvimento] PND,
 4

e nos programas derivados deste. O SAD produzirá as informações necessárias para

avaliar objetivamente e melhorar de maneira contínua o desempenho das políticas
públicas, dos programas orçamentários e das instituições, assim como para determinar o
impacto que os recursos públicos exercem sobre o bem-estar da população”
(<http://www.hacienda.gob.mx/EGRESOS/pbr/docs_consultta/directrices-sed.pdf.,
colchetes incluídos).

Como se pode observar, trata-se de uma definição operacional, pois assume que
se compreende o que seja o desempenho e que existe a técnica e a informação para que
se crie um sistema que o monitorará, medirá e eventualmente retroalimentará de forma
precisa e clara. Dito de outro modo, há aqui três ingredientes básicos: 1. que existe uma
definição de objetivos e resultados; 2. que se analisam as formas e os esforços para
alcançar os bons resultados, e 3. que se mede o grau de correspondência entre um e o
outro, com a finalidade de obter informações de avaliação e eventualmente o
aperfeiçoamento de 1 e 2. É provavelmente esta lógica de retroalimentação final à qual
se dá o nome de “sistema”.

A definição acima apresentada é bastante padronizada. Deixa claro uma idéia

central, ou uma suposição básica: os problemas sociais podem ser traduzidos em
problemas de políticas públicas (ou seja, em declarações de ação viável, com um
direcionamento, e com um princípio e um final). Isto implica, ademais, que se podem
planejar e desenhar mecanismos de intervenção para atender certas demandas sociais (via
mercado, burocracia, organizações, redes, etc.), e que estas intervenções governamentais
são capazes de modificar “a realidade”, seja social, econômica ou política, de forma
positiva. Como se pode observar, os argumentos que sustentam um SAD sem dúvida
formam parte de um forte racionalismo técnico que assume a administração pública como
um instrumento controlável e dirigível de um governo em uma democracia.

Uma grande vantagem, em todo caso, é que os SAD foram aplicados em muitos
países e seus resultados, falhas ou limitações são hoje em dia melhor compreendidos. Os
SAD são aparentemente instrumentos fáceis e claros, mas na prática correspondem, de
fato, a um conjunto sofisticado de instrumentos que apresentam amplas limitações e que
requerem constantes intervenções, aperfeiçoamentos e inclusive reformas. Este livro,
precisamente, é dedicado a questionar criticamente a bateria de elementos que compõem
tradicionalmente um SAD, objetivando fazer com que estudantes, servidores públicos,
 5

acadêmicos, legisladores, entre outros atores interessados, conheçam seus alcances e

limitações técnicas e argumentativas no momento de tentar aplicá-los.

Os SAD são um grande instrumento, porém apresentam importantes exceções que

requerem ser compreendidas para lograr sua aplicação e instrumentação efetiva.
Sustentamos aqui que é precisamente a compreensão de suas limitações o que permitirá
desenhá-los, na medida do possível, para que sejam “sistemas que aprendem”, enquanto
sejam suscetíveis de modificar-se à luz de erros ou falhas não previstas em seu desenho
original.

Comumente aqueles que iniciam a implementação de um SAD têm colocado

grandes esperanças neste instrumento. Por exemplo, um SAD clássico, por assim dizer,
assegura logo de início, por princípio ou axioma, que os governos e suas organizações
geram efeitos tangíveis e mensuráveis através de seus respectivos produtos ou serviços.
Assume-se então uma cadeia causal que vai desde um problema claramente definido até
um grupo de ações governamentais que buscam resolvê-lo (parcial ou totalmente), através
do uso de recursos dirigidos explicitamente para isso. Pretende-se, desta forma, dirigir
racionalmente, apresentando o ator governamental como um ente unificado, congruente,
praticamente monolítico. Esta primeira suposição faz surgir uma segunda: a de que seja
possível definir “objetiva e tecnicamente” um problema, assim como os passos para
resolvê-lo.

Não há dúvidas de que tais hipóteses são muito forçadas e talvez pouco realistas.
Não obstante, elas, de alguma maneira, continuam servindo de base para o emprego de
um modelo amplamente utilizado. Com esta acomodação racional de eventos sociais, é
possível dirigir o desenho da ação governamental de forma aparentemente simples. Parte-
se de algumas perguntas-chave como, por exemplo: qual é o problema a solucionar?,
quais são as ferramentas mais adequadas para se alcançar isto?, quais são os recursos
disponíveis para fazê-lo? Quem somos, o que queremos ser e com que direcionalidade
podemos resolver esse problema? Então, a partir do uso de instrumentos diversos, como
o planejamento estratégico ou os indicadores de desempenho, obtém-se o amálgama de
um desenho congruente e fechado, que vai desde a definição do problema até a ação, seu
monitoramento e sua avaliação direta e objetiva.

Pelo que se disse, supõe-se então que um desenho informado e conscientemente

recebido é a pauta para aplicar, de forma ordenada e racional, os mecanismos e as decisões
 6

necessárias para intervir sobre a realidade, movendo os fios requeridos para afetar os
comportamentos e as situações com o fim de transformá-la: liberam-se ou regulam-se os
preços, outorgam-se ou negam-se recursos, evitam-se problemas ou restrições, eliminam-
se prerrogativas ou outorgam-se outras. Tudo isto é possível, presume-se, graças ao uso
de poderosos instrumentos disponíveis: as organizações e os programas governamentais,
dotados de recursos orçamentários e de pessoas que se encarregarão de levar a prática do
desenho da política pública tal como foi planejado.

As organizações, mediante seus programas – outra criação racionalista que nos

diz a forma como determinadas ações conquistam objetivos – intervêm na realidade,
modificando-a, afetando-a, recriando-a literalmente. Em uma espécie de “jogo de bilhar”
social, são geradas combinações de efeitos e comportamentos que afetarão a dita
realidade, graças aos encadeamentos racionais que, partindo dos problemas, levam aos
valores, aos produtos e, por último, aos resultados e aos impactos.

Os parágrafos anteriores ilustram uma retórica que enche de esperança a política

e a gestão pública contemporâneas. E falamos de retórica, não em sentido pejorativo,
senão em seu sentido estrito, como a arte de convencer e comover. De fato, sem a
esperança e o convencimento de que é possível conseguir efeitos concretos mediante as
ações e as decisões racionais (individuais e coletivas), seria difícil entender a maior parte
dos textos de administração pública (ou como frequentemente se chama hoje em dia,
gestão pública).

Assim, a partir dessas suposições raramente debatidas e devidamente elaboradas,

nasce uma avalanche de mecanismos e instrumentos: os orçamentos e suas classificações,
os programas, as políticas, as regulações, intervenções, organizações, serviços civis,
planos estratégicos e operacionais, os marcos lógicos, a administração por objetivos, os
controles de gestão, as boas práticas, o benchmarking, as cartas de controle, mais um
vastíssimo etc. Tudo isso sustentado na esperança de que existe um caminho racional que
vai da definição do problema até o desenho de estratégias e de mecanismos de
intervenção, ao resultado esperado e, por último, à resolução do problema que originou a
política pública.

Afinal de contas, os instrumentos e os marcos conceituais acima assinalados têm

um sentido único e básico: modificar o cenário; impactar os comportamentos e as
variáveis sociais para gerar uma nova e melhor realidade. Mais ainda, nesta idéia está
 7

presente também uma suposição ainda mais poderosa: a de que sempre existe uma cadeia
congruente que une todo esse caminho, uma lógica de causa e efeito que vincula em
diferentes níveis cada peça do sistema, com uma entrada e uma saída, em uma sequência
racional.

Mas, será que é realista toda essa grande hipótese de cadeias causais de
intervenção? Ao longo de décadas, os estudos empíricos sobre a ação governamental vêm
mostrando um filme algo diferente, no que diz respeito à esperança normativa desse
modelo de cadeias causais e de efeitos vinculados. Os trabalhos de Selznick (1966),
Merton (1980), Crozier (1964), Wildvasky (1993), Christensen y Laegrid (2007), Sfez
(1984), Cabrero y Arellano (1993), assim como uma enorme lista de estudos conduzidos
em diversas realidades, tempos e latitudes, têm demonstrado que, se esse caminho causal
de fato existe, ele é, primeiro, tremendamente difícil de identificar empiricamente, e
segundo, que é extremamente complicado mostrar que a dita cadeia causal de fato produz
resultados que sejam explicáveis por decisões e desenhos ex-ante, até levar ao desenlace
esperado.

Muitos dos autores acima referidos mostram como o que chamamos

pomposamente de “problemas” são, na realidade, criações de atores tratando de
convencer os demais, e vendo muitas vezes o que querem ver. Que as ferramentas de ação
nem sempre seguem a definição de um problema, senão o inverso: que os atores sociais
já trazem debaixo do braço suas ferramentas e ideologias (as ferramentas nem sempre são
neutras) e que, com elas, vão e buscam problemas (ou seja, tem-se um caso de soluções
buscando problemas, e não o contrário). Portanto, muitas vezes está-se diante de lógicas
causais normativas que se justificam por razões políticas e agendas que nem sempre estão
claras, nem são explícitas. Além disso, em reiteradas ocasiões, tem-se constatado que os
fins e os mecanismos estão constantemente em disputa, pois diversos atores, com
capacidades de atuação distintas, argumentam e dão sentido aos instrumentos de
intervenção de acordo com preferências e dinâmicas políticas particulares, sujeitos a uma
capacidade limitada para conhecer todas as alternativas possíveis e para processar
informações, com tempos para atuar que são politicamente calculados, além de serem
escondidos e usados estrategicamente.

As organizações e os programas governamentais são criaturas instrumentais, mas

são pouco maleáveis, difíceis de manipular como robôs sociais, pois novamente aparecem
 8

seres humanos atuando nesses cenários (Goffman, 1967), construindo sentidos (Weick,
2001), interrelacionando-se por papéis que criam status e vinculações complexas, as quais
tornam possível a própria interação (Berger e Luckmann, 1968). Porém, paradoxalmente,
quando falamos de levar os desenhos racionais – que idealizam um mundo de ordem e
causalidade situado em um conceitual normativamente criado – para o campo da
“implementação”, assumimos que a situação que se procura afetar pode ser interferida
com uma só lógica ou cadeia causal que começa com a definição do problema e finaliza
com um impacto identificável sobre uma população previamente definida.

Precisamente, as cadeias de causa e efeito dos problemas sociais representam

suposições difíceis de sustentar empiricamente; no entanto, elas vêm a ser cruciais para
manter a lógica de um argumento da ação governamental, da intervenção burocrática ou
regulatória, da mesmíssima racionalidade da política democrática e representativa a partir
de cujo cume começaram a gerir-se as soluções dos problemas sociais. As evidências
empíricas apontam no sentido contrário, ou ao menos mostram a dificuldade de se fazer
um seguimento real de cadeias deste tipo; entretanto, a esperança continua viva. É
provável que se esteja aqui empregando uma noção de sentido comum e básico, que nos
reconforte socialmente: os governos têm o poder de afetar a vida de muita gente, de
mobilizar variáveis econômicas, de sustentar ou de mudar regras e normas, de aplicar a
coerção como mecanismo para obter obediência.

Recordar a política real do governo – ou seja, suas capacidades coercitivas – ajuda

a compreender que, em todo caso, a fotografia talvez não seja muito clara, ou, dito de
outro modo, que talvez as cadeias causais não sejam precisas e muito complexas ou
inclusive que sejam perversas (Harmon e Mayer, 1999). Mas, de que as ditas cadeias
causais existem (de uma maneira tão intrincada e complexa que dificilmente parecem
cadeias lineares e simples, em todo caso) e de que os governos as afetam, parece não
haver dúvidas. Neste sentido, os Sistemas de Avaliação do Desempenho são uma proposta
de ordenação e sistematização muito importante ante a dificuldade e a complexidade da
ação governamental, dado que, com eles, busca-se construir um compromisso técnico
crível para assegurar às sociedades que seus governos possam definir e comprometer-se
com fins específicos e em forma transparente. Em outras palavras, um SAD se converte
também em um instrumento que pode ajudar substantivamente a prestação de contas.
 9

Assim, parece oportuno tomar uma certa distância das visões super-otimistas da
moda: um SAD dificilmente pode ser um esquema racionalista completo, de cadeias
causais tecnicamente desenhadas, perfeitamente alinhadas, construídas por um acordo
linear com consensos perfeitos e marcos teóricos unívocos e acordados. Na realidade,
estamos falando de um instrumento muito útil, porém limitado, que ajuda a construir
aproximações imperfeitas das relações causais da ação governamental.

Basicamente, podemos colocar dois propósitos gerais que um SAD procura

alcançar: 1. facilitar o consenso, ao estabelecer de forma explícita os propósitos e as linhas
de ação que dão sentido a um projeto governamental, e 2. prestar contas à sociedade com
uma maior transparência, ao tornar explícitos os resultados alcançados, mas,
principalmente, esclarecer a linha de raciocínio e a justificação da ação governamental
propriamente dita.

A linha argumentativa deste livro é que um SAD não deve ser entendido como um
instrumento capaz de encadear tecnicamente (com um método linear, completo e livre de
falhas) a melhor definição de uma situação social ou pública com os instrumentos mais
adequados para se atingir o máximo de efeitos esperados. Isto simplesmente porque a
ação governamental é, na prática, uma ação em constante disputa entre atores políticos
que enfrentam uma realidade a qual, por sua vez, é afetada por múltiplos interesses, que
geram diversos e desordenados impactos para construir o que entendemos como
“realidade”. Neste sentido, a “realidade social’ é um amálgama de ações, valores,
supostos, interesses, normas, instituições, regras e organizações.

É inevitável render-se ao dogma das democracias liberais, onde existe pluralidade

e conflito de visões. Inclusive, vem a ser positivo para a liberdade humana que ninguém
possua o monopólio da verdade (Mill, [1859] 1970). O desenho a respeito dos objetivos
e meios sociais é, sem dúvida, uma parte consubstancial dos aspectos políticos e sociais
em uma democracia: esta não existe sem oposição, ou mais corretamente, oposições.
Pensar que um instrumento como o SAD pode tornar óbvia esta dinâmica é, para dizer o
mínimo, ingênuo.

Um SAD, em todo caso, permite tornar explícitas as hipóteses de um grupo de

atores que defendem determinado problema social como um problema público que
merece resolvido. É provável que outros atores não o vejam assim, ou que digam haver
outros problemas mais importantes a atacar (argumento clássico da oposição em qualquer
 10

democracia). Em um mundo de recursos limitados, não só se definem problemas em

abstrato, como também se definem problemas baseados em prioridades e viabilidades,
em projetos políticos e ideologias.

Novamente, surgem então as dissensões: decidir quais problemas são viáveis e

quais têm prioridade na agenda social não pode ser um trabalho simples de
acomodamento de cadeias causais (que é o que acaba fazendo um SAD). Esse
encadeamento é, na verdade, um argumento, com suas suposições e axiomas, que se
constrói com base em uma teoria pré-definida, a qual também estabelece justamente as
razões por que um efeito (ou vários) decorre de uma causa ou causas particulares. E
muitas de nossas teorias sociais estão cheias de axiomas, supostos que não se podem
comprovar empiricamente, mas que são assumidos como verdades irrefutáveis: por
exemplo, a idéia muito defendida hoje de que, com incentivos “corretos’, as pessoas e as
organizações podem vir a alterar um comportamento irracional ou pouco cooperativo.

Na prática, sucede que a mudança de comportamento das pessoas costuma ser uma
questão bastante mais adequada em termos sociais, políticos e até psicológicos. Em todo
caso, como já se mencionou, o importante que pode conseguir um SAD é que os ditos
axiomas e hipóteses se façam explícitos, para que possam ser, por sua vez, debatidos
política e socialmente, de tal modo que os políticos eleitos e designados se vejam
responsabilizados não necessariamente pelos “resultados” (questão nem sempre fácil de
estabelecer, como dissemos), senão pelos argumentos e bases sobre as quais se
desenharam programas, assim como pela relação ou congruência destas bases com os
efeitos observáveis.

Com a finalidade de ordenar esta discussão, podemos sintetizar em três, os

argumentos que problematizam uma visão super-otimista de um SAD, como a que até
aqui se expôs: primeiro, a realidade social é uma construção de atores diversos, muitas
vezes em disputa entre si, dispostos a entrar em conflito e a usar o poder para impor sua
própria versão do que seja um problema viável ou necessário de atacar (a existência por
definição de oposições em uma democracia implica de partida que ninguém é dono
absoluto da racionalidade, ante a possível existência de diversas racionalidades).
Segundo, a “realidade” que se quer impactar é gerada por efeitos que sucedem da ação de
múltiplas fontes, ações e propósitos de diferentes atores e circunstâncias. Terceiro, as
cadeias causais sustentam-se sobre teorias construídas com base em suposições e
 11

axiomas; elementos que tentam nos explicar e convencer de que existem variáveis mais
importantes do que outras, que lançam luz sobre certos elementos da realidade ao mesmo
tempo que obscurecem outros; que nos explicam que há efeitos indesejáveis que devem
ser evitados, ainda que outros defendam que esses mesmos efeitos sejam fundamentais.

Um SAD não pode construir uma visão “objetiva’ do problema, nem das cadeias
causais, mas é, sim, uma ferramenta para explicar uma proposta de ação possível entre
muitas. Sem ter presente esta última reflexão, é possível transformar os enfoques e
resultados derivados de um SAD em fotografias rígidas e simplificadas da ação
governamental, que dificilmente encontram correlação com a realidade e o contexto onde
operam os governos, suas organizações e seus agentes.

Neste livro, portanto, defendemos uma visão distinta do que é um SAD e de qual
pode ser sua contribuição. A aplicação das ferramentas que fazem um bom SAD, antes
de tudo, requer entender suas limitações e compreender o que um sistema de avaliação
do desempenho NÃO pode fazer afinal de contas. Este pode ser um útil passo inicial para
evitar os erros que usualmente se cometem ao falar deste instrumento.

Assim, um SAD:

NÃO é uma fotografia linear de causalidades;

NÃO é um instrumento técnico que possa ser replicado da mesma forma por distintas
pessoas em contextos distintos e para problemas diferentes;

NÃO é um instrumento neutro que permita chegar a um acordo perfeito entre os atores;

NÃO é um instrumento que revela a “verdadeira” causalidade da realidade; portanto, não

é infalível. Ou seja, a ação planejada não necessariamente será realidade e isto não se
pode explicar unicamente por “erros” ou por dolo dos atores governamentais;

NÃO é uma sequência linear objetiva, nem do problema, nem das cadeias causais da ação
governamental: sempre há alternativas descartadas ou não-consideradas.

Mais adiante neste livro, acrescentaremos outros “NÃO” aos SAD, mas, por enquanto,
estes nos ajudam a definir com maior precisão o que é este instrumento. Para nós: um
SAD é uma ferramenta de aprendizagem organizacional para o desenho e a avaliação de
programas (às vezes de organizações), que tornam explícitas as teorias, hipóteses e
 12

axiomas da ação, com o propósito de definir uma possível cadeia causal que conecta a
definição do problema de política pública, os instrumentos de política e as estratégias
organizacionais com os produtos, os resultados e, por último, com os impactos de
programas, de políticas e de outras ações do governo. Tudo com a finalidade de gerar um
mecanismo de prestação de contas inteligente e baseado na aprendizagem organizacional.

A partir do que se disse, torna-se evidente que o grande aporte de um SAD está
na observação e na medição dos elementos escolhidos para avaliar o sucesso da atuação
de um programa ou organização. Nosso ponto, entretanto, é o seguinte: ainda que a dita
observação e medição do que se realizou seja importante e represente um salto qualitativo
da ação governamental tradicional, tais esforços são apenas uma parte dos benefícios que
um SAD realmente proporciona. A utilidade maior de um SAD reside na sua capacidade
de tornar explícitas as hipóteses, axiomas e cadeias causais fundamentadas que permitem
então uma análise e uma discussão entre os diferentes atores envolvidos em uma política
governamental. Ao tornar explícitas, ao menos em parte, essas bases argumentativas que
constroem as cadeias causais, criam-se as condições que possibilitam um diálogo mais
produtivo, bem como aumentam a probabilidade de cooperação entre diferentes grupos e
organizações. Um SAD então é uma ferramenta de prestação de contas sustentada por
uma dinâmica de aprendizagem organizacional, onde o processo de sua construção
termina sendo mais importante que o produto final (algo que vem a ser paradoxal, dada a
retórica em voga no setor público, que supõe que os resultados, e não os processos, são o
importante).

Falamos de “prestação de contas” porque um SAD permite a discussão e análise

das opções de política, das decisões e das oportunidades escolhidas, assim como dos
valores defendidos. Em suma, o SAD facilita a comparação entre diversas opções de
política, bem como de sua viabilidade e de seu custo.

Referimo-nos também à “aprendizagem” porque, ao longo do tempo, um SAD

deveria permitir ajustar medições, provar hipóteses, reformular indicadores, repensar as
ações de governo, conseguir informações mais validadas e sólidas (isto se esquece muitas
vezes: obter informação de qualidade para construir indicadores, como se verá no capítulo
IV deste livro, é algo que implica tempo e custos). É por isso que o produto de um SAD
não é um guia preciso de viagem, e tampouco resulta em medições exatas de todas as
variáveis de ação de um programa ou organização: na verdade, o produto de um SAD é a
 13

proposição de um esquema de medidas através de um encadeamento fundamentado,

explícito de valores, recursos, ações e resultados pretendidos.

Assim, o encadeamento de ações, bem como a lógica por trás dele, é a chave para
a construção de indicadores que, por sua vez, são unicamente aproximações numéricas
com o intuito de observar possíveis resultados da ação governamental. O SAD, na
realidade, é um amálgama de diversas aproximações (de causas, efeitos, medições e
indicadores), cuja função é tornar explícitos os marcos conceituais, as cadeias
instrumentais e as razões que tentam encontrar efeitos específicos em uma realidade que
se move por meio de dinâmicas mais amplas, onde um resultado é a causa de outro efeito,
e um impacto é o efeito combinado de muitas causas em um extenso período de tempo.

Partindo deste raciocínio, é preciso conhecer e aceitar as limitações e as

potencialidades de um SAD como um mecanismo de avaliação, antes de pô-lo em prática.
Sua grande limitação é que não necessariamente ele servirá para avaliar de forma neutra
os resultados de um programa ou organização. Ou seja, o SAD permitirá avaliar a força
dos argumentos e dos instrumentos, através de aproximações relativamente válidas e
aceitas. Portanto, os resultados observáveis poderão ser tomados em consideração,
dependendo da força dessas mesmas aproximações.

A avaliação que se pode fazer com um SAD não é pura, neutra e absoluta, nem
serve para se julgar sumariamente o que é bom ou ruim, nem para separar o preto do
branco. O SAD, em todo caso, encontra sua principal força no fato de que permite uma
avaliação baseada em argumentos, acerca da qualidade das hipóteses, das cadeias causais,
da eficiência das aproximações que sustentam uma ação governamental e de seus efeitos.
É desta argumentação que se pode inferir se os resultados e os impactos estão sendo
alcançados razoavelmente.

Salvo casos verdadeiramente excepcionais, as avaliações de desempenho

existentes conseguem, no máximo, fazer o que se descreveu no parágrafo anterior.
Inclusive, podemos dizer, não que o SAD seja, de fato, um instrumento limitado, mas sim
que ele é um poderoso mecanismo para avaliar aquilo que, de fato, se pode mensurar: a
força dos argumentos, a fidedignidade das medições, a solidez das inferências acerca de
impactos e resultados, o grau em que é necessário aprender ainda mais acerca da realidade
social e da forma como a vemos e medimos.
 14

Medir impactos e resultados em si mesmos, dada a complexidade da ação

governamental e a intervenção de múltiplos fatores, é algo deveras excepcional. O mais
importante é a capacidade de gerar inteligência nas argumentações e na ação
governamental, bem como adotar uma prestação de contas dinâmica que não assuma
conclusões de modo simplista, apenas baseado em resultados e impactos mensurados por
números (para fazer um juízo sumário desses casos pouco desejáveis), mas sim que trate
de problemas sobre como fazer tais avaliações, como mensurar e que argumentos utilizar
para manter viva a esperança de se atingirem impactos importantes e necessários.

A diferença é sutil, porém é crítica. Este texto procura deixar isto bem claro
justamente porque tem o objetivo de promover a elaboração de um SAD realista, útil e
inteligente. Por isso, este livro foi pensado principalmente para todos os servidores
públicos que assumem como importante o desenvolvimento de métodos e de instrumentos
que permitem às organizações públicas dirigir-se (e dirigir seus programas) a resultados
com uma visão de prestação de contas, assim como de inteligência e aprendizagem. O
livro também foi pensado com o objetivo de propor aos avaliadores de programas
públicos que avancem no tocante à promoção de mecanismos pensantes de avaliação, e
que sejam capazes de considerar a aprendizagem e a incorporação efetiva e endógena da
gestão por resultados nas organizações públicas.

Além disso, este livro pode ser também útil para os legisladores e auditores de
programas públicos, com a finalidade de avançar em direção a uma prestação de contas
que não assuma linearmente que um bom programa é o que alcançou seus objetivos e
resultados, mas sim aquele que permite aprender e evoluir em direção à obtenção de
impactos e de resultados mais claros.

Por último, os estudiosos da administração pública – cansados de incorporar

instrumentos como se fossem modismos – podem encontrar utilidade nestas páginas
sempre que e quando precisarem ajustar as ferramentas de gestão com sentido prático e
grande respeito pelas pessoas, bem como pela complexidade da ação governamental.