A AVALIAO NO CICLO DE GESTO PBLICA Maria das Graas Rua O conceito de avaliao das aes governamentais, assim como

o de planejamento, surge com as transformaes no papel do Estado especialmente devido ao esforo de reconstruo aps a Segunda Guerra, adoo de polticas sociais e conseqente necessidade de analisar os custos e as vantagens de suas intervenes. Mais recentemente, no mbito do grande processo de mudana das relaes entre o Estado e a sociedade e da reforma da administrao pblica, que passa do primado dos processos para a priorizao dos resultados, a avaliao assume a condio de instrumento estratgico em todo o ciclo da gesto pblica (Kettl, 2000). Segundo Guba & Lincoln (1990), a trajetria histrica dos processos de avaliao, passa de um primeiro estgio, centrado na medida dos fenmenos analisados, para a focalizao das formas de atingir resultados, evoluindo para um julgamento das intervenes e, finalmente, tendendo a constituir um processo de negociao entre os atores envolvidos na interveno a ser avaliada (Constandriopoulos, 1997). O termo avaliao amplamente usado em muitos e diversos contextos, sempre se referindo a julgamentos. Por exemplo, se vamos ao cinema ou ao teatro formamos uma opinio pessoal sobre o que vimos, considerando satisfatrio ou no. Quando assistimos a um jogo de futebol, formamos opinio sobre as habilidades dos jogadores. E assim por diante. Estes so julgamentos informais que efetuamos cotidianamente sobre todos os aspectos das nossas vidas. Porm, h avaliaes muito mais rigorosas e formais, envolvendo julgamentos detalhados e criteriosos, sobre a consecuo de metas, por exemplo, em programas de reduo da excluso social, melhoria da sade dos idosos, preveno da delinqncia juvenil ou diminuio de infeces hospitalares. Essas correspondem avaliao formal, que o exame sistemtico de certos objetos, baseado em procedimentos cientficos de coleta e anlise de informao sobre o contedo, estrutura, processo, resultados e/ou impactos de polticas, programas, projetos ou quaisquer intervenes planejadas na realidade (Rua, 2000). As definies de avaliao so muitas, mas um aspecto consensual a sua caracterstica de atribuio de valor. A deciso de aplicar recursos em uma ao pblica sugere o reconhecimento do valor de seus objetivos pela sociedade, sendo assim, sua avaliao deve verificar o cumprimento de objetivos e validar continuamente o valor social incorporado ao cumprimento desses objetivos (Mokate, 2002). A avaliao representa um potente instrumento de gesto na medida em que pode e deve - ser utilizada durante todo o ciclo da gesto, subsidiando desde o planejamento e formulao de uma interveno, o acompanhamento de sua implementao, os conseqentes ajustes a serem adotados, e at as decises sobre sua manuteno, aperfeioamento, mudana de rumo ou interrupo. Alm disso, a avaliao pode contribuir para a viabilizao de todas as atividades de controle interno, externo, por instituies pblicas e pela sociedade levando maior transparncia e accountability s aes de governo. Por isso, Mokate (2002) defende que uma das caractersticas chave da avaliao deve ser sua integrao a todo o ciclo de gesto, desenvolvendo-se simultaneamente a ele, desde o momento inicial da identificao do problema. Alm dos objetivos relacionados eficincia e eficcia dos processos de gesto pblica, a avaliao decisiva para o processo de aprendizagem institucional e tambm contribuiria para a busca e obteno de ganhos das aes governamentais em termos de satisfao dos usurios e de legitimidade social e poltica. Por essas e outras razes, tem sido ressaltada a importncia dos processos de avaliao para a reforma das polticas pblicas, modernizao e democratizao da gesto pblica.

Nos pases desenvolvidos os processos de avaliao de polticas vm se tornando crescentemente institucionalizados. Isso exige o empenho das estruturas poltico-governamentais na adoo da avaliao como prtica regular e sistemtica de suas aes, na regulao das prticas avaliativas e no fomento de uma cultura de avaliao integrada aos processos gerenciais (Hartz, 2001). No Brasil, a importncia da avaliao das polticas pblicas reconhecida em documentos oficiais e cientficos, mas esse reconhecimento formal ainda no se traduz em processos de avaliao sistemticos e consistentes que subsidiem a gesto pblica (Hartz et Pouvourville, 1998). Esse consenso no plano do discurso, no produz automaticamente a apropriao dos processos de avaliao como ferramentas de gesto, pois freqentemente a tendncia percebe-los como um dever, ou at mesmo como uma ameaa, impostos pelo governo federal ou por organismos financiadores internacionais. Mokate (2002) identifica algumas das possveis razes pelas quais a avaliao no seria facilmente integrada ao ciclo de gesto: (1) Os paradigmas gerenciais dificultam a apropriao da avaliao pelas equipes de gesto, na medida em que focalizam mais as atividades e processos do que os resultados, no valorizando a explicitao de metas e objetivos, e a responsabilizao pelo seu alcance; (2) As aplicaes convencionais dos processos de monitoramento e avaliao tm se realizado de tal maneira que no tm induzido sua percepo como aliados do processo de gesto, cabendo freqentemente apenas aos avaliadores externos e assumindo o aspecto de fiscalizao, auditoria ou controle, cujos resultados no costumam ser utilizados no processo decisrio e gerencial; (3) A complexidade dos objetivos e a adoo de estratgias e tecnologias diferenciadas, que no necessariamente conduzem ao mesmo resultado, dificultam a avaliao das intervenes. A sensibilidade dos problemas sociais a mltiplas variveis faz com que a seleo de estratgias para seu enfrentamento se baseie em hipteses de relaes causais. particularmente difcil atribuir, atravs da avaliao, as mudanas observadas a uma interveno especfica operada sobre um problema, at porque, freqentemente, os efeitos de algumas intervenes s se evidenciam no longo prazo. A avaliao tem constitudo uma estratgia de mudana do paradigma gerencial. Sob o ponto de vista da gerncia social, as polticas devem ser avaliadas pelo cumprimento de seus objetivos e os gerentes devem ter incentivos naturais para utilizar informao no acompanhamento de seu desempenho em relao a esses objetivos. Mokate (2002) aponta quatro desafios prioritrios para construir um processo de avaliao aliado gerncia social: A definio de um marco conceitual da interveno que se pretende avaliar, indicando claramente objetivos, resultados e as supostas relaes causais que orientam a interveno, pois quando no se sabe onde e como se quer chegar, torna-se muito difcil avaliar nosso desempenho. A superao da brecha entre o quantitativo e o qualitativo na definio de metas e objetivos e na prpria avaliao, gerando complementaridade e sinergia entre eles; A identificao e pactuao de indicadores e informaes relevantes, levando em conta o marco conceitual e as diversas perspectivas e interesses dos atores envolvidos; A definio e manejo efetivo de fluxos da informao gerada pelo processo avaliativo e a introduo de estratgias de incentivos que promovam o uso dessa informao.

1.

2. 3. 4.

Para uma cultura gerencial que incorpore uso efetivo da avaliao ao ciclo de gesto, Mokate (2002) aponta algumas condies: a) incentivar a flexibilidade e a inovao como mecanismos para assegurar o alcance de objetivos mximos desejados e tolerar o erro para promover ajustes e mudana de opes; b) permitir que, dentro da organizao, os que tm a informao possam fazer uso dela, inclusive dissemina-la, em funo dos objetivos pretendidos; c) definir valores objetivos e valores de referncia que facilitem a interpretao da informao;

d)

adotar incentivos organizacionais e gerenciais que favoream o uso da informao (premiao ou reconhecimento por mrito ou alcance de resultados); e) estabelecer mecanismos de ajuste para realocao de recursos humanos, fsicos e financeiros, redefinio de estratgias operativas e modificaes nos produtos e servios para alcanar os objetivos desejados; f) vincular os indicadores ou informaes com os processos decisrios; g) especificar pontos de deciso, fixando prazos e valores objetivo para alguns indicadores; h) comprometer os gestores e suas equipes com o alcance de metas atravs de pactos e contratos de gesto ou desempenho. A avaliao de desempenho constitui um importante instrumento para a gesto das intervenes, mas a falta de acordo sobre como medir esse desempenho ainda um desafio. Como o desempenho refere-se ao grau de alcance dos objetivos e os pases definem diferentes objetivos, metas e dimenses de desempenho nas suas avaliaes, muitas vezes torna-se difcil fazer anlises comparativas. Esse tipo de avaliao deveria focalizar fundamentalmente qualidade, eficincia e eqidade mas as experincias internacionais de avaliao de desempenho enfocam de maneira desigual essas dimenses. Nos pases da OECD predominam anlises sobre a melhoria de resultados e sobre a responsividade. Apesar das recomendaes de organismos internacionais, no sentido de que a eqidade seja uma dimenso transversal de todas as avaliaes de desempenho especialmente no caso das intervenes de natureza social, ainda so poucas as experincias que consolidaram o exame desta dimenso. CONTANDRIOPOULOS, A. P. (1997). A avaliao na rea da sade: conceitos e mtodos. In: HARTZ, Z.M.A. Avaliao em Sade: dos modelos conceituais prtica na anlise da implantao de programas. Rio de Janeiro: Fiocruz. GUBA, E.G. & LINCOLN Y.S. (1990). Fourth generation evaluation. Berverly Hills: Sage. HARTZ, Z. M. A. (2001). Institucionalizando a avaliao em sade: lies (inter)nacionais nas evocaes da Frana. Cadernos de Sade Pblica. 15(2): 229-260. HARTZ Z.M.A. & POUVOURVILLE, G. (1998). Avaliao da eficincia em sade: a eficincia em questo. Cincia & Sade Coletiva. , III(1): 68-82. KETTL, D. (2000). The Global Public Management Revolution: A Report on the Transformation of Governance. Acessado em 10/03/2004: http://www.brookings.edu/scholars/dkettl.htm MINTZBERG, H. (1994). The rise and fall of strategic planning. Nova York: Free Press. MOKATE, K. M. (2002). Convirtiendo el monstruo en aliado: a avaliao como herramienta de la gerencia social. Revista do Servio Pblico, 8(1), 91-136. NASSUNO, M. (2003). Avaliao de resultados e avaliao de satisfao do usurio-cidado: elementos para reflexo. Res Pblica Revista de Polticas Pblicas e Gesto Governamental. 2(2): 99-139. RUA, M.G. (2000). Avaliao de Polticas, Programas e Projetos: Notas Introdutrias. Mimeo. SILVA, P. L. B. e MELO, M. A. B. (2000). O processo de implementao de polticas pblicas no Brasil: caractersticas e determinantes da avaliao de programas e projetos. In: Caderno n 48 NEPP-UNICAMP. TAYLOR, C. (2003) O teste ACIDD: uma estrutura para o planejamento de polticas e processos decisrios. In: Desafios para o desenvolvimento de polticas pblicas: uma viso geral. Braslia: ENAP.

Avaliao de Polticas, Programas e Projetos: Notas Introdutrias

Maria das Graas Rua A avaliao de polticas pblicas, programas e projetos governamentais tem finalidades bastante precisas: (1) accountability, significando estabelecer elementos para julgar e aprovar decises, aes e seus resultados. (2) desenvolver e melhorar estratgias de interveno na realidade, ou seja, a avaliao tem que ser capaz de propor algo a respeito da poltica que est sendo avaliada. (3) empoderamento, promoo social e desenvolvimento institucional, significando que a avaliao deve ser capaz de abrir espao para a democratizao da atividade pblica, para a incorporao de grupos sociais excludos e para o aprendizado institucional e fortalecimento das instituies envolvidas.

Toda avaliao tem que enfrentar uma srie de desafios. Primeiro, deve lidar com as limitaes resultantes do fato de que uma das suas principais fontes de informaes so registros administrativos. Ora, como a avaliao nem sempre concebida ex-ante, os registros administrativos no so elaborados com a perspectiva de prover os dados necessrios avaliao. Com isso, o avaliador sempre tem que lidar com lacunas nesses dados e tentar ir alm delas. Segundo, uma outra fonte de informaes so os beneficirios, dos quais se obtm dados diretos. Isso coloca a necessidade de construir instrumentos fidedignos de coleta, bases de dados precisas e confiveis o suficiente para sustentar as apreciaes a serem feitas. Assim, quanto mais slido o treinamento metodolgico do avaliador, melhor, embora a avaliao no se resuma aplicao de tcnicas metodolgicas. Terceiro, fundamental que sejam avaliados os contextos. H uma importante pergunta neste sentido: porque que em contextos diferentes as mesmas aes apresentam resultados diferentes? Esta indagao d a medida da relevncia do contexto e indica a necessidade de mtodos prprios para o seu estudo. Quarto, ao mesmo tempo que a avaliao implica associar meios e fins, preciso abrir a possibilidade de exame de resultados no antecipados. Isto tem sido feito com mtodos de avaliao livre dos resultados ou avaliao independente dos objetivos, que permite questionar se h outros processos que podem produzir tais resultados, independentemente dos objetivos e atos dos gestores. Quinto, preciso que a avaliao seja capaz de captar mudanas atravs do tempo, retroalimentando as polticas, programas e projetos. Isto requer que, ao invs de representar uma iniciativa pontual, a avaliao seja concebida como um processo contnuo. Sexto, preciso abrir a possibilidade da avaliao orientada para a inovao. Trata-se da avaliao que comea com incio do ciclo de uma poltica, quando h pouco conhecimento sobre a mesma. Este tipo de avaliao implica uma concepo ex-ante, ou seja, a avaliao que construda anteriormente prpria formulao, a partir da qual se realizam simulaes com a finalidade de identificar estratgias e propor cursos de ao . Isso, evidentemente, vai requerer o estabelecimento de uma base de informao (baseline) e a coleta e anlise de evidncias capazes de sustentar polticas novas. Um aspecto que deve ser considerado tem a ver com os avaliadores, suas habilidades e competncias (alm das habilidades analticas que so tomadas como dadas). fundamental que os avaliadores tenham capacidade de trabalhar com policy-makers no sentido de estabelecer com eles parcerias estratgicas visando o melhor resultado das polticas pblicas; isso significa superar a postura de que avaliadores e gestores se situam em campos opostos, sem perder a

caractersticas da independncia da avaliao. Tambm essencial que o avaliadores sejam capazes de atuar junto aos stakeholders, estabelecendo dilogos, ajudando a construir consensos e a gerenciar mudanas. igualmente necessrio que o avaliador seja capaz de analisar a coerncia da poltica e interpretar resultados com o distanciamento necessrio. Finalmente, indispensvel que a avaliao tenha conseqncias. E isso significa elaborar planos de ao, formular recomendaes visando o aperfeioamento das polticas, programas e projetos. Essas habilidades so a base para a formao e consolidao de uma cultura de avaliao, capaz de encarar as falhas como oportunidades de aprendizado para fazer mais e melhor em termos de polticas pblicas.

Entendendo o que significa avaliao

Entre as inmeras definies existentes pode-se sustentar que avaliao formal (1) um julgamento (porque envolve valores) (2) sistemtico (porque baseia-se em critrios e procedimentos previamente reconhecidos) (3) dos processos ou dos produtos de (4) uma poltica, programa ou projeto, tendo como referncia (5) critrios explcitos, a fim de contribuir para (6) o seu aperfeioamento, a melhoria do processo decisrio, o aprendizado institucional e/ou o aumento da accountability. Assim sendo, possvel reconhecer que a avaliao contm duas dimenses. A primeira tcnica, e caracteriza-se por produzir ou coletar, segundo procedimentos reconhecidos, informaes que podero ser utilizadas nas decises relativas a qualquer poltica, programa ou projeto. A segunda valorativa, consistindo na ponderao das informaes obtidas com a finalidade de extrair concluses acerca do valor da poltica, programa ou projeto. Ainda assim, a finalidade da avaliao no necessariamente distinguir as intervenes de qualquer natureza segundo sejam boas ou ms, exitosas ou fracassadas. Muito mais importante e proveitoso apropriar-se da avaliao como um processo de apoio a um aprendizado contnuo, de busca de melhores decises e de amadurecimento da gesto. A avaliao formal permite julgar processos e produtos de vrios modos. Primeiro, levantando questes bsicas tais como os motivos de certos fenmenos (por exemplo: o que causa os elevados ndices de morte violenta entre os jovens brasileiros?). Este tipo de avaliao pode focalizar relaes de causa e efeito com a finalidade de recomendar medidas para lidar com o problema. Em segundo lugar, a avaliao formal pode ser usada como instrumento de acompanhamento de polticas ou programas de longo prazo. Nesses casos so realizadas vrias avaliaes em estgios-chave da poltica ou programa, a fim de prover dados confiveis sobre os seus impactos e sobre como podem ser estes mitigados ou melhorados. Em terceiro, ao final de um programa ou projeto a avaliao pode indicar o seu sucesso na consecuo dos seus objetivos e permitir avaliar a sua sustentabilidade, ou seja, a possibilidade da sua continuidade atravs do tempo. A avaliao formal pode contribuir para aperfeioar a formulao de polticas e projetos especialmente tornando mais responsvel a formulao de metas, e apontar em que medida os governos se mostram responsivos frente s necessidades dos cidados. Pode mostrar se as polticas e programas esto sendo concebidos de modo coordenado ou articulado; e em que medida esto sendo adotadas abordagens inovadoras na resoluo de problemas que antes pareciam intratveis. Pode indicar como vo sendo construdas as parcerias entre governo central e local, entre os setores pblico, privado e terceiro setor, identificar as condies de sucesso ou fracasso dessas parcerias e apontar como podem ser aperfeioadas a fim de ganharem abrangncia e se tornarem estratgias nacionais das polticas de desenvolvimento. Os modelos contemporneos de formulao de polticas enfatizam a importncia dos objetivos compartilhados em lugar das estruturas organizacionais ou das funes existentes. Mas a articulao de polticas/programas no se resume a abordagens compartilhadas de questes comuns. A articulao horizontal entre agncias ou organizaes requer melhor coordenao entre os gestores e melhor articulao vertical entre os que tomam as decises e os que os implementam. Isto no um fim em si mesmo, mas deve estar presente onde agrega valor, e especialmente importante quando as polticas ou programas se dirigem s questes socialmente perversas. Nesses casos, a avaliao formal permite aprender e incorporar lies implementao de novas polticas/programas.

Desmistificando o problema: uma rpida introduo ao estudo dos indicadores Maria das Graas Rua 1. Surgimento e evoluo Na dcada de 1920, nos EUA, comeou a surgir a idia de que a sociedade deveria ter dados que permitissem uma imagem precisa de si prpria e de suas mudanas. Em 1929 foi criado um comit presidencial com a tarefa de produzir um relatrio detalhado denominado Tendncias Sociais Recentes. Por trs da expresso tendncias sociais ou indicadores a nica idia existente era a de que estes deveriam expressar um esforo ativo e deliberado para selecionar um conjunto de medidas de mudana social. O relatrio do comit teve poucos impactos imediatos, mas levantou essas idias e, a partir de ento, alguns dados passaram a ser coletados e sistematizados segundo as preocupaes ali apresentadas. Bem mais tarde, aps a Segunda Guerra, consolidou-se o conceito de indicadores sociais, que deveriam representar uma alternativa ao foco exclusivo sobre o crescimento econmico e em 1953 j havia uma ampla coleo de dados estatsticos, sobre taxas de desemprego, crimes, nveis de consumo etc. A busca de indicadores sociais baseava-se numa concepo que poderia ser expressa nos seguintes termos: Ns sabemos que certas situaes so insatisfatrias. Se coletarmos um boa quantidade de dados talvez venhamos a saber como as coisas so e tenhamos uma idia do que fazer. Tratava-se de uma abordagem exploratria, empiricista, intuitiva, sem fundamento em teorias consistentes. Na dcada de 1960 vrios pases j tinham comeado a compilar regularmente os dados para compor indicadores sociais e firmou-se a concepo de que era preciso entender as conseqncias de segunda ordem, ou seja, os efeitos no antecipados sobre extensas reas da vida social, poltica e econmica, que necessitariam amplas intervenes.Porm demorou-se a perceber que as medidas por si s no traziam solues para os problemas. E que a definio do problema, a anlise, o planejamento, e o envolvimento com a gesto teriam que amadurecer junto com os indicadores. Em meados da dcada de 1960, uma pesquisa da NASA chegou concluso de que havia uma quase absoluta ausncia de conceitos e de metodologia para a construo de indicadores, os quais foram definidos pelo diretor do projeto, Raymond Bauer, como estatsticas e sries estatsticas e todas as outras formas de evidncia que nos capacitem a avaliar em que ponto estamos e para onde estamos indo com relao aos nossos objetivos e valores. Em seguida, na dcada de 1970 a pesquisa envolvendo indicadores sociais se disseminou para vrios pases e organismos internacionais. A OCDE e as Naes Unidas comearam a adota-los e desenvolveram-se novos conceitos e metodologias para sua elaborao. Nessa poca, pela primeira vez comeou-se a discutir se o maior objetivo das sociedades ocidentais desenvolvidas deveria ser o crescimento econmico. Os custos sociais do crescimento econmico e a pobreza como a outra face da moeda, tornaram-se o foco do debate politico. Passou-se a questionar cada vez mais a idia de que mais significa o mesmo que melhor, e surgiu uma demanda pblica de qualidade, em oposio a quantidade. Foi quando se desenvolveu a discusso sobre qualidade de vida. Passaram a se diferenciar os indicadores sociais objetivos e os subjetivos. Os primeiros correspondem a estatsticas que representam fatos sociais, independentemente de avaliaes pessoais. So eles, por exemplo, renda per capita, taxas de desemprego, taxa de pobreza, extenso mdia da jornada semanal de trabalho, taxa de mortalidade perinatal, etc. Os

indicadores subjetivos, por sua vez, enfatizam as percepes individuais e avaliaes das condies sociais. So eles: satisfao com a vida, com o trabalho, percepo de justia distributiva, aspiraes quanto ao futuro, etc Este perodo caracterizou-se pela constituio de grandes e complexos sistemas de informao social, baseados em inmeras pesquisas sobre qualidade de vida e desenvolvimento social. Entretanto, ao final da dcada de 1970 devido crise econmica decorrente do choque do petrleo reduziu-se o interesse pelos indicadores sociais, de tal forma que, ao final da dcada de 1980 a sua utilizao declinou e o seu desenvolvimento estagnou-se, permanecendo a nfase apenas nos indicadores econmicos. Somente na dcada de 1990 ressurgiu o interesse pelos indicadores, no somente econmicos, mas tambm sociais e gerenciais. Ocorreu sua revalorizao tanto na esfera das polticas pblicas e seus resultados substantivos, como na esfera da gesto governamental. Passaram a ser discutidos e adotados tanto no nvel subnacional (estados e municpios), como nacional e supranacional, especialmente com o estabelecimento de novas instituies de monitoramento e avaliao e de bases de informao dotadas de sofisticada infra-estrutura tecnolgica. Ao final da dcada de 1990, especialmente com o avano e disseminao dos sistemas informatizados de gerenciamento de dados, e a formao de redes virtuais de participao e controle social, fortaleceu-se a idia da utilizao dos indicadores sociais e gerenciais com a finalidade de apoiar o monitoramento e a avaliao das aes governamentais como um todo. 2. O debate conceitual Existem diversos conceitos de indicadores, expressando perspectivas sutilmente diferenciadas. Existem tambm diferentes adjetivos utilizados para caracterizar os indicadores: econmicos, sociais, gerenciais, de desempenho, de processo, de produto, de qualidade, de impacto, etc dependendo muito do tipo de interveno e do aspecto a ser avaliado, da metodologia de avaliao e do foco desta, entre outras coisas. Porm, h um consenso em que todo tipo de monitoramento e avaliao baseia-se no exame de indicadores. Indicadores no so simplesmente dados, mas uma balana que nos permite pesar os dados ou uma rgua, que nos permite aferir os dados em termos de qualidade, resultado, impacto, etc., dos processos e dos objetivos dos eventos. Os indicadores so medidas, ou seja, so uma atribuio de nmeros a objetos, acontecimentos ou situaes, de acordo com certas regras. Enquanto medidas, os indicadores referem-se s informaes que, em termos conceituais, so mensurveis, independentemente de sua coleta obedecer a tcnicas ou abordagens qualitativas ou quantitativas. Indicadores sempre so variveis, j que podem assumir diferentes valores. Porm, nem todas as variveis so indicadores. Enquanto medidas, os indicadores devem ser definidos em termos operacionais, ou seja, mediante as categorias pelas quais eles se manifestam e podem ser medidos. Entre os indicadores, especial destaque atribudo aos ndices. Estes consistem, em primeiro lugar, em medidas de ordenamento ou escalonamento, crescente ou decrescente de um objeto de observao. ndices, portanto, expressam seus resultados de modo a construir uma ordem e/ou hierarquia de situaes, que o seu principal objetivo: o de criar parmetros de comparao e ordenao entre diferentes realidades. Em segundo lugar isso feito mediante a identificao e mensurao das relaes observveis entre variveis ou entre uma varivel e uma constante. Por exemplo, o nmero de analfabetos por grupos de 100 indivduos uma relao entre uma varivel e uma constante. A informao proporcionada por este tipo de indicador mostra-se mais til quando possvel estabelecer comparaes e escalonar os resultados. J os ndices que expressam relaes entre variveis contm, em si mesmos, informaes relevantes, ainda que a

comparao possa enriquecer a anlise. Por exemplo, a proporo de alunos aprovados sobre alunos matriculados expressa a relao entre duas variveis e traz informao sobre o desempenho de uma classe, uma escola, um professor, uma metodologia, etc Da mesma forma, podem ser apresentados em uma escala crescente ou decrescente. Alguns dos trabalhos mais significativos no campo da avaliao de mudanas na situao social mundial foram realizados em agncias da Organizao das Naes Unidas (ONU) trazendo importantes avanos na construo de ndices. Desses trabalhos duas vertentes de avaliao multidimensional emergiram. Uma primeira trabalha ampliando o conjunto de indicadores utilizados com o objetivo de aumentar a preciso das avaliaes. o caso, por exemplo, do ndice de Progresso Social (IPS). Este baseado em uma concepo determinada de necessidades sociais e materiais bsicas das diversas populaes mundiais e levanta 44 indicadores considerados relevantes para o bem-estar social para compor 11 subndices, os quais, ponderados, compem o IPS: Educao (4 pontos), Sade (3 pontos), Condio da Mulher (5 pontos), Esforo de Defesa (1 ponto), Demografia (5 pontos), Geografia (3 pontos), Estabilidade Poltica (5 pontos), Participao Poltica (6 pontos), Diversidade Cultural (3 pontos) e Esforos de Bem-estar Social (5 pontos). A outra vertente busca a simplicidade na composio dos ndices, como o caso do ndice de Qualidade de Vida Fsica (IQVF), composto por Mortalidade Infantil, Esperana de Vida ao Nascer e Analfabetismo entre Adultos. Esse tipo de ndice pode ser criticado porque ignora diversas esferas importantes do bem-estar humano, mas h razes para se buscar essa simplicidade: ndices de baixa complexidade minimizam alguns problemas conceituais e metodolgicos decorrentes de sua composio, podem ser calculados para um grande nmero de regies, so facilmente compreensveis e, portanto, podem servir de complemento ou mesmo alternativa s analises baseadas em indicadores de produto, como o PIB. O ndice de Desenvolvimento Humano (IDH) pertence a esta ltima vertente. Criado por uma das agncias especializadas da ONU, o Programa das Naes Unidas para o Desenvolvimento (PNUD), o IDH possui componentes referentes sade, educao e poder aquisitivo que so combinados para a comparao do nvel de desenvolvimento dos indivduos nas diversas naes. A maior parte dos ndices multidimensionais enfrenta diversas dificuldades. Uma delas estabelecer a ponderao dada a cada uma das dimenses. Sintetizar a informao de vrios aspectos da vida humana em um nico ndice (isto , criar um indicador sinttico) exige a definio de uma regra que atribua peso especfico a cada uma dessas dimenses. Um ndice sinttico como o IDH, por exemplo, deve combinar indicadores de escolarizao, PIB e esperana de vida para gerar um resultado (nmero) nico. Ao fazer isso o IDH precisa, em ltima instncia, determinar a quantos dlares equivale um ano de vida para, assim, ponderar variaes na renda em relao variaes na esperana de vida ao nascer. Embora ndices sintticos como o IDH sejam amplamente aceitos, muito pouco provvel que a comunidade de analistas que o utiliza alcance um consenso razovel se o sistema de ponderao desses ndices for colocado em debate. Isso, porm, no motivo para descartar a sua utilidade, especialmente quando utilizados em perspectiva comparativa, diacrnica ou sincrnica. 3. Indicadores de desempenho: conceitos e caractersticas dos diferentes tipos de indicadores1 Atualmente, no Brasil, as diferentes instncias de governo realizam esforos para modernizar a gesto pblica, reduzindo custos e melhorando a qualidade dos servios prestados. Os princpios bsicos que se procura colocar em prtica so a busca de resultados e o foco no cidado. A viso
1

Adaptado de Eduardo Ramos Ferreira da Silva.

de futuro orientadora desses princpios a formao de um servio pblico eficaz, eficiente, flexvel, transparente, altamente capacitado, profissionalizado e comprometido com o bem-estar da sociedade. Incorporar esses atributos requer uma profunda mudana de atitude. Uma gesto voltada para resultados exibe acentuada integrao de todos os sistemas organizacionais em torno de especificaes de resultados relativos a cada organizao no seu todo, especificaes de resultados relativos s unidades que constituem a organizao, e especificaes de resultados relativos a todos os gestores individuais. So as seguintes as principais caractersticas desse tipo de gesto: Previamente ao estabelece objetivos e metas mediante planejamento sistemtico; Conta com uma especificao dos resultados a atingir conforme suas metas e objetivos; Dispe de uma estrutura organizacional que permite atingir os resultados especificados; Existe uma clara compreenso, por parte de todos os gestores, do significado dos conceitos de resultados, eficincia e eficcia; H uma integrao dos sistema-chaves com o conceito de resultados; Ocorre uma articulao entre os resultados das organizaes, das suas unidades e dos gestores individuais; capaz de responder de maneira flexvel para atingir os resultados; Cria um modo prprio de lidar com os resultados, resistindo a copiar os dos outros Um elemento essencial na gesto com foco em resultados o uso de indicadores de desempenho em todo o ciclo de gesto: planejamento, tomada de decises, implementao e controle. Neste texto so examinados os principais conceitos e caractersticas dos diferentes tipos de indicadores de desempenho institucional.

Indicadores

De uma maneira simplificada, os indicadores so medidas que representam ou quantificam um insumo, um resultado, uma caracterstica ou o desempenho de um processo, de um servio, de um produto ou da organizao como um todo. Um indicador pode ser simples (decorrente de uma nica medio) ou composto; direto ou indireto em relao caracterstica medida; especfico (atividades ou processos especficos) ou global (resultados pretendidos pela organizao como um todo); e direcionadores (indicam que algo pode ocorrer) ou resultantes (indicam o que aconteceu). Existem vrias tipologias para os indicadores. Abaixo encontram-se algumas das mais conhecidas. a) b) c) Indicadores Estratgicos Indicadores de Processo: Indicadores de Produtividade (eficincia) Indicadores de Qualidade (eficcia) Indicadores de Efetividade (impacto) Indicadores de Capacidade Indicadores de Projetos

Os indicadores so utilizados para Internalizar na organizao pblica as necessidades e expectativas dos clientes; Possibilitar o estabelecimento e desdobramento das metas de uma interveno; Embasar a anlise crtica dos resultados da interveno e do processo de tomada de deciso; Contribuir para a melhoria contnua dos processos organizacionais; Facilitar o planejamento e o controle do desempenho, pelo estabelecimento de mtricaspadro e pela apurao dos desvios ocorridos com os indicadores; e Viabilizar a anlise comparativa do desempenho da organizao em intervenes diversificadas.

Indicadores Estratgicos

Informam o quanto a organizao se encontra na direo da consecuo de sua Viso. Refletem o desempenho em relao aos Objetivos Estratgicos da Organizao. So formulados segundo as dimenses e critrios estabelecidos no Planejamento Estratgico das organizaes.

Indicadores de Processos Representao objetiva de caractersticas do processo que devem ser acompanhadas ao longo do tempo para avaliar e melhorar o seu desempenho. Medem a eficincia e a eficcia dos processos. So os seguintes os indicadores de processo: a) b) c) indicadores da qualidade indicadores de produtividade indicadores de capacidade

Indicadores da Qualidade

Os Indicadores da Qualidade, ou Indicadores da Satisfao dos Clientes, medem como o produto ou servio percebido pelo cliente e a capacidade do processo em atender os requisitos dos clientes. Podem ser aplicados para a organizao como um todo, para um processo ou para uma rea. Podem ser baseados em pesquisa de opinio. Podemos dividir os Indicadores da Qualidade em dois tipos: Indicadores da No-Qualidade e Indicadores da Qualidade. INDICADORES DA NO-QUALIDADE Total de Deficincias/Erros/Desperdcios

X 100

Total de Sadas (produtos/servios) Para os demais indicadores da Qualidade, no diretamente ligados ao ndice de satisfao, devemos comparar a Qualidade do que foi produzido com o total produzido. INDICADORES DA QUALIDADE Total de sadas certas Total de Sadas (produtos/servios)

X 100

O resultado da aplicao deste indicador para um processo que produziu 2000 produtos dos quais 10 foram considerados defeituosos, igual a : 10 2000 Poderamos definir o indicador deste processo da forma inversa, com um Indicador da Qualidade da seguinte forma: Nmero de produtos perfeitos Total de produtos produzidos Para o qual obteramos, nas mesmas condies o seguinte ndice: 1990 2000 A comparao com os padres ou parmetros que vai indicar o estado dos processos. A comparao do resultado obtido na medio de um Indicador da Qualidade contra o ndice padro de aceitao definido para um determinado processo (ou seja, indice desejado) chamado de Eficcia. ndice da qualidade obtido ndice da qualidade desejado

X 100 = 0,5% de produtos defeituosos

X 100

X 100 = 99,5% de produtos perfeitos

X 100 = %

Como o ndice desejado na medio um Indicador da Qualidade de 100%, principalmente quando pensamos em termos de Qualidade Total, o nmero resultante da medida de um Indicador da Qualidade o mesmo do da medio da Eficcia. ndice da qualidade obtido 100 X 100 = ndice da qualidade obtido

Tambm podemos definir a Ineficcia de um processo como: Ineficcia = 100 - Eficcia

Indicadores de Produtividade Os Indicadores de Produtividade so ligados eficincia, esto dentro dos processos e tratam da utilizao dos recursos para a gerao de produtos e servios. Medir o que se passa no interior dos processos e atividades permite identificar problemas e, consequentemente, preveni-los para que no tragam prejuzos aos clientes Os Indicadores de Produtividade so muito importantes, uma vez que permitem uma avaliao precisa do esforo empregado para gerar os produtos e servios. Alm disso, devem andar lado a lado com os de Qualidade, formando, assim, o equilbrio necessrio ao desempenho global da organizao. Por exemplo: com uma classe de apenas cinco alunos um professor teria condies de conseguir oferecer servios de altssima Qualidade seus alunos receberiam muito mais ateno. A produtividade , entretanto, estaria comprometida: a proporo de um professor para cinco alunos obrigaria a escola a contratar mais profissionais e aumentar seus custos salariais. Por outro lado, um professor para cem alunos teria poucas condies para fazer um bom trabalho. Embora a produtividade aumentasse violentamente, a Qualidade do ensino provavelmente cairia. Observe, portanto, que deve ser dada igual importncia aos Indicadores da Qualidade e da Produtividade, de modo que ao melhorar um deles o outro tambm melhore. Deve se ter em mente que a crena de que a melhoria na qualidade reflete na produtividade negativamente, como acontece com os pratos de uma balana, infundada. A verdadeira melhoria da Qualidade vai melhorar tambm a Produtividade.

Frmula dos Indicadores da Produtividade

TOTAL PRODUZIDO
RECURSOS UTILIZADOS OU DISPONVEIS ou

RECURSOS UTILIZADOS OU DISPONVEIS

TOTAL PRODUZIDO

Para quantificarmos a Produtividade (interna organizao), devemos comparar o que foi gerado, com o que foi empregado de recursos para isso acontecer. O resultado indicar o quanto est sendo consumido ou utilizado para cada unidade do que foi produzida, entregue ou prestada. Como vemos, ao contrrio dos resultados dos Indicadores da Qualidade que aparecem na forma de percentual, os Indicadores da Produtividade so uma relao entre 2 unidades de medida diferentes, uma que quantifica os recursos consumidos ou utilizados e outra que quantifica as sadas produzidas. O ndice resultante de um Indicador da Produtividade no deve sair em forma de frao, mas pelo resultado desta diviso acompanhada da unidade de medida, por exemplo

50.000 reais gastos 1.000 treinamentos realizados logo o ndice de produtividade foi de 50 reais/treinamento.

Obs.: Para os indicadores envolvendo dinheiro, alguns preferem coloc-lo na relao matemtica como numerador ao invs de denominador, como mostrado acima. de extrema importncia que os indicadores sejam montados aps a identificao das sadas e dos recursos do processo que vai ser medido por estes indicadores. Sadas de um processo so muitas vezes recursos de outros. Por exemplo, pessoas treinadas de uma organizao so sadas do processo de treinamento (outputs), mas devem ser consideradas como recursos para os processos subsequentes. Assim como os indicadores da Qualidade, os resultados dos Indicadores da Produtividade (ndices da produtividade) devem ser comparados com padres preestabelecidos, considerados como os valores aceitveis para o processo que est sendo medido. Chamamos de Eficincia do processo a relao entre o resultado obtido na medio de um Indicador de Produtividade e o ndice estabelecido como padro do processo. A Eficincia pode ser calculada de duas formas, dependendo de como os Indicadores da Produtividade foram calculados, e so as mostradas a seguir. Para ndices calculados como recursos utilizados por sadas, temos:

ndice previsto ndice obtido

Recursos previstos/sadas Recursos utilizados/sadas

X 100 = % Eficincia

Logo podemos considerar que para uma mesma quantidade de sadas boas produzidas, Eficincia : Recursos previstos Recursos utilizados Assim sendo este percentual poder ser maior ou menor que 100%. Este valor poder ser maior que 100% quando alguma melhoria no processo for introduzida e o mesmo passar a consumir menos recursos que o previsto. Por exemplo, um processo consumia 5 litros de gua por pea fabricada, com a substituio dos equipamentos usados no processo , passou a gastar 4 litros, a eficincia na utilizao do recurso gua passou a ser de 5/4 x 100 = 125%. Quando isto ocorrer os padres usados precisam ser revisados e novos padres estabelecidos de acordo com as mudanas ocorridas no processo. A outra forma de clculo da Eficincia usada quando consideramos os ndices calculados como sadas por recurso utilizado, o seguinte

X 100

ndice obtido ndice previsto

sadas/recursos utilizados Sadas/recursos previstos

X 100 = % Eficincia

sadas sadas

Recursos previstos Recursos utilizados

X 100 =

Recursos previstos Recursos utilizados

X 100 =

O que o mesmo que na forma de clculo mostrada anteriormente. CLCULO DE EFICINCIA Eficincia a relao entre: o ndice de produtividade obtido e o ndice considerado como padro. Dependendo de como os ndices foram definidos, ser igual a:

Recursos previstos/sadas Recursos utilizados/sadas Ou Sadas/recursos utilizados Sadas/recursos previstos O que o mesmo que: Recursos previstos Recursos utilizados No exemplo anterior os ndices, se calculados inversamente seriam: 0,2 produtos/litro de gua (1/50) como padro e 0,25 produtos/litro de gua (1/40) o ndice obtido no novo processo

X 100

X 100

X 100

logo no clculo da Eficincia seria 0,25/0,20 x 100 = 125% sendo portanto o mesmo, pois so apenas 2 formas diferentes de representar a mesma coisa. Da mesma forma que podemos medir a Ineficcia, medimos tambm a Ineficincia que definimos como: Ineficincia = 100% - Eficincia

A Figura 4 abaixo mostra as diferenas bsicas entre os Indicadores de Produtividade e de Qualidade.

Figura 4: Diferenas entre os Indicadores de Produtividade e Qualidade. Indicadores Dizem respeito a Medem Tem foco Indicam Produtividade O modo recursos Eficincia No esforo Como fazer de utilizar Qualidade os Satisfao dos clientes Eficcia Nos resultados O que fazer

Indicadores da Capacidade Os Indicadores da Capacidade medem a capacidade de resposta de um processo por meio da relao entre as sadas produzidas por unidade de tempo. Mas podem medir tambm a constituio, formao ou ampliao de uma capacidade para produzir um resultado avanado num momento subseqente.

Exemplos de Indicadores da Capacidade n. de peas produzidas / hora n. de atendimento / ms n. de correspondncias enviadas / dia n. de clientes visitados / ano Indicadores de Projeto

So indicadores para acompanhar e avaliar a execuo de projetos.

Exemplo: Projeto de Dessanilizao

Trata-se de um projeto que visa dessanilizar e tratar fontes de gua no-potvel com potencial para uso adequado. Perodo: Maro/2003 Dez. 2005 Resultados esperados gua potvel em quantidade e qualidade satisfatrias disponvel

Uso sustentado pela populao residente no municpio X da gua potvel nas atividades Clientes usurios Populao residente no municpio X e no seu entorno

Indicadores (outcomes) % de potabilidade e uso atingido relativamente ao previsto n. de habitantes e % da populao beneficiada Atividades/Mdulos identificar fontes de gua potenciais dessanilizao para acesso e uso sustentado viabilizar infra-estrutura adequada de implantao, tratamento e uso vivel de gua Indicadores (outputs) nmero de fontes de gua do municpio com potencial para dessanilizao identificadas instalaes fsicas construdas % das fontes identificadas dessanilizadas Metas de desempenho at maio de 2003, 100% das fontes de gua do municpio com potencial para dessanilizao identificadas at dezembro de 2005, 100% das instalaes necessrias construdas: 30% no primeiro ano do projeto (2003) 30% no segundo ano do projeto (2004) 40% no terceiro ano do projeto (2005) Principais Atributos dos Indicadores Para que os indicadores se tornem viveis e prticos, devem possuir alguns atributos especiais. Adaptabilidade capacidade de resposta s mudanas de comportamento e exigncias dos clientes. Os indicadores podem tornar-se desnecessrios ao longo do tempo e devem ser imediatamente eliminados ou substitudos por outros de maior utilidade. Representatividade captao das etapas mais importantes e crticas dos processos, no local certo, para que seja suficientemente representativo e abrangente. Dados desnecessrios ou inexistentes no devem ser coletados. Em contrapartida, dados importantes devem ser precisos, atender aos objetivos e ser buscados na fonte correta. Este atributo merece certa ateno, pois indicadores muito representativos tendem a ser mais difceis de ser obtidos. Deve-se, portanto, haver um certo equilbrio entre a representatividade e a disponibilidade para coleta. Simplicidade facilidade de ser compreendido e aplicado tanto pelos executores quanto e principalmente pelos que recebero seus resultados. Os nomes e expresses devem ser conhecidos e entendidos por todos os envolvidos de forma homognea, garantindo ampla validade por toda a organizao.

Rastreabilidade facilidade para identificao da origem dos dados, seu registro e manuteno. Sempre que possvel, deve-se transformar os resultados em grficos para um acompanhamento mais preciso, o que permite a comparao com desempenhos anteriores. Disponibilidade facilidade de acesso para coleta, estando disponvel a tempo, para as pessoas certas e sem distores, servindo de base para que decises sejam tomadas. De nada adiantaria informaes atrasadas e desatualizadas, embora corretas, ou informaes atuais e corretas, mas para a pessoa errada. Economia no deve ser gasto tempo demais procurando dados, muito menos pesquisando ou aguardando novos mtodos de coleta. Os benefcios trazidos com os indicadores devem ser maiores que os custos incorridos na medio. Caso contrrio, em pouco tempo a organizao estar medindo sua prpria falncia. Praticidade garantia de que realmente funciona na prtica e permite a tomada de decises gerenciais. Para isso, deve ser testado no campo e, se necessrio, modificado ou excludo. Estabilidade garantia de que gerado em rotinas de processo e permanece ao longo do tempo, permitindo a formao de srie histrica. fundamental que os indicadores sejam direcionados para a tomada de decises gerenciais voltadas para a soluo dos problemas apontados, servindo de base inclusive para a reviso de metas j estabelecidas. Por isso, os indicadores no podem agregar mais trabalho no dia-a-dia nem tempo excessivo para serem coletados e obtidos. Assim, devem ser representativos para os processos e atividades, levando a anlises e melhorias da forma mais prtica e objetiva possvel.