MELHORIA DA GESTO PBLICA POR MEIO DA DEFINIO DE UM GUIA REFERENCIAL PARA MEDIO DO DESEMPENHO DA GESTO, E CONTROLE PARA O GERENCIAMENTO

PARA O GERENCIAMENTO DOS INDICADORES DE EFICINCIA, EFICCIA E DE RESULTADOS DO PROGRAMA NACIONAL DE GESTO PBLICA E DESBUROCRATIZAO

PRODUTO 4 : GUIA REFERENCIAL PARA MEDIO DE DESEMPENHO E MANUAL PARA CONSTRUO DE INDICADORES

Braslia,Dezembrode2009

SUMRIO

APRESENTAO.........................................................................................................3

1.

CONCEITOS:DAGOVERNANAPARARESULTADOSMENSURAODO

DESEMPENHO............................................................................................................5 1.1. 1.2. 1.3. 2. GOVERNANAEGOVERNANAPARARESULTADOS.......................................................5 GESTOEMENSURAODODESEMPENHO................................................................9 MODELOSEINDICADORES..................................................................................... 12 UM(META)MODELOPARAMENSURAODODESEMPENHO:ACADEIADE

VALOREASSEISDIMENSESDODESEMPENHO(6ES).............................................14 2.1. 2.2. 2.3. 2.4. 2.5. 3. ELEMENTOSDACADEIADEVALOREDIMENSESDODESEMPENHO................................17 SUBDIMENSESDOS6ESDODESEMPENHO..............................................................20 APLICAODOMODELODOS6ESDODESEMPENHO..................................................23 DESEMPENHOTIMOEESTRUTURADEPONDERAO................................................33 FORMULAODEINDICADORES..............................................................................39 CONSTRUINDOINDICADORESDEDESEMPENHO..........................................40

3.1. PASSO1IDENTIFICAODONVEL,DIMENSO,SUBDIMENSOEOBJETOSDE MENSURAO................................................................................................................. 43 3.2. PASSO2ESTABELECIMENTODEINDICADORES..........................................................46 3.3. PASSO3VALIDAOPRELIMINARDOSINDICADORESCOMASPARTESINTERESSADAS......49 3.4. PASSO4CONSTRUODEFRMULAS,ESTABELECIMENTODEMETASENOTAS..............49 3.4.1.Construodefrmulas.................................................................................49 3.4.2.Estabelecimentodemetas.............................................................................52 3.4.3.Definiodenotas .......................................................................................... 56 3.5. PASSO5DEFINIODERESPONSVEIS ...................................................................58 3.6. PASSO6GERAODESISTEMADECOLETADEDADOS..............................................60 3.7. PASSO7PONDERAOEVALIDAOFINALDOSINDICADORESCOMASPARTES INTERESSADAS.................................................................................................................. 60

3.8. 3.9. 3.10. 3.11. 4.

PASSO8MENSURAODODESEMPENHO..............................................................69 PASSO9ANLISEEINTERPRETAODOSINDICADORES.............................................71 PASSO10COMUNICAODODESEMPENHO...........................................................71 PAINISDECONTROLE.......................................................................................... 72

LISTADEVERIFICAODACONSISTNCIADOMODELODEMEDIODE

DESEMPENHO..........................................................................................................81

5.

CONSIDERAESFINAIS...............................................................................84

BIBLIOGRAFIA.................................................................................................................. 85 ANEXO1.DIMENSESEINDICADORESDEDESEMPENHO........................................88

ANEXO2.DICIONRIODEINDICADORESDASREASDEGESTODESUPORTE ....... 102

ANEXO3.MODELOSDEPLANILHASPARAAMODELAGEMDEINDICADORES......... 107

Apresentao
O propsito de um guia orientar a realizao ou alcance de algo, oferecendo um caminho a ser seguido. No se trata de um manual cuja estrita e acrtica obedincia levar ao melhor resultado possvel. Tratase da proposio de uma metodologia conceitualmente embasada que para render os melhores resultados possveis requer apropriao: deve fazer sentido para quem a aplica e, no obstante basearse em princpios firmes, ser flexvel o bastante para ser aplicadaemvastavariedadedecasos. com este esprito que a Secretaria de Gesto do Ministrio do Planejamento, Oramento e Gesto lana a primeira edio deste Guia Referencial para Medio de Desempenho na Administrao Pblica. Tratase de um referencial metodolgico que permitir a governos (Federal, estaduais e municipais), reas ou domnios de polticaspblicas,conjuntosdeorganizaes,organizaespblicase suas unidades definirem e mensurarem seu desempenho assumindose que este um primeiro e decisivo passo para a gesto do desempenho, possibilitando, em bases metodologicamente anlogas, sua pactuao, avaliao, divulgao em momentos posteriores. Dentro do espectro das iniciativas de polticas de gesto atualmente deslanchadas pela SEGES, acreditase que esta contribuio metodolgica possa no apenas complementar o GESPPLICA proporcionando uma reflexo e direcionamento mais finalstico ao MEGP, mas alinhase com outras iniciativas tais como avaliao institucional, contratualizao de resultados, avaliao de estruturas etc. Nessesentido,esteGuiasealinhaecomplementaoutrasconcepes demensuraodedesempenhoqueseaplicamaoutrosobjetos,tais como programas ou governos em geral (includos os trs poderes), em desenvolvimento pela SPI e IPEA, respectivamente. Acima de tudo,acreditasequeapresentemetodologiapossacontribuirparaa construo de um acordo sobre o conceito de desempenho no setor pblico dentro do Ministrio do Planejamento, de tal sorte sua atuaopossasercadavezmaisintegrada.

A construo da metodologia baseouse no estado da arte da literatura gerencial sobre gesto do desempenho e buscou encontrar um difcil equilbrio entre complexidade e simplicidade. A complexidade est, primeiramente, no tema, suscitando controvrsias sobre o conceito de desempenho e sua mensurao, questes estas que tem merecido na literatura tcnica no apenas tratamento variado, mas sujeito a razovel confuso semntica e conceitual. Mas a complexidade tambm est nos objetos de aplicao, de distintos portes, naturezas de atividades, pblicos e contextos de atuao. A sada foi a concepo de um metamodelo, um modelo que oriente a construo de modelos especficos de definio e mensurao do desempenho caso a caso, respeitandose conceitos e princpios bsicos. Dessa forma, buscouse ao mesmo tempo reconhecer a complexidade e perseguir a simplicidade, renunciandose busca de solues exaustivas ou universalmente vlidas. Ademais, esta iniciativa constitui a primeira edio do Guia, que, alem das virtudes e limitaes inerentes a qualquer modelo, necessitadeaplicaesparaseucontnuoaperfeioamento. Buscouseconstruirumtextomaissucintopossvel,comexemplosde aplicao e ilustraes que possam facilitar a compreenso. O texto estdivididoem5partes.Aprimeiraparteconceitualecontextual, buscando elaborar uma aproximao ao tema, situando a mensurao do desempenho na gesto para resultados e esta na governana contempornea. A segunda parte apresenta o metamodelo, o conceito de desempenho elaborado e os princpios, elementosgeraiseescopodametodologiademensurao.Aterceira parte est focada da mensurao propriamente dita, concentrando se na construo de indicadores. A quarta parte apresenta sucintamente um conjunto de questes que permitem uma rpida avaliao da aplicao da metodologia. A quinta e ltima parte elabora algumas consideraes finais a respeito da aplicao da metodologiaeosresultadosesperados.

1. Conceitos: da governana para resultados mensurao do desempenho

O propsito deste captulo introdutrio elaborar o pano de fundo conceitual subjacente mensurao do desempenho, abordando conceitos como governana, governana para resultados, gesto e mensurao do desempenho e indicadores, a fim de estabelecer os elementos fundamentais para a compreenso do guia e sua adequadaaplicao.

1.1. Governana e Governana para Resultados

A Governana e a Governana para Resultados so expresses em ascendente uso na literatura gerencial no setor pblico que possuem fortes e centrais significados para o processo de mudana organizacionaleparaamensuraododesempenho. O termo Governana busca expandir e superar o atual paradigma de administrao pblica. Hoje o termo administrao pblica est associadoaumpapelpreponderantedoestadocomoexecutordireto nodesenvolvimento,nagestodepolticaspblicasenoprovimento de servios. O modelo de gesto alinhavase principalmente com modelos burocrticos ortodoxos, espelhados em modelos organizacionais mecanicistas, dotados de caractersticas de hierarquia,verticalizao,rigidez,insulamento. A Governana pblica, por sua vez, baseiase em mltiplos arranjos com a participao de diversos atores (estado, terceiro setor, mercado etc.) no desenvolvimento, na gesto de polticas pblicas e no provimento de servios. Este modelo no diminui a importncia do estado, mas qualificao com o papel de orquestrador, direcionador estratgico, indutor e fomentador absolutamente essencial para a ativao e orientao das capacidades dos demais atores. Este paradigma promove a adoo de modelos de gesto ps ou neoburocrticos, tais como: redes, modelos de gesto orgnicos (flexveis, orientados para resultados, foco no beneficirio), mecanismosamplosdeaccountability,controleepermeabilidade.

A orientao para resultados uma fixao deste novo paradigma, ou seja, o que est em foco so as novas formas de gerao de resultados em um contexto contemporneo complexo e diversificado. Nesse contexto, uma boa gesto aquela que alcana resultados, independentemente de meritrios esforos e intenes. E, alcanar resultados,nosetorpblico,atendersdemandas,aosinteressese s expectativas dos beneficirios, sejam cidados ou organizaes, criandovalorpblico. No entanto, os resultados no acontecem por acaso, pois governos, organizaes pblicas, polticas, programas e projetos no so auto orientados para resultados. Assim como, tambm no basta apenas definir bem os resultados, pois no so autoexecutveis. Portanto, a implementaopassaaseravarivelcrtica. Diferentes pesos so atribudos a diversos fatores promotores de resultados, tais como conscincia estratgia (formulao compartilhada e comunicao da estratgia), liderana (capacidade de influenciar e mobilizar pessoas), estrutura (definio clara de competncias, reas e nveis de responsabilidade), processos (definio detalhada de procedimentos), projetos (desdobramento deresultadosemaesqueperpassamestruturaseprocessosquese submetemaregimesintensivosdemonitoramento),contratualizao (pactuaoderesultadosmediantemecanismosdemonitoramentoe avaliao, e incentivos), pessoas (dimensionamento de equipes, capacitao, comprometimento, alinhamento de valores), tecnologias de informao e comunicaes (inovao e integrao tecnolgicas, automao), recursos financeiros (disponibilidade, previsoeregularidadedefluxo). Assim, a principal questo concentrase em como fazer os resultados serem obtidos e, para isso, fazse necessrio harmonizar todos esses fatores sob o abrigo de um modelo robusto de gesto para resultados. Por sua vez, o conceito de Gesto para resultados no se restringe apenas em formular resultados que satisfaam s expectativas dos legtimos beneficirios da ao governamental de forma realista, desafiadora e sustentvel. Requer, tambm, alinhar os arranjos de implementao (que envolvem intrincados conjuntos de polticas, programas, projetos e organizaes) para alcanlos, alm de

envolveraconstruodemecanismosdemonitoramentoeavaliao quepromovamaprendizado,transparnciaeresponsabilizao. Arevisodeliteratura1realizadasobrediversosconceitosetipologias degestopararesultados,ressalta,apartirdaanlisedeabordagens metodolgicas2, casos referenciais3 e seus contextos de atuao, um conjuntodeatributosessenciaisqueumbommodelodegestopara resultados deve possuir, tais como: ser dinmico, abrangente e multidimensional. Ser dinmico significa no se limitar apenas em definir e mensurar resultados, mas sim, em definir resultados (a partir de um planejamento abrangente), alcanlos (mediante processos claros deimplementao),monitorloseavalilos(apartirdecontroles, acompanhamentos e ajustes decorrentes). Em sntese, tratase de uma viso de gerao e incorporao das informaes sobre desempenho nos processos decisrios tanto internos quantos externos da organizao, criando demandas para estas informaes (situaodeinstitucionalizao). Alm disso, ser abrangente basearse num conceito amplo de desempenho que englobe tanto os esforos quanto os resultados propostos, presumindo que no h resultados sem alinhamento de esforos, assim como, esforos desalinhados s promovem desempenho por conta do acaso. Portanto, gerir o desempenho no significa somente monitorar resultados, mas tambm promover o alinhamentodosesforosparaosresultadosesperados.
DocumentodenominadodeMapeamentoBibliogrficoedoEstadodaArte sobre Indicadores de Gesto, disponvel no stio eletrnico do GesPblica. Endereo de acesso: https://www.gespublica.gov.br/folder_publicacoes/pasta.201004 26.8678882873/produto_1_indicadores_versao_final_110809.pdf 2 Dentre as quais destacamse: Balanced Scorecard (BSC) (Kaplan & Norton, 2004); Bain & Company (Gottfredson & Schaubert, 2008); Prisma de Performance (nfase em stakeholders) (Neely & Adams, 2002); Hoshin Kanri (Akao, 1991); Rummler & Brache (variveis de desempenho em objetivos, projeto e gesto) (Rummler & Brache, 1995); Quantum (medidas de tempo, qualidade e custo) (Hronec, 1993); Cadeia de Valor de Porter (Porter, 1985); Total Quality Management TQM (Creech, 1995); PMBOK (reas do conhecimento e ciclo de vida do projeto) (PMI, 2004); e Suply Chain Management,(Lambert&Knemeyer,2005). 3 Experincias em gesto do desempenho: Reino Unido, Austrlia, Nova Zelndia, EUA, Canad, Frana, Chile, Colmbia, Argentina, Minas Gerais e Curitiba.
1

Por ltimo, mas no menos importante, um modelo ideal de gesto para resultados deve ser multidimensional, isto , considerar as mltiplas dimenses de esforo (processos, recursos, estruturas, sistemas informacionais e pessoas) para alinhlos aos resultados. Para isso, devese evitar definies reducionistas e unidimensionais, em que aspectos significativos do esforo e do resultado sejam deixados de fora, ou aspectos pouco significativos permaneam dentrodomodelodegestopararesultados. Em suma, a concepo e a implementao de modelos de gesto para resultados dinmicos, abrangentes e multidimensionais so um desafio. Os fatores e elementos detalhados representam variveis basilares de modelos de desempenho. Segundo a linha de evoluo demonstrada por Boukaert&Halligan (2008), os modelos ilustrados no quadro 1 a seguir, que vo desde um modelo prperformance, caracterizado pela ausncia de agenda estratgica, estruturas autocentradas e sem foco de atuao, e ausncia de mecanismos de monitoramentoeavaliaoderesultados,evoluindoparaummodelo de Governana para o Desempenho, o mais completo, caracterizado pela integrao das agendas, alinhamento das estruturas implementadoras a partir de redes de governana e integrao sistmica interna e externa, e mecanismos claros de monitoramento e avaliao, que fortalecem o uso social e a conscinciaestratgica.

Quadro1.LinhadeevoluodosmodelosdeGestodoDesempenho

Fonte:AdaptadodeBouckaert&Halligan,2008

1.2.

Gesto e Mensurao do Desempenho

Desempenho um termo sujeito a inmeras variaes semnticas e conceituais, embora existam alguns consensos majoritrios em torno de uma definio. Segundo uma abordagem abrangente, o desempenho pode ser compreendido como esforos empreendidos na direo de resultados a seremalcanados. A equao simplificada : desempenho = esforos + resultados; ou desempenho = esforos resultados. Assim, a definio sinttica e ao mesmo tempo ampla para o desempenho estabelecida pela atuao de um objeto (uma organizao, projeto, processo, tarefa etc.) para se alcanar um resultado. Logo, desempenho um conceito peculiar, um construto especfico,paracadaobjeto. Entretanto, a construo de definies peculiares de desempenho, a partir das quais modelos de mensurao do desempenho possam ser concebidos caso a caso, devem respeitar algumas regras e consideraes metodolgicas, tais como: i) evitar definies reducionistas e unidimensionais; ii) incluir os aspectos e dimenses significantes no modelo; e; iii) deixar os aspectos e dimenses pouco significativasforadomodelo. Para isso, tornase necessria a concepo de um metamodelo de definio e mensurao do desempenho que seja robusto o suficiente para ser capaz de unir as mais diversas abordagens, bem

comoorientaraconstruodemodelosespecficosparaadefinioe mensurao do desempenho. Por meio de um metamodelo podese indicarmdulosapartirdosquaisosmodelosespecficospossamser configurados. Umavezdefinidodesempenho,oconceitodegestododesempenho precisa ser qualificado. A gesto do desempenho constitui um conjunto sistemtico de aes que buscam definir o conjunto de resultados a serem alcanados e os esforos e capacidades necessriosparaseualcance,incluindoseadefiniodemecanismos de alinhamento de estruturas implementadoras e de sistemtica de monitoramentoeavaliao. A mensurao parte essencial de um modelo de gesto do desempenho. Mas, no apenas a ao que apura, em sentido estrito, por meio de indicadores, valores ou medidas dos esforos e resultados. Um sistema de mensurao deve ir alm da gerao de indicadores (que, em princpio, nunca trivial) e permitir: a) a gerao de indicadores em distintas dimenses de esforos e resultados, com diferentes pesos entre estes (uma vez que representam medidas de distintas importncias); e b) a gerao de uma nota para cada indicador (o que requerer no apenas apurar o valordoindicadornoatodamedio,mascompararovalorapurado com um valormeta, seja correspondente a uma meta propriamente dita, seja correspondente a um benchmark), que expresse uma medida relativa (medida atual em relao a uma medida ideal). Tratase, assim de uma mensurao agregada e ponderada que permitir a gerao de uma medida sntese do desempenho, uma nota global, que, de certa forma, carrega consigo um componente avaliativo(dorealapuradoemrelaoaumideal). Valedestacarqueconceitoscomocapacidadetangenciamoconceito de desempenho. Os termos capacidade, capacidade institucional e outrosderivados,tambmsesujeitamamuitasvariaessemnticas e conceituais podendo oscilar do domnio de recursos, competncias, habilidades e atitudes at a prontido para efetiva atuao (realizao de esforos orientados para resultados) em funo de outros atributos tais como poder, legitimidade e urgncia. Em todo caso, este Guia no inclui o conceito de capacidade como partedoconceitodedesempenho;trataocomopressupostodobom desempenho, embora algumas das dimenses do desempenho, tal

10

comoaexcelncia,possamtratardeatributoscomunsrelacionados capacidade,comoserdemonstradomaisadiante. Em sntese, o escopo deste Guia a medio/mensurao do desempenho, parte essencial da gesto do desempenho. Buscando clarificar bem este propsito e as expectativas em torno dele, o quadro 2 apresenta alguns dos principais mitos, posturas e imposturasacercadamensuraododesempenho. Quadro2.Principaismitos,posturaseimposturasdamensuraododesempenho
1. O mito da medio absoluta: preciso medir tudo. Quem pretende medir tudo acaba no medindo nada! Por detrs deste mito, est o fetiche do panptico, que gera a impostura, movida por uma necessidadeobsessiva,demonitorarecontrolartudoetodosaomesmotempoenamesmahora.Gerir o desempenho uma forma de controle, mas que deve ser extremamente seletivo. A postura correta altaseletividade.Medirapenasoqueimportante,oquesignificativo,oquevaleapena.Medircusta tempo e dinheiro! E algumas medidas so perecveis s fazem sentido se puderem gerar decises tempestivas. 2. Para medir o que importa, preciso gerar todas as informaes, coletar dados de forma exaustiva e precisa.Quemsepreocupaemgerartodasasinformaesprovavelmentemorrerafogadonummarde informaes, cheio de informaes inviveis e inteis. Por um lado, a gerao de indicadores (medidas) relevantes requerer dados e informaes especficos cuja obteno e tratamento demandaro mais ou menos tempo e representaro custos. A postura correta , sempre que possvel, trabalhar com aproximaes, buscando construir indicadores a partir de dados j existentes e tratados dentro de padresaceitveisdequalidadeapostandoseque,namaioriadoscasos,adisponibilidadededadose informaesnooproblemafundamental. 3. Primeiro vamos medir, depois vamos ver o que fazemos com as medidas. Inicialmente, medidas no podem ser vistas como modismos ou obrigao. Medese para controlar/melhorar o desempenho. Medidas tm que ser teis, fazer sentido para orientar a gesto no dia a dia. A medio tem que ser orientada para a melhoria do desempenho e a melhoria do desempenho tem que ser orientada pela medio. 4. Preciso, sobretudo, do sistema informtico perfeito para isto. Voc precisa, acima de tudo, de um bommodelodemensurao,quepermitaumaboadefinioespecficadoqueoseudesempenhoe,a partir da, como mensurlo. Primeiro a sistemtica, depois o sistema. Sistemas informacionais so instrumentos que devem estar a servio de uma lgica no o contrario, sua lgica de definio e mensurao no pode estar a servio de um sistema. H muitas solues de sistemas (de prateleira,

11

baratos, amigveis e acessveis) para sistemticas de mensurao. Lembrese do mandamento: no adorarsferramentasinformticas4!

1.3.

Modelos e Indicadores

Um modelo um recurso analtico com o propsito de representar a realidade a partir da definio de um conjunto de variveis (ou aspectos da realidade que se pretende representar, aspectos estes que podem ser vistos/definidos/medidos de forma quantitativa ou qualitativa, por meio de indicadores). Assumese que a realidade um todo complexo e os modelos, ao inclurem apenas algumas variveis para representla (buscando descrever, explicar ou prever algo), sero sempre recursos limitados, revelando e escondendo, deixando de fora muitas variveis potencialmente importantes e contendo limitaes para estabelecer os padres de comportamento entreasvariveis.Emsuma,todomodelolimitado,masalimitao deve ser sempre minorada por meio da escolha das variveis mais relevantes:incluiroquemaisimportaeexcluiroquenoimporta. A construo de modelos, a partir da escolha das variveis e seus padres(hipteses)derelacionamento(causao),podeseguirvrias lgicas: relaes causais verificadas empiricamente ou lgica dedutiva. O desafio deste Guia proporcionar a construo de modelos especficos de mensurao do desempenho. Logo, inicialmente isto implica a definio de variveis (aspectos ou dimenses) do desempenho que devem ser consideradas (includas no modelo). Tratase, portando, de um modelo lgicodedutivo, que inclui variveis sugeridas pela literatura e estabelece uma ordem de causalidadeentreelas:desempenho=aspectosrelativosaosesforos + aspectos relativos aos resultados;ou seja, umconjunto de esforos que(presumivelmente)causamumconjuntoderesultados. Modelos so, portanto, um conjunto de indicadores relacionados. Indicadores so mtricas que proporcionam informaes sobre o desempenho de um objeto (seja governo, poltica, programa,

Toledo,David.Decalogodelossistemasdeinformacin.Clad,2004.

12

organizao, projeto etc.), com vistas ao controle, comunicao e melhoria. Os indicadores so instrumentos de gesto essenciais nas atividades de monitoramento e avaliao das organizaes, assim como seus projetos,programasepolticas,poispermitemacompanharoalcance das metas, identificar avanos, melhorias de qualidade, correo de problemas,necessidadesdemudanaetc. Assim sendo, podese dizer que os indicadores possuem, minimamente,duasfunesbsicas:aprimeiradescreverpormeio dageraodeinformaesoestadorealdosacontecimentoseoseu comportamento; a segunda de carter valorativo que consiste em analisar as informaes presentes com base nas anteriores de forma arealizarproposiesvalorativas. De forma geral, os indicadores no so simplesmente nmeros, ou seja, so atribuies de valor a objetivos, acontecimentos ou situaes, de acordo com regras, que possam ser aplicados critrios deavaliao,como,porexemplo,eficcia,efetividadeeeficincia. Dessaformaosindicadoresservempara: mensurarosresultadosegerirodesempenho; embasar a anlise crtica dos resultados obtidos e do processodetomadadeciso; contribuir para a melhoria contnua dos processos organizacionais; facilitaroplanejamentoeocontroledodesempenho;e viabilizar a anlise comparativa do desempenho da organizao e do desempenho de diversas organizaes atuantesemreasouambientessemelhantes.

Em suma, conforme apresentado ao longo do captulo, o conceito de desempenho especfico para cada organizao, e justamente por ser peculiar requer das organizaes a utilizao de um metamodelo dinmico, abrangente e multidimensional que permita a construo casoacasodeseuprprioconceitodedesempenho. Nesse sentido, o prximo captulo tem como objeto a proposio de ummetamodelocapazdeunirosmaisdiversosaspectos,dimenses, eabordagens,orientandoaelaboraodemodelosespecficosparaa definioemensuraododesempenhodasorganizaes.

13

2. Um (Meta) Modelo para Mensurao do Desempenho: a Cadeia de Valor e as seis dimenses do Desempenho (6Es)
Conforme apresentado no captulo anterior, existem mltiplos aspectos nas dimenses de esforo e do resultado que devem ser consideradosemummodeloparaamediodedesempenho. Nesse sentido, foi utilizado como metamodelo uma concepo de cadeia de valor5 que identifica seis dimenses do desempenho, permitindoqueseidentifiqueemcadadimensodistintosobjetosde mensurao, oriente a modelagem de indicadores (sem prejuzo de se identificarem, em alguns casos, indicadores j consagrados) e permita a construo de painis de acompanhamento da gesto. O metamodelo preconiza assim regras bsicas para construo de modelosespecficosdemensuraodedesempenho. O metamodelo, portanto, permite s instituies (re) pensarem os seus conceitos de desempenho com base na metodologia da cadeia de valor, com alguns aprimoramentos. A cadeia de valor possui algumas limitaes que foram atenuadas: i) a linearidade, pois a cadeia de valor no considera outros fatores que influenciam os efeitos, por exemplo, fatores que produzem impactos e fatores que concorrem com produtos que a organizao gera, esta restrio foi minimizada ao introduzir no modelo a abordagem de redes de organizaes e na definio de indicadores com base na teoria do programa; ii) a unidimensionalidade, pois o bloco das "aes/atividades" representa apenas processos e estrutura (o lado mais visvel das organizaes), esta restrio foi minimizada ao contemplarasdimensesquepossuempapisimprescindveisparaa promoo de resultados, tais como a cultura organizacional, relaes
5

A cadeia de valor definida como o levantamento de toda a ao ou processo necessrio para gerar ou entregar produtos ou servios a um beneficirio. uma representao das atividades de uma organizao e permite melhor visualizao do valor ou do benefcio agregado no processo, sendo utilizada amplamente na definio dos resultados e impactos de organizaes.(Bennett,1976;Wholey,1979).

14

de poder, questes ticas entre outras dimenses que podem vir a serconsideradas. O modelo da Cadeia de Valor e os 6Es do Desempenho permite a construo das definies especificas de desempenho para cada organizao de modo a explicitar as dimenses dos resultados (mais a montante da cadeia de valor) e dos esforos (mais a jusante da cadeia de valor), alm de sugerir o necessrio alinhamento entre ambas as perspectivas. Em sntese, o modelo mensura o que se deve realizarparaseproduzirumresultadosignificativonofuturo. O modelo da Cadeia de Valor e dos 6Es do Desempenho constituise das dimenses de esforo e de resultado desdobradas em outras dimenses do desempenho. As dimenses de esforo so economicidade, execuo e excelncia; e as dimenses de resultado soeficincia,eficciaeefetividade. Vale ressaltar que o metamodelo pode ser aplicvel em vrios nveis da administrao pblica, tais como, nvel macro (Governo), nvel meso (poltica pblica ou setor de governo), nvel mesomicro (redes deorganizaes),nvelmicro(organizaes)envelnano(unidadede organizao). A figura 1 a seguir ilustra o metamodelo denominado Cadeia de valoreos6EsdoDesempenho.

15

Figura1.Cadeiadevaloreos6EsdoDesempenho

Dimenses do Resultado

Eficincia

Eficcia

Efetividade

Insumos (inputs)

Outros tica Poder Cultura Aes/Atividades

P r o j e t o s

Produtos (outputs)

Impactos (outcomes)

Organizaes

Economicidade

Excelncia

Execuo

Dimenses de Esforo

Fonte:Martins&Marini.GuiadeGovernanaparaResultados,2010.

16

2.1.

Elementos da Cadeia de Valor e dimenses do desempenho

O presente modelo prope uma tipologia de seis categorias de indicadores, conforme apresentado anteriormente, que esto relacionadossdimensesdeesforoeresultado. As seis categorias de indicadores esto relacionados a algum dos elementos da cadeia de valor, que representa a atuao da ao pblica desde a obteno dos recursos at a gerao dos impactos provenientesdosprodutos/servios.Oselementosdacadeiadevalor so: Insumos(inputs); Processos/Projetos(aes); Produtos/servios(outputs) Impactos(outcomes).

Mensurar o desempenho da organizao (ou outros objetos) com base nesses elementos da cadeia de valor permite que as organizaes analisem suas principais variveis associadas ao cumprimento dos seus objetivos: quantos e quais insumos so requeridos, quais aes (processos, projetos etc.) so executadas, quantos e quais produtos/servios so entregues e quais so os impactosfinaisalcanados. A figura 2 a seguir mostra a relao entre os elementos que compem a cadeia de valor e sua contribuio para os resultados finais, tambm relaciona a pergunta que os indicadores associados procuramresponder:

17

Figura2.ElementosdaCadeiadeValoresuascontribuies
Quaismudanasos produtos/serviostrazemparaos beneficirioseasociedade?

Impactos(outcomes)

Produtos(outputs)

Quaisosprodutos/serviosgerados? Quantidadedeprodutos/servios? Qualidadedoproduto/servio?

tica Poder Cultura Aes/Atividades

P r o j e t o s

Quaissoasaes,processose projetosexecutados? Tempomdiodeciclodoprocesso? Qualocustodoprocesso?

Organizaes

Insumos(inputs)

Quaissoosrecursosnecessrios paragerarosprodutos/servios estabelecidos? Quantidadederecursosnecessria?

A figura 3 a seguir mostra as duas categorias de dimenses que compem os 6Es do Desempenho, assim como os tipos de indicadoresqueascompem:

18

Figura3.Dimensesqueconstituemos6EsdoDesempenho

Uma combinao dos elementos da cadeia de valor com as dimensesdodesempenhopermiteidentificarseiscategoriasbsicas deindicadoresdedesempenho: Efetividade so os impactos gerados pelos produtos/servios, processos ou projetos. A efetividade est vinculadaaograudesatisfaoouaindaaovaloragregado,a transformao produzida no contexto em geral. Esta classe de indicadores, mais difcil de ser mensurada (dada a natureza dos dados e o carter temporal), est relacionada com a misso da instituio. Por exemplo, se uma campanha de vacinao realmente imunizar e diminuiu a incidncia de determinada doena entre as crianas, a campanha foi efetiva. Indicadores de efetividade podem ser encontrados nadimensoestratgicadoPlanoPlurianual(PPA); Eficcia a quantidade e qualidade de produtos e servios entregues ao usurio (beneficirio direto dos produtos e servios da organizao). Por exemplo, se, na mesma campanha citada, a meta de vacinao imunizar 100.000 crianas e este nmero foi alcanado ou superado, a campanha foi eficaz. Indicadores de eficcia podem ser definidosapartirdaCartadeServiosdorgo; Eficincia a relao entre os produtos/servios gerados (outputs) com os insumos utilizados, relacionando o que foi entregueeoquefoiconsumidoderecursos,usualmentesob a forma de custos ou produtividade. Por exemplo: uma campanha de vacinao mais eficiente quanto menor for o

19

custo, ou seja, quanto menor for o custo da campanha, mantendose os objetivos propostos. Indicadores de eficincia podem ser encontrados na Carta de Servios com seus elementos de custos e em informaes de sistemas estruturantesdoGoverno,comooSIAFI; Execuo referese realizao dos processos, projetos e planos de ao conforme estabelecidos. Indicadores de execuo podem ser encontrados no monitoramento das aesdoPPA; Excelncia a conformidade a critrios e padres de qualidade/excelncia para a realizao dos processos, atividades e projetos na busca da melhor execuo e economicidade; sendo um elemento transversal. Indicadores e padres de excelncia podem ser encontrados no InstrumentodeAvaliaodaGestoPblica(IAGP);e Economicidade est alinhada ao conceito de obteno e uso de recursos com o menor nus possvel, dentro dos requisitos e da quantidade exigidas pelo input, gerindo adequadamenteosrecursosfinanceirosefsicos.Indicadores de economicidade podem ser encontrados nas unidades de suprimentos.

2.2.

Subdimenses dos 6Es do Desempenho

Os 6Es do desempenho podem ser desdobrados em subdimenses que qualificam e auxiliam na caracterizao de tipologias de indicadores a serem utilizados. O quadro 3 apresenta as principais subdimensesidentificadasesuasrespectivasdescries. Quadro3.Dimensesesubdimensesdos6EsdoDesempenho Dimenso Subdimenses 1.1.ImpactoFinal:oresultadogeradopelosprodutoseservios deumdeterminadosistema(organizao,programa,poltica pblica,redeetc.)nobeneficiriofinal,ouseja,nasociedade. Exemplos:ndicedeDesenvolvimentoHumano(IDH);PIBpercapita; CoeficientedeGini. 1.2.ImpactoIntermedirio:oresultadointermediriogerado pelosprodutoseserviosdeumdeterminadosistema(organizao, programa,polticapblica,setorredeetc.)emseubeneficirio

E1Efetividade

20

Dimenso

E2Eficcia

E3Eficincia

Subdimenses direto.Exemplos:Coeficientedemortalidadeinfantil;Expectativa mdiadevidadapopulaoHabitantes/domiclio;Taxade Homicdios. 2.1Quantidade/Volume:onveldeofertaedisponibilidadede umbensouserviosgeradoporumdeterminadosistema (organizao,programa,polticapblica,redeetc.).Exemplo: Nmerodejovenseadultosalfabetizados;Quantidadede habitaesconstrudas;ExtensodaMalharodoviriapavimentada. 2.2Qualidadedoproduto/servio:representaaadequaoentre ascaractersticasdosprodutoseserviosentregues,eosrequisitos enecessidadesdosbeneficirios.Exemplos:Qualidadepercebida (Percepo/Expectativa),durabilidade,esttica,Confiabilidade, Tempestividade,Inovaoetc. 2.3AcessibilidadeeEquidade:acapacidadededisponibilizarbens eserviosequitativamenteeforneclosdeformaequnime, atendendoigualmenteasnecessidadesdosbeneficiriosea sociedade. 2.4Cobertura:corresponderelaoentreapopulaoatendida sobreaquedeveriaseratendidacombensouserviospblicos geradosporumdeterminadosistema(organizao,programa, polticapblica,redeetc.). 2.5Risco:avaliaaprobabilidadedeumdeterminadosistema asseguraraentregadebenseserviosparadeterminados beneficirioseapopulao. 3.1Custoefetividade:relaoentreosinsumosparaaprestaode umdeterminadoservioouelaboraodeumprodutoea efetividade,ouseja,entendesepelograudecontribuiodeum programaouaonaconsecuodemetaseobjetivosdeimpacto fixadosparareduzirasdimensesdeumproblemaoumelhorar umadadasituao. 3.2Produtividade:relaoentreonveldeproduo(serviose produtos)eosrecursosutilizados,sejaocapitalhumano, imobilizado,investimentoseotempo. 3.3Tempo:tempodecorridoentreoinicioeofimdeum determinadoprograma,projetoouprocesso.Exemplos:Tempode ciclo,Freqnciadeentrega,Tempodedesenvolvimentodenovos benseservios,Desperdcioetc. 3.4Custounitrio:conjuntodecustos(fixos,variveis,reais,

21

Dimenso

E4Execuo

E5Excelncia

Subdimenses atribudos,especficosenoespecficos)aserimputadosauma atividadeporcadaunidadedeprodutoouserviogerado. 3.5Custobenefcio(qualidadedogasto):relaoentreos dispndiosrealizadosporumdeterminadosistemaeosretornos obtidosporcontadessesdispndios,apresentaarelaoentreos insumoseosprodutosgerados. 4.1Execuofinanceira:relaoentreovolumederecursos disponibilizadospelooramentoeonveldeutilizaodesses recursosvisandoatenderrealizaodeetapase/ouatividadesde umprograma,projetoouprocesso(finalsticosoudesuporte). Exemplo:taxadeexecuofinanceira. 4.2Execuofsica:relaoentreovolumedeprodutosprevistos paraserementreguespelooramentoeonveldeentregadesses produtos,visandoatenderrealizaodosprojetose/ouatividades. Exemplo:taxadeexecuofsica. 5.1Conformidadeemrelaoapadresdeexcelnciagerencial.O IAGPumexcelenteproxyparaamediodaexcelnciade organizaespblicas.umindicadorcompostoqualitativoe quantitativoqueabrangecritrioscomo:Liderana,Estratgiae Planos,Cidados,Sociedade,InformaoeConhecimento,Pessoas, Processos. 5.2Conformidade:representaaadequaodosprojetos,aese processosaospadreserequisitosdefinidos.Exemplos:retrabalhos, erros,responsabilidadeambiental,infraestrutura(confortoetc.), medidaseespecificaes,segurana(acidentesporhoras trabalhadas),transparncia,confidencialidade,acessibilidade, confiabilidade,inovao,prazoetc. 5.3Riscos:avaliaaprobabilidadedeocorrnciadefalhasoua entregadeprodutosforadasespecificaesestabelecidasnos processosounosprogramas,demodoqueissopossaprovocara insatisfaodaspartesenvolvidas. 5.4Causalidade:aavaliaodefatoresprecedentesqueimpactam ouinfluenciamocomportamentoouresultadosubsequente,sendo, destemodo,indicadoresqueavaliamaadequaopadres,

22

Subdimenses normaseespecificaes.Exemplo:ndicedereajustesdevidoa falhasnoprocesso.Nestecaso,asfalhasnoprocessogeram impactosnegativosnaexecuodeprocessoseentregadeservios. 5.5Comunicao:aavaliaodafluxosdeinformaoeseus canais,averiguandoaexistnciaounodefalhasnoprocessode comunicao.Exemplo:percentualdepessoascomacesso informaescrticasdaorganizao. 6.1Quantidadederecursos:onveldeofertaedisponibilidadede umprodutoouserviogeradoporumdeterminadofornecedorou sistema(organizao,programa,polticapblica,setorredeetc.). 6.2Qualidadedosrecursos:representaaadequaoentreas caractersticasdosprodutoseserviosadquiridos,eosrequisitose necessidadesdaorganizao(ouGoverno).Exemplos:durabilidade tcnica,esttica,Qualidadepercebida(Percepo/Expectativa), Confiabilidade,Tempestividade,Inovaoetc. 6.3Acessibilidade:acapacidadedecaptarbenseservios E6Economicidade equitativamenteeforneclosdeformaequnime,atendendo igualmenteasnecessidadesdosbeneficirioseasociedade. 6.4Cobertura:aavaliaodonveldeabrangnciadeum determinadoinsumocrticoparaaexecuodeprogramas, projetos,processos,sendodestaformauminsumoquerequeralta disponibilidade.Exemplo:quantidadedefornecedoresdeum determinadoinsumo. 6.5Risco:Avaliaapossibilidadedeocorrnciadefalhasno fornecimentoderecursosparaproverprogramas,projetose processos.Exemplo:graudepropensodenorecebimentode insumoscrticos.

Dimenso

2.3.

Aplicao do Modelo dos 6Es do Desempenho

Cada dimenso e subdimenso do desempenho foi desdobrada em nveis com o intuito de direcionar a construo de indicadores de desempenhodedistintosobjetos,sejamgovernos,polticas,conjunto deorganizaes,organizaesouunidadesorganizacionais.Oquadro

23

4, a seguir, apresenta a relao entre os 6Es do Desempenho e os nveis macro (Governo), meso (poltica pblica ou setor de governo), mesomicro (redes de organizaes), micro (organizaes) e nano (unidade de organizao), no qual em cada clula (interseco da linha e coluna) so detalhadas as subdimenses e ilustrados por alguns indicadores representativos segundo as caractersticas do nvel de Governo estabelecido. Os nveis so concebidos pela necessidade de tratar das especificidades concernentes a cada contexto de aplicao, criando aproximaes a fim de evitar um tratamentoigualpararealidadesdistintas. Os anexos 1 e 2 deste Guia contemplam alguns exemplos de indicadores levantados em oficinas com rgos centrais do Governo Federa e em pesquisas documentais representados segundo as mltiplasdimensesdodesempenho.

24

Quadro4.MatrizsntesedomodelodeMediododesempenhosegundoas6dimensesenveisdeaplicao Dimenso Macro Governo Nveis Meso Micro Setorialdepolticapblica Organizaesemrede

Subdimenso: 1.2ImpactoIntermedirio ResultadosdePolticaPblica, impactosintermediriosde desenvolvimentoetc. ExemplosdeIndicadores: TaxadeAnalfabetismode15 anosoumais Coeficientedemortalidade infantil Expectativamdiadevidada populao Habitantes/domiclio TaxadeHomicdiosPercentual dapopulaoinfectadapelo vrusHIV ndicededistoroIdade/ Srie Taxadeconclusodoensino mdionaRededeEnsino Subdimenso: 1.2Impacto Intermedirio Resultadosemtemasde PolticasPblicas, impactosintermedirios depolticaspblicasetc. Exemplosde Indicadores: ndicede desenvolvimentoSocial Regional ndicedeVulnerabilidade Social ndicedeconvergncia competitiva

Micro Organizao
Subdimenso: 1.2ImpactoIntermedirio Resultadosintermedirios dedesenvolvimento, polticaspblicasoutemas depolticaspblicas, Satisfaodosstakeholders, MelhoriadaGestoetc. ExemplosdeIndicadores: todosdosnveisanteriores.

Nano Unidade
1.2Subdimenso: Impactoinicial, Resultadosda organizao. Exemplosde Indicadores: todosdosnveis anteriores.

Subdimenso: 1.1ImpactoFinal Nvelgeraldebem estar, desenvolvimento (social,econmicoe scioambiental), igualdadesocialetc. Exemplosde Indicadores: ndicede Desenvolvimento Humano(IDH) E1Efetividade PIBpercapita CoeficientedeGini

25

Dimenso

Macro Governo

Nveis Meso Mesomicro Setorialdepolticapblica Organizaesemrede

Subdimenses: Servios,bensevalores entreguesporvriosdomnios depolticaspblicas 2.1Quantidade/Volume 2.2Qualidadedo produto/servio Qualidadepercebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovaoetc. 2.3AcessibilidadeeEquidade 2.4Cobertura ExemplosdeIndicadores: Nmerodejovenseadultos alfabetizados Quantidadedehabitaes construdas ExtensodaMalharodoviria pavimentada Redehidroviriaadequada Domicliosatendidosporgua tratada Nmerodedepsitode patentesderesidentes Percentualdedomicliosda zonaruralatendidosem energiaeltrica Subdimenses: Servios,bensevalores entreguesrelacionadosa umtemadepoltica pblica 2.1Quantidade/Volume 2.2Qualidadedo produto/servio Qualidadepercebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc. 2.3Acessibilidadee Equidade 2.4Cobertura ExemplosdeIndicadores: Nmerodeescolade Educaobsicacom conexodeBandaLarga Quantidadede Telecentrosinstalados Percentualdoterritrio comcoberturavegetal nativa CoberturadoSadeda Famlia Coberturadeservios bsicosdesade

Micro Organizao
Subdimenses: Servios,bensevalores entreguespelaorganizao. Acartadeserviosdispe dosserviosprestadospela organizao. 2.1Quantidade/Volume 2.2Qualidadedo produto/servio Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc. 2.3Acessibilidadee Equidade 2.4Cobertura 2.5Risco ExemplosdeIndicadores: ndicedeSatisfaodos usurioscomosserviosda organizao Nmerodepontosde culturainstalados Quantidadedenovas escolasconstrudas

Nano Unidade
Subdimenses: Servios,bensevalores entreguespelaunidade finalstica.Acartade serviosdispeosservios prestadospelaunidade finalstica 2.1Quantidade/Volume 2.2Qualidadedo produto/servio Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc. 2.3Acessibilidadee Equidade 2.4Cobertura 2.5Risco ExemplosdeIndicadores: Quantidadedeaesde fiscalizaorealizadas

Subdimenses: Consolidaoda quantidade,coberturae qualidadedosServios entreguespeloGoverno 2.1Quantidade/ Volume 2.2Qualidadedo servio Qualidadepercebida (Percepo/Expectativa), Confiabilidade, Tempestividade, Inovaoetc. E2Eficcia Exemplosde Indicadores: ndicedeQualidadede VidaUrbana Percepodapopulao quantoconfiananas instituiespblicas Qualidadeglobaldos serviosprestados Quantidadedeservios pblicosofertadosao cidado

26

Dimenso

Macro Governo

Meso Setorialdepolticapblica
Subdimenses: 3.1Custoefetividade Relaocustoefetividadede vriosdomniosdepoltica pblica 3.2Produtividadedevrios domniosdepolticaspblicas 3.4Utilizaoderecursos Custounitriodo servio/bem/valorentregue ExemplosdeIndicadores: Custoefetividade (outcomes/custo) Volumedogastopblico (despesaoramentria)em relaoaoPIB RelaogastospblicoseIDH

Nveis Mesomicro Organizaesemrede

Subdimenses: 3.1Custoefetividade Relaocustoefetividade devriostemasdepoltica pblica 3.2Produtividadede vriostemasdepolticas pblicas 3.4Utilizaoderecursos Custounitriodo servio/bem/valor entregue ExemplosdeIndicadores: Custoefetividade (outcomes/custo) Volumedogastopblico (despesaoramentria) emrelaoaoPIB Relaogastospblicose IDH Customdiodeconexo debandalargaporescola Customdiopor telecentroinstalado

Micro Organizao
Subdimenses: 3.2Produtividadeda organizao 3.3Tempo Tempodeciclo,Freqncia deentrega,Tempode desenvolvimentodenovos benseservios,Desperdcio etc. 3.4Utilizaoderecursos Custounitriodo servio/bem/valorentregue 3.5Custobenefcio (qualidadedogasto) ExemplosdeIndicadores: Custosunitriosdeservios estratgicos Tempomdiode atendimentoao cidado Tempomdioparaabrirum negcio EficinciaOramentria

Nano Unidade
Subdimenses: 3.2Produtividadedaunidade finalstica CargadeTrabalho,Consumo, Desperdcioetc. 3.3Tempo Tempodeciclo,Freqnciade entrega,Tempode desenvolvimentodenovos benseservios,Desperdcio etc. 3.4Utilizaoderecursos Custounitriodo servio/bem/valorentregue 3.5Custobenefcio (Eficinciadosgastos) ExemplosdeIndicadores: Custoporaodefiscalizao Tempomdiodeatendimento sdemandas(emdias) Custocom combustvel/peas/servios porperodo Custoporunidadedoservio prestado(custounitriopor cirurgia,porhoraaula,por kmpavimentado)

Subdimenses: 3.1Custo efetividade Relaocusto efetividadeda atuao governamental 3.4Utilizaode recursos Exemplosde Indicadores: Custoefetividade (outcomes/custo) Volumedogasto E3Eficincia pblico(despesa oramentria)em relaoaoPIB RelaoPIB/capitae IDH Relaogastos pblicoseIDH

27

Dimenso

Macro Governo

Nveis Meso Mesomicro Setorialdepolticapblica Organizaesemrede

Subdimenses: 4.1ProgramaseProjetos ExecuofsicaeExecuo financeira ExemplosdeIndicadores: Graudeimplementaodos ProgramasdaAgendade Governo PercentualdeProgramas comataxadeexecuofsica adequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsico financeira(taxadeexecuo fsica/financeira) Percentualdeprojetos completadosdentrodoprazo eoramento Taxadeexecuodos processosdecontratao Subdimenses: 4.1ProgramaseProjetos ExecuofsicaeExecuo financeira 4.2Processosfinalsticos ExecuofsicaeExecuo financeira ExemplosdeIndicadores: Graudeimplementao dosProgramasdaAgenda deGoverno PercentualdeProgramas comataxadeexecuo fsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsico financeira(taxade execuofsica/financeira) Percentualdeprojetos completadosdentrodo prazoeoramento Taxadeexecuodos processosdecontratao

Micro Organizao
Subdimenses: 4.1ProgramaseProjetos ExecuofsicaeExecuo financeira 4.2Processosfinalsticos ExecuofsicaeExecuo financeira 4.3ProcessosdeSuporte ExecuofsicaeExecuo financeira 4.4EficciadosProcessosde Suporte Quantidadeequalidadedos servios,bensevalores entreguesaosprocessos finalsticos 4.4.1Quantidade/Volume 4.4.2Qualidadedo produto/servio Durabilidadetcnica,esttica, Qualidadepercebida (Percepo/Expectativa), Confiabilidade,Tempestividade, Inovaoetc. 4.4.3AcessibilidadeeEquidade 4.4.4Cobertura 4.4.5Risco

Nano Unidade
Subdimenses: 4.1Programase Projetos Execuofsicae Execuofinanceira 4.2Processos finalsticos Execuofsicae Execuofinanceira 4.3Processosde Suporte Execuofsicae Execuofinanceira Exemplosde Indicadores: %deexecuofsica doProjetodecriao donovoPortalda organizao %deprojetoscom licenaambiental (unidaderesponsvel porobterlicenas ambientaisparaos projetosda organizao)

Subdimenses: 4.1Programase Projetos Execuofsicae Execuofinanceira agregadas Exemplosde Indicadores: Graudeimplementao dosProgramasda AgendadeGoverno PercentualdeProgramas comataxadeexecuo fsica adequada E4Execuo Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsico financeira(taxade execuofsico financeira) Percentualdeprojetos completadosdentrodo prazoeoramento Taxadeexecuodos processosde contratao

28

 Dimenso Macro Governo Nveis Meso Mesomicro Setorialdepolticapblica Organizaesemrede

Micro Organizao
ExemplosdeIndicadores: Implantaodasaesdo PlanejamentoEstratgico Graudeconfiabilidadedas informaesoramentrias, financeirasecontbeis ndicedequalidadedaproposta oramentria ndicedequalidadeda informao Graudeacessopblicoas informaesdecompras (editais,solicitaesde propostas,outorgasde contrato) Percentualdecontratocom nveldeserviocontratualizado Graudeadequaoaomarco legaleregulatriodecompras pblicas(conformidades detectadas) Percentualdeavaliaes prviasderiscos

Nano Unidade

29

Dimenso

Macro Governo

Nveis Meso Mesomicro Setorialdepolticapblica Organizaesemrede

ExemplosdeIndicadores: Percentualdeorganizaes pblicasdaadministrao diretaeindiretacandidatas noPrmioNacionalda GestoPblicaPQGF Porcentagemorganizaes pblicasdaadministrao diretaeindiretacomsistema degestodaqualidade implantado Subdimenses: 5.1CritriosdoIAGP OIAGPumexcelente proxyparaamedioda excelnciade organizaespblicas. umindicadorcomposto qualitativoequantitativo Exemplosde Indicadores: Percentualde organizaespblicasda administraodiretae indiretacandidatasno PrmioNacionalda GestoPblicaPQGF Porcentagem organizaespblicasda administraodiretae indiretacomsistemade gestodaqualidade implantado

Micro Organizao
Subdimenses: OIAGPumexcelenteproxy paraamediodaexcelncia deorganizaespblicas.um indicadorcompostoqualitativo equantitativo 5.1CritriosdoIAGP Liderana,EstratgiaePlanos, Cidados,Sociedade, InformaoeConhecimento, Pessoas,Processos 5.2Conformidade Retrabalho,Erros, ResponsabilidadeAmbiental, Infraestrutura(confortoetc.), Medidaseespecificaes, Segurana(acidentesporhoras trabalhadas),Transparncia Confidencialidade, Acessibilidade Confiabilidade,Inovao,Prazo etc. 5.3Riscos 5.4Causalidade 5.5Comunicao 5.6Integrao

Nano Unidade
Subdimenses: OIAGPumexcelente proxyparaamedioda excelnciadeunidades organizacionais.um indicadorcomposto qualitativoequantitativo 5.1CritriosdoIAGP Liderana,Estratgiae Planos,Cidados, Sociedade,Informaoe Conhecimento,Pessoas, Processos 5.2Conformidade Retrabalho,Erros, Responsabilidade Ambiental,Infraestrutura (confortoetc.),Medidase especificaes,Segurana (acidentesporhoras trabalhadas), Transparncia Confidencialidade, Acessibilidade Confiabilidade,Inovao, Prazoetc. 5.3Riscos 5.4Causalidade 5.5Comunicao 5.6Integrao

Exemplosde Indicadores: Percentualde organizaes pblicasda administraodireta eindiretacandidatas noPrmioNacional daGestoPblica PQGF Porcentagem organizaes pblicasda administraodireta E5Excelncia eindiretacom sistemadegestoda qualidade implantado

30

 Dimenso Macro Governo Nveis Meso Mesomicro Setorialdepolticapblica Organizaesemrede Micro Organizao

Nano Unidade
ExemplosdeIndicadores: Pontuaonoscritriosde excelnciaemgesto (IAGP) Nmerodeatividadesque seguemestritamenteos padresorganizacionais Nmerodeatividades certificadaspor instituiesreconhecidas

ExemplosdeIndicadores: Pontuaonoscritriosde excelnciaemgesto(IAGP) ndicedeInovaoemGesto (prmiosereconhecimentos recebidos) Taxaderegistrodeocorrncias emauditorias Percentualdecontratoscom AcordosdeNveldeServios (ANS)pactuados

31

Dimenso

Macro Governo
Subdimenso: 6.1Quantidadede recursos Exemplosde Indicadores: Gastototalde comprasdoGoverno Gastosdecusteioe outrosgastos administrativos Custodaatividade finalsticade Governo/custototal

Nveis Meso Mesomicro Setorialdepolticapblica Organizaesemrede

Subdimenso: 6.1Quantidadederecursos 6.2Qualidadedosrecursos Qualidadepercebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovaoetc. 6.3Acessibilidade 6.4Cobertura 6.5Risco ExemplosdeIndicadores: Gastospblicospercapitacom asade GastoscomProgramase ServiosSociais Gastoscommerendaescolar Subdimenso: 6.1Quantidadede recursos 6.2Qualidadedos recursos Qualidadepercebida (Percepo/Expectativa), Confiabilidade, Tempestividade, Inovaoetc. 6.3Acessibilidade 6.4Cobertura 6.5Risco Exemplosde Indicadores: Custodemedicamentos comvalidadevencida

Micro Organizao
Subdimenso: 6.1Quantidadederecursos 6.2Qualidadedosrecursos Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc. ExemplosdeIndicadores: Economiacomatividade meio Custodasatividadesde suporte/Custototal ndicedequalidadedos produtoseservios adquiridos ndicedeeconomiadas aquisies

Nano Unidade
Subdimenso: 6.1Quantidadede recursos 6.2Qualidadedos recursos Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade, Inovaoetc. 6.3Acessibilidade 6.4Cobertura 6.5Risco Exemplosde Indicadores: Ndeadmisses conformeoperfil Requeridorealizadas duranteoperodo

E6Economicidade

32

2.4.

Desempenho timo e Estrutura de Ponderao

Segundo este modelo, a otimizao do desempenho requer atuao ao longo de toda a Cadeia de Valor. Existe o risco de modelos construdos focarem em alguns Es do desempenho (eficincia ou na economicidade, por exemplo) em detrimento dos demais Es. A nfase puramente no E da eficincia (desconsiderandose os Es daeficciaedaefetividade)tendeatornarprecriooatendimentoe a qualidade dos servios prestados ao cidado. Para tanto, importanteressaltaroquantonegativoprivilegiaraeconomicidade, a execuo, a excelncia e a eficincia, e no contemplar a eficcia e aafetividadeemmodelosdemensurao. Nesse sentido, necessrio pensarse no balanceamento dos 6Es do Desempenho. O desempenho timo aquele que efetivo, eficaz, eficiente, excelente, econmico e cuja execuo de aes e atividades ocorre em conformidade com requisitos e prazos definidos. Embora haja precedncia da dimenso efetividade (e sucessivamente, eficcia e eficincia, excelncia, execuo e economicidade, da direita para a esquerda da cadeia de valor), problemas em qualquer uma das dimenses impe padres subtimosdedesempenho. Portanto,omodelodedesempenhotimorepresentadopor:

Considerandoque: Efetividade(E1):E1estpresente=1,E1noestpresente=0; Eficcia(E2):E2estpresente=1,E2noestpresente=0; Eficincia(E3):E3estpresente=1,E3noestpresente=0; Execuo(E4):E4estpresente=1,E4noestpresente=0; Execuo(E5):E5estpresente=1,E5noestpresente=0; Economicidade(E6):E6estpresente=1,E6noestpresente=0.

33

Ouseja, Desempenhotimo=E1+E2+E3+E4+E5+E6=6; Desempenho Subtimo = E1+E2+E3+E4+E5+E6 < 6, isto , h ausnciadeumoumaisE. Alm de necessidade de possuir todos os Es no modelo, h uma ponderao entre eles para a gerao de uma medida final do desempenho (uma nota global) e sua disposio em um Painel de Controle(Scorecard).HaprecednciadepesosentreosEs: Prioridades:[E1>E2>E3][E4E5E6]. A estrutura de ponderao proposta prioriza o resultado sobre o esforo.Paraisso,duasalternativassopropostas: Alternativa1Ponderaocomgraudeflexibilidade: Resultado=[E1+E2+E3]60%/70%;sendoque,PE1PE2PE3; Esforo=[E4+E5+E6]40%/30%,sendoque,PE4PE5PE6. Alternativas2Ponderaofixa: DimensodoDesempenho Efetividade(E1) Eficcia(E2) Eficincia(E3) Execuo(E4) Excelncia(E5) Economicidade(E6) Totaldospesos Peso 2,5 2 1,5 1,5 1,5 1 10 Proporo 60% resultado 40%Esforo 100%

A lgica desta ponderao inicial relativamente simples e intuitiva: resultados valem mais que esforos. Entre situaes limite hipotticas, organizaes que se esforam menos, mas alcanam melhores resultados devem ser melhor pontuadas que organizaes que se esforam mais, mas falham em obter resultados satisfatrios. Logo, a regra de ouro poderia ser pontuar os resultados acima dos 50% da nota. O quo acima? A proporo 60/40 apenas um patamarpossvel. Assimcomoexisteponderaesparaasdimenses,tambmdeveser aplicada a lgica de pesos para os indicadores dentro de cada dimenso. Propese que a ponderao do indicador seja realizada com base na Matriz de Avaliao Quantitativa de Indicadores para

34

estabelecer pesos (entre 1 a 5) segundo critrios de seleo de indicadores, propiciando obter maior sensibilidade no processo de priorizao. A frmula de clculo para a formao do peso do indicador ser aprofundada no item 3.7. Passo 7 Ponderao e ValidaofinaldosindicadorescomaspartesenvolvidasdesteGuia. O quadro 5 ilustra a sntese do modelo de ponderaes. O modelo envolve algumas instncias de agregao de valores que requer formulas de clculo especficas, apresentadas segundo as referncias aseguir: (A) Nota ponderada do indicadorx= Peso do indicadorx* Nota do indicadorx; (B) Nota da Dimenso = (Nota ponderada do indicador1 + Nota ponderada do indicador2 +...+ Nota ponderada do indicadorn) / (Peso doindicador1+Pesodoindicador2+...+Pesodoindicadorn); (C) Nota ponderada da Dimenso: Peso da Dimensox * Nota da Dimensox;;e (D) Nota do Desempenho Agregado: das Notas ponderadas das Dimenses.

35

Quadro5.Exemplodeponderaesenotasaplicadasaosindicadoresesuanotaconsolidadafinal
Dimensodo Desempenho Pesoda Dimenso Indicador(segundoSubdimenso) 1.1.Impactofinal ndicedeDesenvolvimentoHumano(IDH) 1.1.ImpactoIntermedirio TaxadeAnalfabetismode15anosoumais ndicededistoroIdade/Srie TaxadeconclusodoensinomdionaRededeEnsino 2.1.Quantidade Nmerodejovenseadultosalfabetizados Quantidadedenovasescolasconstrudas NmerodeescoladeEducaobsicacomconexodeBandaLarga 3.1.Custoefetividade Custoefetividade(outcomes/custo)daspolticasdeeducao 3.4.Utilizaoderecursos Volume do gasto pblico em educao (despesa oramentria) em relao aoPIB Customdioporhoraaula 4.1.Execuofsicaeexecuofinanceira GraudeimplantaodasaesdoPlanejamentoEstratgico Taxadeempenho Taxadeliquidao Taxadeexecuooramentria 5.1CritriosdoIAGP Pontuaonoscritriosdeexcelnciaemgesto(IAGP/MEGP) ndicedeInovaoemGesto(prmiosereconhecimentosrecebidos) 6.1.Quantidadederecursos GastospblicospercapitacomaEducao GastototaldecomprasdoGovernocomosetorialdeEducao Gastoscommerendaescolar Pesodo indicador 5 5 4 3 5 4 2 5 4 3 5 3 3 3 5 3 3 3 3 Notado indicador 9 7 8 9 7 9 8 6 9 8 9 7 7 7 8 9 9 7 7 Nota ponderada (A) 45 35 32 27 35 36 16 30 36 24 45 21 21 21 40 27 27 21 21 Notada Dimenso (B) Nota ponderada daDimenso (C)

E1Efetividade

2,5

8,18

20,44

E2Eficcia

7,91

15,82

E3Eficincia

1,5

7,50

11,25

E4Execuo

1,5

7,71

11,57

E5Excelncia

1,5

8,38

12,56

E6 Economicidade

7,67

7,67

NotadoDesempenhoAgregado(D)

79,31

36

Acerca do modelo de desempenho e ponderaes, duas principais condies ideais so ressaltadas: a) que seja possvel a modelagem de indicadores significativos e representativos nas seis dimenses; b) que seja possvel gerar uma nota para cada indicador. Em condies reais, algumas vezes, possvel que nem todas as seis dimenses do Desempenho possam ser contempladas (tendo em conta problemas na disponibilidade de dados que inviabilizem a gerao de indicadores) como tambm possvel que no se consiga gerar uma notaparacadaindicador. O mais importante diante das inevitveis dificuldades do mundo real a postura: preciso esforo, imaginao e honestidade intelectual para resolver ou atenuar as limitaes. A seguir, so comentadas algumaspossveiscomunslimitaeseoquefazeremrelaoaelas: Indicadoresdeefetividade: i) O problema: a questo menos gerlos (h muitos indicadores consagrados de polticas pblicas) e mais assumilos como integrantes do conceito de desempenho problema este maior nos nveis organizao e unidade organizacional. O que est em questo o grau de atribuio de responsabilidade (diretamente relacionado governabilidade) em relao a indicadores de efetividade inerentemente sujeitos a fatoresrivaisetemporalidade; ii) A soluo: tentar decomplos em impactos intermedirios e identificar aqueles impactos onde haja uma relao de atribuio de responsabilidade maior de

37

acordo com a teoria do programa6 em questo; Geraodenotaparacadaindicador: i) O problema: bastante provvel que muitas medidas possam ser feitas, mas sem um correspondente parmetro de comparao, tal como uma meta ou um benchmark em relao ao qual se possa medir a distncia relativa e se estabelecer umanota(dealcance); ii) A soluo: o estabelecimento de metas incrementais (aumentar 20% no perodo seguinte) pelo tempo necessrio para que se compreenda a curva de desempenho do indicador em questo, permitindo uma fixaorealistaedesafiadorademetas; Indicadoresdasdemaisdimenses: i) O problema: ainda que haja dificuldades na identificao e na coleta de dados para gerao de indicadores em geral (principalmentenadimensoeficincia), ii) A soluo: a postura correta utilizar aproximaes e, sobretudo, comear a medir para incorporar ao modelo no momentoseguinte. Em suma, prefervel que haja aproximaes a lacunas. Mas o fundamental aprimorar o modelo de mensurao ao longo do tempo, tendose em conta que se trata de um processo que
Os pressupostos sobre os recursos e aes e como esses levam aos resultados esperados so freqentemente referidos como a teoria do programa. As hipteses so de que os recursos adequados sero transformados em aes necessrias para beneficirios do pblicoalvo, e isso, em um contexto favorvel, ir levar para os resultados que o programa pretende alcanar. Tornar explcitas as hipteses sobre como o programa supostamente deve funcionar, em variados contextos, cria a referncia principal em que se baseia a gesto e o seu instrumento imprescindvel de avaliao. Vejase Disoc/IPEA, Teoria do Programa e Modelo Lgico, IPEA, mimeo.
6

38

dificilmente se inicia com o pleno atendimento de todos os requisitos.

2.5.

Formulao de Indicadores

A formulao de indicadores pode ser realizada por um conjunto de passos necessrios para assegurar que os princpios da qualidade e do sistema de medio do desempenho estejam em conformidade comodesejadopelaorganizao.Ospassosso: Identificao do nvel, dimenso, subdimenso e objetos de mensurao; Estabelecimentodosindicadoresdedesempenho; Validao preliminar dos indicadores com as partes interessadas; Construodefrmulas,estabelecimentodemetasenotas; Definioderesponsveis; Geraodesistemasdecoletadedados; Ponderao e validao final dos indicadores com as partes interessadas; Mensuraodosresultados; Anliseeinterpretaodosindicadores;e Comunicaododesempenhoegerirmudana.

O objeto do prximo captulo a apresentao dos passos principais para a concepo e implantao dos indicadores a partir da metodologiadaCadeiadeValoreos6EsdoDesempenho.

39

3. Construindo Indicadores de desempenho

O processo de construo de indicadores de desempenho no possui um procedimento nico ou uma metodologia padro. No entanto, a partir da reviso das principais experincias de construo de indicadoresparaosetorpblicoeprivado,sugereseumconjuntode etapas (Figura 4) que asseguram a coerncia da formulao e implementaodoconjuntodeindicadoresqueseplanejaconstruir. Em sequncia, a figura 5 apresenta o desdobramento das etapas nos passoscorrespondentes.

40

Figura4.Etapasdemedioeos10passosparaaconstruodeindicadores
Passo10 Comunicaodos resultados Passo1 Identificaodo nvel,dimenso, subdimensoeobjetos demensurao

Passo2 Estabelecimentode indicadoresdedesempenho Comunicao Oque mensurar?

Passo9 Anliseeinterpretao dosindicadores

Anlise dos dados

Como mensurar?

Passo3 AnliseeValidao intermediriadosindicadores comaspartesenvolvidas

Mensurao

Coleta de informaes

Passo4 Construo defrmulas, mtricaseestabelecimentode metas

Passo5 Definiode responsveis Passo6 Geraodesistemade coletadedados Passo8 Mensuraodos resultados Passo7 Ponderaoe Validaofinaldosindicadores comaspartesenvolvidas

41

Figura5.Os10passosparaaconstruodeindicadores

O que Mensurar?

1. Identificao do nvel, dimenso, subdimenso e objetos de mensurao

Como mensurar?

2. Estabelecimento de indicadores

3. Validao preliminar dos indicadores com as partes interessadas

4. Construo de frmulas, estabelecimento de metas e notas

Coleta de informaes

5. Definio de responsveis

6. Gerao de sistema de coleta de dados

7. Ponderao e validao final dos indicadores com as partes interessadas

Mensurao

8. Mensurao do desempenho

Sim

Indicadores OK?

No

Anlise

9. Anlise e interpretao dos indicadores

Comunicao

10. Comunicao do desempenho

42

3.1. Passo 1 - Identificao do Nvel, Dimenso, Subdimenso e Objetos de Mensurao

Definir o que ser mensurado constitui a reflexo inicial do processo de criao de indicadores de desempenho. Entretanto, cabe responder,primeiramente,emqualnveldaAdministraoPblicase deseja criar medidas, ou seja, para que organizao, poltica pblica ou Governos ser modelado indicadores. Pode ser apenas uma unidade de uma organizao, um nvel de poltica pblica ou mesmo o Governo como um todo. Os nveis principais propostos so: macro (Governo), meso (poltica pblica ou setor de governo), mesomicro (redes de organizaes), micro (organizao) e nano (unidade de organizao). Uma vez identificado qual o nvel a ser mensurado, requerido a definioprecisadoquesermensuradoqual,especificamente,o objetodemensurao.Aidentificaodosobjetosdemensuraose dapartirdousodacadeiadevalor,porsetratardeuminstrumento facilitador da representao do universo de anlise, contribuindo para uma melhor compreenso de seu ambiente interno e externo, bem como para explicitao dos resultados e impactos pretendidos pelaorganizao,programaougoverno. Os elementos da cadeia de valor, segundo apresentados no item 2.1. Elementos da Cadeia de Valor e dimenses do desempenho e ilustrado na figura 6 a seguir, so compreendidos em: entradas (insumos), aes transformadoras (processos, projetos etc.), sadas (produtos/servios)eimpactos. Estetipoderepresentaopossibilitatambmqueseidentifiquemas partes interessadas que atuam ao longo da cadeia de valor de uma poltica pblica ou organizao, permitindo explicitar os pblicos interessados no desempenho da unidade em anlise. Os bales na base da figura 6 auxiliam no mapeamento de atores para cada elementodacadeiadevalor.

43

Figura 6. Diagrama da Cadeia de Valor: instrumento de elucidao dos objetos de mensurao

Aps a definio dos objetos de mensurao e partes interessadas, necessrio definir para cada dimenso dos 6Es suas possveis subdimenses nas quais se deseja criar os indicadores. O desenho da cadeia de valor auxilia na identificao dos elementos de mensuraesparaasseisdimenseserespectivassubdimenses. A definio da subdimenso procura explorar as medidas possveis e cabveis de serem extradas a partir do objeto de mensurao escolhido. Ou seja, qual o tipo de medida mais importante ser mensuradoparaoobjetodemensurao? Conforme ressalta o captulo anterior, recomendase buscar abarcar todas as dimenses dos 6Es do Desempenho, devendose questionar quaissoasmedidasdesejveisparacadadimensodometamodelo. Este passo conduzido com a elaborao da cadeia de valor da unidade em anlise e com subsdios da Matriz sntese do modelo de Mediododesempenho(apresentadanoquadro4anterior). O quadro 6 a seguir ilustra o extrato da Dimenso Efetividade e o quadro 7 posterior registra seu desdobramento, apresentando exemplosparaosnveismacroemeso.

44

Quadro6.Extratodoquadro2DimensoEfetividade
Meso Dimenso Macro Setorialde Governo polticapblica Subdimenso: Subdimenso: 1.1Impacto 1.2Impacto Final Intermedirio Nvelgeralde Resultadosde bemestar, PolticaPblica, desenvolviment impactos o(social, intermedirios E1 econmicoe de Efetividade scio desenvolviment ambiental), oetc. igualdadesocial etc. Nveis Mesomicro Organizaes Micro emrede Organizao Subdimenso Subdimenso: : 1.2Impacto 1.2Impacto Intermedirio Intermedirio Resultados Resultados intermedirios emtemasde de desenvolviment Polticas o,polticas Pblicas, pblicasou impactos intermedirio temasde sdepolticas polticas pblicasetc. pblicas, Satisfaodos stakeholders, Melhoriada Gestoetc.

Nano Unidade 1.2 Subdimenso : Impacto inicial, Resultadosda organizao.

Quadro7.Definiodonvel,dimenso,subdimensoeobjetosdemensurao Nvel
Macro Governo

Dimenso
E1Efetividade

Objetodemensurao

Subdimenso

1.1 ImpactoFinal Desenvolvimento econmico, esperana de vidaeeducao

E2Eficcia

Meso SetorialE1Efetividade
depoltica pblica

Resultado de Poltica1.2 ImpactoIntermedirio Pblicadeeducao

Vale destacar que o critrio recomendado para direcionar a identificaodosobjetosdemensuraoeseleodassubdimenses aestratgiadeGoverno,dapoltica,daorganizaooudaunidade, normalmente definidas em forma de objetivos e prioridades

45

estratgicas. O entendimento desses objetivos estratgicos so direcionadores para a criao de indicadores coerentes que reflitam de maneira clara e adequada o quanto da estratgia est sendo alcanada no nvel definido (Governo, poltica etc.). As organizaes ou Governos que possuem uma agenda estratgica detalhada e legtima dispem de informaes relevantes para subsidiar a escolha dosobjetosdemensuraoesubdimensesparacadaumdos6Esdo desempenho.

3.2. Passo 2 - Estabelecimento de Indicadores

Aps realizar o passo 1, os subsdios principais para a elaborao do indicador(comomedir)jestodefinidos. Os indicadores devem ser especificados por meio de mtricas estatsticas, comumente formados por porcentagem, mdia, nmero bruto,proporoendice. Oscomponentesbsicosdeumindicadorso: Medida: grandeza qualitativa ou quantitativa que permite classificar as caractersticas, resultados e consequncias dos produtos,processosousistemas; Frmula: padro matemtico que expressa forma de realizaodoclculo; ndice (nmero): valor de um indicador em determinado momento; Padro de comparao: ndice arbitrrio e aceitvel para umaavaliaocomparativadepadrodecumprimento;e Meta: ndice (nmero) orientado por um indicador em relaoaumpadrodecomparaoaseralcanadodurante certoperodo.

Na identificao e seleo de um indicador importante considerar um conjunto de critrios bsicos, para garantir a sua posterior operacionalizao.Oscritrioscentraisparaumindicadorso: Seletividade ou importncia: fornece informaes sobre as principais variveis estratgicas e prioridades definidas de aes,produtosouimpactosesperados; Simplicidade, clareza, inteligibilidade e comunicabilidade: os indicadores devem ser simples e compreensveis, capazes de

46

levar a mensagem e o significado. Os nomes e expresses devem ser facilmente compreendidos e conhecidos por todosospblicosinteressados; Representatividade, confiabilidade e sensibilidade: capacidade de demonstrar a mais importante e crtica etapa de um processo, projeto etc. Os dados devem ser precisos, capazes de responder aos objetivos e coletados na fonte de dados correta e devem refletir tempestivamente os efeitos decorrentesdasintervenes; Investigativos: os dados devem ser fceis de analisar, sejam estes para registro ou para reter informaes e permitir juzosdevalor; Comparabilidade: os indicadores devem ser facilmente comparveis com as referncias internas ou externas, bem comosrieshistricasdeacontecimentos; Estabilidade: procedimentos gerados de forma sistemtica e constante, sem muitas alteraes e complexidades, uma vez que relevante mantero padro epermitir a sriehistrica; e Custoefetividade: projetado para ser factvel e economicamentevivel.Osbenefciosemrelaoaoscustos devem satisfazer todos os outros demais nveis. Nem todas as informaes devem ser mensuradas, preciso avaliar os benefciosgeradosemdetrimentodonusdespendido.

Alm disso, necessrio identificar se a escolha do indicador atende s expectativas de seus pblicos de interesse, como os rgos setoriais, rgos centrais, rgos de controle e outros possveis interessados, de modo a assegurar a relevncia do indicador proposto. O quadro 8, abaixo, apresenta o desdobramento da dimenso dos 6Es em indicadores, perpassando pela definio da categoria da subdimenso.

47

Quadro8.Desdobramentodadimensodos6Esemindicadores
Nvel MacroGoverno Dimenso E1Efetividade Objetodemensurao Desenvolvimentoeconmico, esperanadevidaeeducao E2Eficcia E3Eficincia E4Execuo E5Excelncia Subdimenso 1.1 ImpactoFinal Indicador ndice de Desenvolvimento Humano(IDH) TaxadeAnalfabetismode15anos oumais

E6Economicidade

Meso Setorial de E1Efetividade polticapblica E2Eficcia E3Eficincia

Resultado de Poltica Pblica de1.2 ImpactoIntermedirio educao

48

3.3. Passo 3 - Validao Preliminar dos Indicadores com as Partes Interessadas

Selecionar e validar os indicadores com as partes interessadas fundamental para a obteno de um conjunto significativo de indicadores que propicie uma viso global da organizao e represente o desempenho da mesma. O processo de validao conduzido visvis com a anlise dos critrios de avaliao do indicador. Durante a validao so levados em conta diversos critrios apresentados (ver passo 2 Estabelecimento de indicadores), tais como: seletividade; simplicidade e clareza; representatividade; rastreabilidade e acessibilidade; comparabilidade; estabilidade; custoefetividade. Esses critrios serviro de base para a deciso de manter, modificar ou excluir os indicadoresinicialmentepropostos.

3.4. Passo 4 - Construo de Frmulas, estabelecimento de Metas e Notas

Uma vez definido o conjunto de indicadores e, por sua vez, analisados a luz dos critrios (principalmente, seletividade e viabilidade),opassodeconstruodefrmulaseestabelecimentode metasenotaspodeseriniciado.

3.4.1.Construodefrmulas
A frmula descreve como deve ser calculado o indicador, possibilitandoclarezacomasdimensesaseremavaliadas.Afrmula permite que o indicador seja: inteligvel; interpretado uniformemente;compatibilizado com o processo de coletade dados; especfico quanto interpretao dos resultados e apto em fornecer subsdiosparaoprocessodetomadadedeciso. Nesse sentido, recomendase evitar frmulas de alta complexidade ou que no respondam as questes necessrias. A frmula do indicador deve, sobretudo, ser de fcil compreenso e no envolver dificuldades de clculo ou de uso, proporcionando a obteno de um resultado, numrico ou simblico, facilmente comparvel com valores predeterminados, posteriores ou anteriores, para apoiar o processodecisrio.

49

Cada frmula possui uma unidade de medida que confere um significado ao resultado. As unidades de medida podem ser diversas, contudo, sua composio deve seguir uma linha de raciocnio, possibilitandoaanlisedoresultadoobtidoeacomparaocomuma seriehistrica. Asunidadesdemedidamaiscomunsso: Indicadores Simples: Representam um valor numrico (uma unidadedemedida)atribuvelaumavarivel.Normalmente, so utilizados para medir eficcia, ou seja, a quantidade de determinado produto ou servios entregue ao beneficirio. Noexpressaarelaoentreduasoumaisvariveis. Exemplos: Nmerosdealunosmatriculadosnoensinomdio; Nmerodealunosaprovadosnoensinofundamental; Nmerodenovospostosdetrabalhoscriados. Indicadores Compostos: Os indicadores compostos expressamarelaoentreduasoumaisvariveis.Deacordo com as relaes entre as variveis que os constituem e a forma como so calculadas, so denominados de maneiras especficas. Assim tmse quatro tipos de indicadores compostos: i) Proporo ou Coeficiente: o quociente entre o nmero de casos pertencentes a uma categoria e o total de casos considerados. Esse quociente tambm chamado de coeficiente,representandoarazoentreo nmero de ocorrncias e o nmero total (nmerodeocorrnciasmaisonmerode noocorrncias). Exemplos: Coeficiente de natalidade = nmero de nascidos/populaototal; Coeficiente de mortalidade = nmero de bitos/populaototal;

50

Coeficiente de evaso escolar = nmero de alunos evadidos / nmero inicial de matrculas realizadas. ii) Porcentagem: Obtida a partir do clculo das propores,simplesmentemultiplicandoo quociente obtido por 100. As porcentagens e propores tm por objetivo principal criar comparaes relativas destacando a participao de determinadapartenotodo. Exemplo: Porcentagem de alunos matriculados na 1 srie do ensino mdio = (n de alunos matriculados na primeira srie do ensino mdio / n total de alunos matriculados no ensinomdio)x100. iii) Razo ou ndice: A razo de um nmero A em relao a outro nmero B se define como A dividido por B. As propores representam um tipo particular de razo. Entretanto, o termo razo usado normalmente quando A e B representam categorias separadas e distintas. Este quociente tambm chamado de ndice, indicando tratarse de razo entre duas grandezastaisqueumanoincluiaoutra. Exemplos: Densidade demogrfica = Populao / superfcie;e Rendapercapta=Renda/populao. iv) Taxa: So coeficientes multiplicados por uma potncia de 10 e seus mltiplos para melhoraracompreensodoindicador. Exemplos: Taxa de mortalidade = Coeficiente de mortalidadex1.000;

51

Taxa de natalidade = Coeficiente de natalidadex1.000;e Taxa de evaso escolar = Coeficiente de evasoescolarx100. A frmula de clculo e a unidade demedida fornecem subsdios para identificar o comportamento esperado do indicador, ou seja, se o indicador maiormelhor, menormelhor ou igualmelhor. Dessa forma,ainterpretaodoindicadorinformaseobomdesempenho alcanado quando o resultado do indicador est aumentando, diminuindooupermanecendoomesmo.Tratasedeumainformao integrante que orienta a anlise crtica do desempenho do indicador. Por exemplo, o IDH representa um bom desempenho quanto mais prximo de 1, aferindo uma melhor qualidade de vida da populao daregio. Concomitantemente construo da frmula do indicador, necessriodefiniraorigemdeondeosdadossoextrados,ouseja,a fonte de dados, podendo ser de um setorial, organizao, unidade organizacional,sistemainformatizadoououtrafontecomorelatrios ou pesquisas de origem externa. Exemplos de algumas fontes so as bases estatsticas de indicadores sociais, econmicos, entre outros: IPEA, INEP, Banco Mundial, PNUD, OCDE. Vale destacar que a identificao da fonte dos dados um importe direcionador para a definiodemetas.

3.4.2.Estabelecimentodemetas
Uma vez estabelecidas as frmulas e as fontes dos dados, seguese o estabelecimento de metas. A meta uma expresso numrica que representaoestadofuturodedesempenhodesejado. Todos os indicadores de desempenho devem ter metas, podendo ser definida mais de uma meta por indicador. As metas tm como objetivo serem suficientes para assegurar a efetiva implementao da estratgia, por exemplo, de Governo (nvel macro), de poltica (nvelmeso)oudeorganizao(nvelmicro). As metas contm uma finalidade, um valor e um prazo. A finalidade de cada meta enunciada no detalhamento do indicador e expressa um propsito da organizao. Um estado de futuro esperado em um determinado perodo. Para isso, as metas devem ser: alcanveis; desafiadoras; diretas; negociveis; fundamentadas em sries histricas,tendnciasebenchmark.

52

Recomendase buscar referenciais comparativos (benchmarks) pertinentes quando tratar de indicadores consagrados e de ampla utilizao.Osobjetivosdousodeinformaescomparativasso: Fornecer o entendimento da posio relativa da unidade de anliseemrelaoexperinciasreferenciaisexistentes; Melhoraroentendimentodeseusdesempenhos;e Fornecersubsdiosparaoprecisoestabelecimentodemetas, eparadirecionarmelhoriasemudanassignificativas.

As informaes de benchmarks podem ser obtidas internamente ou externamente unidade de anlise a partir de referenciais como outra organizao, processo, servios, produtos ou resultado considerados de notrio destaque; envolve o levantamento de mdias setoriais, organizaes similares na mesma regio geogrfica ou que fornecem tipos semelhantes de servios e produtos em distintas regies. Em sntese, o benchmark visa sugerir valores referenciais para comparao do desempenho da organizao (ou Governo)emrelaoacadaindicadorestabelecido. No caso de indicadores especficos, como o caso de indicadores concernentes a um contexto singular, em geral, devem ser construdas as metas com base, principalmente, em sries histricas de desempenho, e que estejam alinhados com os objetivos estratgicospretendidos. Algunscuidadosdevemsertomadosaoestabelecermetas,asaber: considerarosdesempenhosanteriores; descreverocenrioemqueseinsereoobjetodoindicador; possuir uma compreenso clara do estgio de referncia inicial, ou seja, da linha de base (Vo). Exemplo: ltimo ano, valordaltimaaferiofeita,mdiadatendnciaetc.; definir metas factveis, levandose em considerao a disponibilidadedosrecursosrequeridos; considerar os fatores: o volume de recursos disponveis para o projeto, as condicionantes do ambiente (polticas, econmicas,capacidadeorganizacional)etc.; tratandose de um indicador novo (nunca utilizado anteriormente), ser cauteloso para no estabelecer metas

53

audaciosas. Neste caso, recomendase utilizar uma srie de metasestabelecidasconformecenriosprevistos. O quadro 9 a seguir apresenta a sntese das etapas da construo do indicadoratestaetapa.

54

Quadro9.Modelosntesedeconstruodoindicador
Nvel Macro Governo Dimenso Objetode mensurao Subdimenso Indicador Frmula Interpretao/ Unid. sentido Maiormelhor PNUD 0,794 0,816 Canad=0,966 Chile=0,878 0,823 0,843 Srie Vo histrica Fonte 2005 2007 Benchmark Metas 2010 2011

Desenvolvimento econmico, esperanadevida eeducao E1Efetividade

ImpactoFinal

ndicede Desenvolvimento Humano(IDH)

(Longevidade+ Educao+ decimal Renda)/3

E2Eficcia E3Eficincia E4Execuo E5Excelncia E6 Economicidade Meso Setorial Resultadode de PolticaPblicade poltica E Efetividade educao 1 pblica Totalde analfabetosna Taxade Impacto faixaetria/total Analfabetismode15 dapopulaocom Intermedirio anosoumais amesmafaixa etria Menormelhor %

IBGE

10,9

Chile=3,5 9,9 ReinoUnido=1 Japo=1

9,2

E2Eficcia E3Eficincia

55

3.4.3.Definiodenotas
A nota deve refletir o esforo no alcance da meta acordada, por indicador em particular, o que implicar na determinao de valores de 0 (zero) a 10 (dez) para cada um, conforme a relao entre o resultado observado e a meta acordada. Sugerese o uso de uma escalapadroouescalasespecificasparacadaindicador. Vale destacar que escalas especficas para cada indicador devem ser fixadas em funo dos valores correspondentes grandeza da medida, de maneira que o instrumento de medio tenha preciso adequada a sua utilizao, primando por captar a variao do estmulo correspondente. Por exemplo, um indicador anual de disponibilidade de energia eltrica deve possuir escala delineada entre90%e100%.Por outrolado, umindicadordetaxadeexecuo fsica de programa deve apresentar escala com variao entre 0% e 100%, e sua respectiva interpolao de notas. A adequao da sensibilidade da escala ao indicador fundamental para evitar interpretaes enviesadas na anlise de valores aferidos pela mensurao. Oquadro10ilustraumexemplodeescaladenotas. Quadro10.Escaladenotas Resultadoobservadono alcancedameta 96%oumais 91%a95% 81%a90% 71%a80% 61%a70% 51%a60% 41%a50% 40%oumenos Notaatribuda 10 9 8 7 6 5 4 Zero

O resultado da multiplicao do peso pela nota corresponder ao totaldepontosatribudosacadaindicadordentrodecadadimenso. Oquadro11aseguirapresentaoestabelecimentodaescaladenotas porindicador.

56

Quadro11.Definiodaescaladenotasporindicador
Indicador Frmula Srie Vo Metas Taxadealcance/nota Interpretao/ Fonte histrica Benchmark sentido 2005 2007 2010 2011 10 9 8 7 6 5 4 Maiormelhor 99,86% 99,75% 99,60% 99,46% 99,3% 99,16% Canad=0,966 decimal PNUD 0,794 0,816 0,823 0,843 100% Chile=0,878 99,99% 99,85% 99,74% 99,59% 99,45% 99,29% Unid.

ndicede Desenvolvimento Humano(IDH)

(Longevidade+ Educao+ Renda)/3

Menormelhor

Totaldeanalfabetos Taxade nafaixaetria/total Analfabetismode15 dapopulaocoma anosoumais mesmafaixaetria

IBGE

10,9

Chile=3,5 9,9 ReinoUnido=1 Japo=1

9,2

99% 100%

97,01% 96,01%95,01%94,01%93,01% 97% 96% 95% 94% 98,9%

57

3.5. Passo 5 - Definio de Responsveis

Os indicadores de desempenho se desdobram para toda organizao e possuem como objetivo central entregar informaes sobre o grau de cumprimento das metas. Portanto, o passo seguinte aps a construo das frmulas e estabelecimento das metas estabelecer osresponsveispelaapuraodoindicador. Nesta fase necessria a indicao do responsvel pela gerao e divulgao dos resultados obtidos de cada indicador. Em alguns casos, o responsvel de pela apurao e pelo desempenho do indicador podem ser os mesmos. Indicadores sem responsveis por sua coleta e acompanhamento no so avaliados, tornandose sem sentidoparaaorganizao. Uma vez identificado o responsvel pela coleta, definida a periodicidade de coleta do indicador, ou seja, descrita a periodicidade temporal em que os resultados conexos ao indicador devem estar disponveis para serem apurados. Exemplos, semanal, mensal,semestral,anual. O quadro 12 a seguir apresenta o estabelecimento de responsveis e periodicidadeporindicador.

58

Quadro12.Estabelecimentoderesponsveiseperiodicidadeporindicador
Indicador Frmula Unid. Interpretao/ Sentido/ Periodicidade Maiormelhor Srie Vo histrica Responsvel 2005 2007 Fonte/ Benchmark Metas 2010 2011 10 9

Taxadealcance/nota
8 7 6 5 4

ndicede (Longevidade+ Desenvolvimento Educao+ decimal Humano(IDH) Renda)/3

PNUD

0,794

0,816

Canad=0,966 0,823 0,843 100% Chile=0,878

Anual

99,86% 99,75% 99,60% 99,46% 99,3% 99,16% 99,99% 99,85% 99,74% 99,59% 99,45% 99,29%

Taxade Analfabetismo de15anosou mais

Totalde analfabetosna faixaetria/total dapopulao comamesma faixaetria

Menormelhor % IBGE 10,9

Anual

Chile=3,5 9,9 ReinoUnido=1 Japo=1

9,2

99% 97,01%96,01%95,01%94,01%93,01% 100% 98,9% 97% 96% 95% 94%

59

3.6. Passo 6 - Gerao de Sistema de Coleta de Dados

A sistemtica de coleta de dados determina os requisitos para o levantamento de informaes sobre os indicadores. Essa etapa complexa, uma vez que h necessidade de se coletar dados acessveis,confiveisedequalidade. Aidentificaodosdadosvariadeacordocomotempoeosrecursos disponveis, assim como o tipo de informao necessria. De modo geralasprincipaistcnicasdecoletadedadosso: Tradicionais: aplicao de questionrios, realizao de entrevistas, observao direta, anlise documental (fsicos e virtuais); Em grupo: oficinas, brainstorm, reunies em equipe (por exemplo,JointApplicationDesignJAD7); Deprototipao:simulaoeexperimentao; Cognitivas:anlisemental,deduoeinferncias;e Contextuais: anlise social, anlise do ambiente interno e anlisedoambienteexterno.

Aps definidos os mtodos de coleta das informaes necessrio seguir para o prximo passo, de validao dos indicadores pelas partesinteressadas.

3.7. Passo 7 - Ponderao e Validao Final dos Indicadores com as Partes Interessadas
A ponderao e validao final dos indicadores com as partes interessadas so fundamentais para a obteno de uma cesta de indicadores relevante e legtima que assegure a viso global da organizao e, assim, possa representar o desempenho da mesma. O processo de validao conduzido visvis uma sistemtica de ponderaes em que so definidos pesos para as dimenses do
7

JAD um mtodo originrio em 1977 destinado a extrair informaes de alta qualidade dos usurios em curto espao de tempo, atravs de reunies estruturadasquebuscamdecisesporconsenso(AUGUST,1993).

60

desempenho e para cada critrio de seleo do indicador, avaliando o grau de relevncia de dimenses e de indicadores para a mensuraododesempenhodaorganizao(ouGoverno). A ponderao da dimenso do desempenho realizada segundo recomendaes apresentadas no item 2.3. Desempenho timo e EstruturadePonderao. Umavezdefinidosospesosdasdimenses,necessrioponderaros critriosdeseleodoindicadorparaseobterumconjuntoseletode indicadores por dimenso. Recomendase que a definio do conjunto final de indicadores validada no possua mais que quatro oucincoindicadorespordimensodos6EsdoDesempenho. AseleodosindicadoresfeitacombasenametodologiadaMatriz de Avaliao Quantitativa8, elaborada pela SPI e adaptada ao contextodoGuia. Os critrios de seleo so fundamentados nos atributos dos indicadores (item 3.2) e servem para estabelecer um ranqueamento das medidas propostas, permitindo uma seleo coerente e segura. Oscritriosdeseleosoapresentadosnoquadro13aseguir.

Metodologia desenvolvida pela Secretaria de Planejamento e Investimentos Estratgicos (SPI) do Ministrio do Planejamento, Oramento e Gesto. Guia MetodolgicoparaaConstruodeIndicadores,verso2.1,2009.

61

Quadro13.Critriosdeseleodoindicador No Critrios 1 Representatividade(proximidadecomoobjetivodaunidadede anlise) 2 Atendimentosnecessidadesdeinformaodaspartesinteressadas 3 Confiabilidademetodolgica 4 Confiabilidadedafonte 5 Simplicidade 6 Objetividade,ClarezaeComunicabilidade 7 Exequibilidadedemensurao 8 Economicidadedeobteno 9 Estabilidadeaolongodotempo 10 Investigativos(rastreabilidadeaolongodotempo) 11 Tempestividade 12 Comparabilidade 13 Sensibilidade
Fonte:AdaptadodeSecretariadePlanejamentoeInvestimentosEstratgicos(SPI),2010.

Definidos os critrios de seleo do indicador, necessrio o estabelecimento de pesos (variando entre 1 e 5 para obteno de uma maior sensibilidade) para cada indicador sugerido, segundo seu grau de importncia no contexto. A anlise dos indicadores realizada a partir da Matriz de Avaliao Quantitativa, ilustrada no quadro 14. O indicador atendendo a um determinado critrio recebe o nmero 1 em sua respectiva clula e, caso contrrio, recebe o nmero 0. O quadro 14 representa um exemplo da Matriz em que a coluna Peso ponderado total resulta da soma ponderada dos pesosassinaladosparacadaindicador. Afrmuladeclculoparaopesoponderadototaldosindicadores: Peso ponderado total = [(Critrio1 * Peso1) + (Critrio2 * Peso2) + + (Critrion*Peson)]/10; Considerando que os pesos devem ser atribudos entre 1 e 5 e o somatriodospesossejaiguala50. Essa tcnica permite estabelecer um ranqueamento dos indicadores, utilizando ou no o recorte por dimenso e classificandoos segundo umaordemdeprioridade.

62

Vale ressaltar que a matriz de avaliao no a nica determinante da seleo de indicadores, mas tambm outros critrios, sendo eles objetivos ou subjetivos, como experincia, opinies de especialistas etc.podemserutilizados. A definio de pesos se faz til tambm quando h um conjunto extenso de indicadores para um determinado objetivo ou dimenso dos 6Es do desempenho, requerendo ouso de um mtodo adequado depriorizao.

63

Quadro14.MatrizdeAvaliaoQuantitativadeIndicadores
CritriosePonderaes Indicador IDH Dimenso 1
Peso

Peso

Peso

Peso

Peso

Peso

Peso

Peso

Peso

10 1 1 1

Peso

11 1 1 1

Peso

12 1 1 1

Peso

13 1 1 0

Peso

Peso ponderado total 5,0 5,0 3,2

Efetividade 1

5 1 5 1 5 0

4 1 4 1 4 1

4 1 4 1 4 1

4 1 4 1 4 1

4 1 4 1 4 0

5 1 5 1 5 1 5 1 5 1 5 1

3 1 3 1 3 1

3 3 3

3 3 3

3 3 3

3 3 3

4 4 4

Taxade analfabetismode15 Efetividade 1 anosoumais Nmerodehorasde Excelncia 0 capacitao/servidor 1 2 3 4 5 6 7 8 9 10 11 12 13

Critrios Representatividade(proximidadecomoobjetivodaunidadedeanlise) Atendimentosnecessidadesdeinformaodaspartesinteressadas Confiabilidademetodolgica Confiabilidadedafonte Simplicidade Objetividade,ClarezaeComunicabilidade Exequibilidadedemensurao Economicidadedeobteno Estabilidadeaolongodotempo Investigativos(rastreabilidadeaolongodotempo) Tempestividade Comparabilidade Sensibilidade

Fonte:AdaptadodeSecretariadePlanejamentoeInvestimentosEstratgicos(SPI),2010.

64

Aps a ponderao das dimenses e dos indicadores, sugerese utilizar conceitos da teoria do programa para exprimir as inter relaes entre os indicadores.Tratase de uma avaliao qualitativa de probabilidade e impacto de condicionantes mapeadas.Para isso, devese identificar os principais padres causais existentes entre os indicadores. Assim, possvel verificar os indicadores contribuidores para o alcance dos resultados desejados a partir de uma abordagem metodolgica baseada em hiptese. As hipteses apiam as relaes deinflunciaentreasvariveisquerelacionamosindicadores. No obstante, alguns cuidados devem ser tomados quando se trata de modelos causais lgicos, visto que, na maioria dos casos, o indicadorpossuiapenasumapartenainflunciasobreoresultadode seu indicador subsequente. Ou seja, existe uma variedade de fatores externos desconhecidos e que so desconsiderados da anlise. O principal objetivo compreender a dinmica da abordagem das conexes causais. Por exemplo, por um lado, o IDH diretamente influenciadopelosindicadoresdeExpectativadevidaaonascer,Taxa de alfabetizao, Taxa de matrcula e PIB per capita. Por outro lado, por tratarse de um indicador de impacto final, no influencia outros indicadoressubjacentesaele. A definio de relaes qualitativas parece ser a mais apropriada, no entanto, h tambm mtodos quantitativos. As relaes causais identificadas por metodologias quantitativas (estatsticas) so experimentos ou quase experimentos projetados que frequentementesodispendiosose/ouinexequveis. Por fim, vale ressaltar que modelos lgicos de causalidade so somente modelos e no a realidade; todavia, mesmo modelos simples so teis, pois ajudam a qualificar relaes esperadas, direcionar ou testar princpios, proposies, e gerar ao e aprendizado. O quadro 15 apresenta o modelo de resultados consolidados das ponderaes de dimenses e indicadores e relaes de causalidade correspondentes.

65

 Quadro15.PonderaodeDimenseseIndicadoreserelaesdecausalidade
Nvel Macro Governo E1Efetividade Dimenso Pesoda Dimenso Objetode mensurao Subdimenso Indicador Frmula Unid. Srie Vo histrica

Peso Indicadores Indicadores ponderado Benchmark pelosquais que do 2010 2011 influenciado influencia 2005 2007 Indicador Metas Expect.de vidaao nascer; Taxade 0,823 0,843 alfabetizao; Taxade matrcula; PIBpercapita

2,5

Desenvolvimento Canad ndicede (Longevidade econmico, =0,966 ImpactoFinal Desenvolvimento +Educao+ decimal 0,794 0,816 esperanade Chile Humano(IDH) Renda)/3 vidaeeducao =0,878

E2Eficcia E3Eficincia E4Execuo E5Excelncia E6 Economicidade Meso Setorial de poltica pblica E1Efetividade

2 1,5 1,5 1,5 1

Taxade escolarizao entrejovens de15a17 anos; Nomatrculas 9 entreos jovensde15 a17anos; Nmero absolutode analfabetos

2,5

Resultadode PolticaPblica deeducao

Taxade Impacto Analfabetismo Intermedirio de15anosou mais

Totalde analfabetos nafaixa etria/total da populao coma mesmafaixa etria

10,9

Chile=3,5 Reino 9,9 Unido=1 Japo=1

9,2

IDH

E2Eficcia

66

Uma vez selecionados e validados os indicadores prioritrios, os atributos descritivos de cada indicador devem ser corretamente formalizados,deformaaassegurarauniformizaodoentendimento pela organizao, bem como sua estabilidade e confiabilidade ao longo do tempo. O quadro 16 exemplifica um modelo de detalhamentodoindicador.

67

 Quadro16.Detalhamentodoindicador9

E1Efetividade/ ImpactoFinal ndicedeDesenvolvimentoHumano(IDH) Desenvolvimentoeconmico,sadeeeducao Mdiaaritmticadeindicadoresnormalizadosdezeroaumdeeducao(alfabetizaoetaxadematrcula), Frmuladeclculo longevidade(expectativadevidaaonascer)erenda(PIBpercapta) Unidadedemedida Valordecimalentre0e1 Periodicidade Anual Fonte/Formadecoletadedados ProgramadasNaesUnidasparaoDesenvolvimento(PNUD) Comomdiadevaloresentre0e1,ovalordeescaladoIDHtambmvariade0a1.Quantomaisprximode Interpretaodo indicador/Recomendaes 1,melhoraqualidadedevidadapopulaodaregio. Responsvelpelaapuraodo Responsvelpelodesempenho Governo PNUD indicador Peso 5 Benchmark Canad=0,966;Chile=0,878. Indicadorespelosquaisinfluenciado Expectativadevidaaonascer;Taxadealfabetizao;Taxadematrcula;PIBpercapita. Indicadoresqueinfluencia OIDHumindicadordenaturezaestrutural,porissopoucosujeitoaalteraesnocurtoprazo.Nessa Observao perspectiva,importaanalisarastendnciasdosIDHinternacionais,querevelamoprocessodereduodas desigualdadesnograudedesenvolvimentohumanoentreospases. SrieHistrica/Metas 2005 2006 2007 2008 2009 2010 2011 Previsto 0,794 0,805 0,8015 0,821 0,829 0,837 0,843 Realizado 0,794 0,803 0,816 0,823 Dimensodoindicador/ Subdimenso Indicador Objetodemensurao

9 A ficha de detalhamentodo indicador apresenta partedos dados extrados do Relatrio de Avaliao Plano Plurianual 20092011 e outra partedosdadosdisponibilizadoscomcartermeramenteilustrativo.

68

3.8. Passo 8 - Mensurao do Desempenho

Aps a execuo de todos os passos bsicos para a criao do indicador e sua sistemtica, tornase necessrio medir o que se deseja. Esse passo iniciado com a coleta de dados e o clculo do indicador, e finalizado com a converso do valor obtido na nota correspondente. De forma a facilitar a mensurao e a ponderao relativas a cada indicador, o quadro 17 a seguir exemplifica o modelo de desempenho consolidado da unidade de anlise com destaque para as notas atribudas por indicador, por dimenso e o valor do desempenho agregado mensurados em um determinado ciclo de monitoramentoeavaliao.

69

Quadro17.Exemplodeponderaesenotasaplicadasaosindicadoresesuaconsolidao
Dimensodo Desempenho Pesoda Dimenso Indicador(segundoSubdimenso) 1.1.Impactofinal ndicedeDesenvolvimentoHumano(IDH) 1.1.ImpactoIntermedirio TaxadeAnalfabetismode15anosoumais ndicededistoroIdade/Srie TaxadeconclusodoensinomdionaRededeEnsino 2.1.Quantidade Nmerodejovenseadultosalfabetizados Quantidadedenovasescolasconstrudas NmerodeescoladeEducaobsicacomconexodeBandaLarga 3.1.Custoefetividade Custoefetividade(outcomes/custo)daspolticasdeeducao 3.4.Utilizaoderecursos Volume do gasto pblico em educao (despesa oramentria) em relao aoPIB Customdioporhoraaula 4.1.Execuofsicaeexecuofinanceira GraudeimplantaodasaesdoPlanejamentoEstratgico Taxadeempenho Taxadeliquidao Taxadeexecuooramentria 5.1CritriosdoIAGP Pontuaonoscritriosdeexcelnciaemgesto(IAGP/MEGP) ndicedeInovaoemGesto(prmiosereconhecimentosrecebidos) 6.1.Quantidadederecursos GastospblicospercapitacomaEducao GastototaldecomprasdoGovernocomosetorialdeEducao Gastoscommerendaescolar Pesodo indicador 5 5 4 3 5 4 2 5 4 3 5 3 3 3 5 3 3 3 3 Notado indicador 9 7 8 9 7 9 8 6 9 8 9 7 7 7 8 9 9 7 7 Nota ponderada 45 35 32 27 35 36 16 30 36 24 45 21 21 21 40 27 27 21 21 Notada Dimenso Nota ponderada daDimenso

E1Efetividade

2,5

8,18

20,44

E2Eficcia

7,91

15,82

E3Eficincia

1,5

7,50

11,25

E4Execuo

1,5

7,71

11,57

E5Excelncia

1,5

8,38

12,56

E6 Economicidade

7,67

7,67

NotadeDesempenhoAgregado

79,31

70

3.9. Passo 9 - Anlise e Interpretao dos Indicadores

Promover a anlise e a interpretao dos dados aspecto primordial para o processo decisrio, pois, caso contrrio, a existncia de uma sistemticade monitoramento e avaliao no proporciona ganhos e benefciosparaaorganizao,havendoapenasdispndiodetempoe derecursos. A anlise e a interpretao de dados podem ocorrer de diversas formas,apsaprviacoletaemensuraodasinformaes. Asprincipaisformasdeanliseeinterpretaoocorrempormeiode: Reuniesgerenciais; Reuniesoperacionais; Intercmbiodeinformaesesolues;e Nagestododiaadia.

3.10. Passo 10 - Comunicao do Desempenho

A comunicao um fator preponderante para a integrao da organizao e o desdobramento dos resultados em todos os nveis, internamente e externamente. Um mito com relao comunicao e a tomada de deciso que, atualmente, no h tempo para repassarinformaeserealizarconsideraes. A interao entre as equipes e o alinhamento de conhecimentos cria sinergia e um senso comum de atuao. O processo de comunicao move as aes, estimula a mudana, gera a conscincia e o engajamento, e mantm o ritmo da organizao na busca do melhor desempenho. Para realizar a comunicao do desempenho as organizaes podem adotar as mais diversas ferramentas existentes, cujas mais comuns so: Apresentao institucional colaboradores; de resultados para os

Painel de indicadores com seus respectivos resultados (Centralderesultados);

71

Banners com faixas de desempenho (vermelho, amarelo, verdeeazul); Reuniesdeavaliaodedesempenho; Relatriosanuais(fsicosevirtuais);e Avaliaoexterna(prmiosdeexcelncia).

3.11. Painis de Controle

Aetapadecomunicarodesempenhoenvolveesforodetransmitiro mximo de informao no menor tempo. Para isso, so concebidos painis de controle para a disponibilizao de um conjunto relevante e necessrio de indicadores expostos sob a forma de grficos e tabelas com sinalizadores de modo que as informaes sobre o desempenho possam ser repassadas s partes interessadas, para seremconsumidaseabsorvidasnosprocessosdecisrios. Dessaforma,osprincipaisrequisitoscrticosdeumpaineldecontrole soforma,disposioeacessoasinformaes. Um bom painel de controle pode ser elaborado e disponibilizado de mltiplas formas: webpages, banners, monitores, displays, cartazes e/ousistemasinformatizados. Ao se tratar de modelos de painis timos que avaliam o relevante, algunsatributosdevemserconsiderados: seletividade: escolha dos objetos segundo critrios de significncia; coerncia:alinhamentoentreobjetoemetodologia; simplicidade: escolha e desenvolvimento de instrumentos segundocritriosdefuncionalidade; uso e apropriao: aproveitamento da informao no processogerencialeviamecanismosdetransparncia confiabilidade: credibilidade das informaes e explicaes geradas; legitimidade:envolvimentodospblicosdeinteresse;e contestabilidade: confrontao de informaes, verificaes cruzadaseauditoriadedados.

72

Osquadros18a22mostram,respectivamente,aestruturadepainis por nveis: macro (Governo), meso (poltica pblica ou setor de governo), mesomicro (redes de organizaes), micro (organizaes) e nano (unidade de organizao). Em sequncia, a figura 7 ilustra um modelo de Painel de controle com a apresentao de grficos e sinalizadoresparaasseisdimensesdodesempenho.

73

Quadro18.EstruturadoPaineldeIndicadoresNvelMacroGoverno
E1Efetividade Painel1 E2Eficcia E3Eficincia

ndicedeQualidadedeVidaUrbana Percepodapopulaoquanto ndicedeDesenvolvimentoHumano confiananasinstituiespblicas (IDH) Qualidadeglobaldosservios PIBpercapita prestados CoeficientedeGini Quantidadedeserviospblicos ofertadosaocidado E4Execuo Graudeimplementaodos ProgramasdaAgendadeGoverno PercentualdeProgramascomataxa deexecuofsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuooramentria Taxadeexecuofsicofinanceira (taxadeexecuofsica/financeira) Percentualdeprojetoscompletados dentrodoprazoeoramento Taxadeexecuodosprocessosde contratao E5Excelncia Percentualdeorganizaespblicas daadministraodiretaeindireta candidatasnoPrmioNacionalda GestoPblicaPQGF Porcentagemorganizaespblicas daadministraodiretaeindireta comsistemadegestodaqualidade implantado

Custoefetividade(outcomes/custo) Volumedogastopblico(despesa oramentria)emrelaoaoPIB RelaoPIB/capitaeIDH RelaogastospblicoseIDH

E6Economicidade GastototaldecomprasdoGoverno Gastosdecusteioeoutrosgastos administrativos Custodaatividadefinalsticade Governo/custototal

74

Quadro19.EstruturadoPaineldeIndicadoresNvelMesoPolticaPblicaouSetordeGoverno
Painel2 E1Efetividade E2Eficcia Nmerodejovenseadultos TaxadeAnalfabetismode15anosou alfabetizados mais Quantidadedehabitaes Coeficientedemortalidadeinfantil construdas Expectativamdiadevidada ExtensodaMalharodoviria populaoHabitantes/domiclio pavimentada TaxadeHomicdios Redehidroviriaadequada Percentualdapopulaoinfectada Domicliosatendidosporgua pelovrusHIV tratada ndicededistoroIdade/Srie Nmerodedepsitodepatentesde Taxadeconclusodoensinomdio residentes naRededeEnsino Percentualdedomicliosdazona ruralatendidosemenergiaeltrica E4Execuo E5Excelncia Graudeimplementaodos Percentualdeorganizaespblicas ProgramasdaAgendadeGoverno daadministraodiretaeindireta PercentualdeProgramascomataxa candidatasnoPrmioNacionalda deexecuofsicaadequada GestoPblicaPQGF Taxadeempenho Porcentagemorganizaespblicas Taxadeliquidao daadministraodiretaeindireta Taxadeexecuooramentria comsistemadegestodaqualidade Taxadeexecuofsicofinanceira implantado (taxadeexecuofsica/financeira) Percentualdeprojetoscompletados dentrodoprazoeoramento Taxadeexecuodosprocessosde contratao E3Eficincia

Custoefetividade (outcomes/custo) Volumedogastopblico(despesa oramentria)emrelaoaoPIB RelaogastospblicoseIDH

E6Economicidade Gastospblicospercapita comasade GastocomProgramaseServios Sociais Gastocommerendaescolar

75

Quadro20.EstruturadoPaineldeIndicadoresNvelMesomicroRededeOrganizaes
E1Efetividade Painel3 E2Eficcia NmerodeescoladeEducao bsicacomconexodeBandaLarga QuantidadedeTelecentros instalados Percentualdoterritrio comcoberturavegetalnativa CoberturadoSadedaFamlia Coberturadeserviosbsicosde sade E3Eficincia

ndicededesenvolvimentoSocial Regional ndicedeVulnerabilidade Social ndicedeconvergnciacompetitiva

Custoefetividade(outcomes/custo) Volumedogastopblico(despesa oramentria)emrelaoaoPIB RelaogastospblicoseIDH Customdiodeconexodebanda largaporescola Customdioportelecentro instalado

E4Execuo Graudeimplementaodos ProgramasdaAgendadeGoverno PercentualdeProgramascomataxa deexecuofsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuooramentria Taxadeexecuofsicofinanceira (taxadeexecuofsica/financeira) Percentualdeprojetoscompletados dentrodoprazoeoramento Taxadeexecuodosprocessosde contratao

E5Excelncia E6Economicidade Percentualdeorganizaespblicas Custodemedicamentoscom validadevencida daadministraodiretaeindireta candidatasnoPrmioNacionalda GestoPblicaPQGF Porcentagemorganizaespblicas daadministraodiretaeindireta comsistemadegestodaqualidade implantado

76

 Quadro21.EstruturadoPaineldeIndicadoresNvelMicroOrganizao
E1Efetividade Painel4 E2Eficcia

E3Eficincia

Todosdosnveisanteriores

ndicedeSatisfaodosusurioscom osserviosdaorganizao Nmerodepontosdecultura instalados Quantidadedenovasescolas construdas

Custosunitriosdeservios estratgicos Tempomdiodeatendimentoao cidado Tempomdioparaabrirumnegcio EficinciaOramentria

E4Execuo Implantaodasaesdo PlanejamentoEstratgico Graudeconfiabilidadedasinformaes oramentrias,financeirasecontbeis ndicedequalidadedaproposta oramentria ndicedequalidadedainformao Graudeacessopblicoasinformaes decompras(editais,solicitaesde propostas,outorgasdecontrato) Percentualdecontratocomnvelde serviocontratualizado Graudeadequaoaomarcolegale regulatriodecompraspblicas (conformidadesdetectadas) Percentualdeavaliaesprviasde riscos

E5Excelncia Pontuaonoscritriosdeexcelncia emgesto(IAGP) ndicedeInovaoemGesto (prmiosereconhecimentos recebidos) Taxaderegistrodeocorrnciasem auditorias PercentualdecontratoscomAcordos deNveldeServios(ANS)pactuados

E6Economicidade Economiacomatividademeio Custodasatividadesdesuporte/ Custototal ndicedequalidadedosprodutose serviosadquiridos ndicedeeconomiadasaquisies

77

 Quadro22.EstruturadoPaineldeIndicadoresNvelNanoUnidadeOrganizacional
E1Efetividade Painel5 E2Eficcia

E3Eficincia

Todosdosnveisanteriores

Custoporaodefiscalizao Tempomdiodeatendimentos demandas(emdias) Custocom Quantidadedeaesdefiscalizao combustvel/peas/serviospor realizadas perodo Custoporunidadedoservio prestado(custounitrioporcirurgia, porhoraaula,porkmpavimentado)

E4Execuo %deexecuofsicadoProjetode criaodonovoPortalda organizao %deprojetoscomlicenaambiental (unidaderesponsvelporobter licenasambientaisparaosprojetos daorganizao)

E5Excelncia Pontuaonoscritriosde excelnciaemgesto(IAGP) Nmerodeatividadesqueseguem estritamenteospadres organizacionais Nmerodeatividadescertificadas porinstituiesreconhecidas

E6Economicidade Ndeadmissesconformeoperfil Requeridorealizadasduranteo perodo

78

 Figura6.ModelodePaineldeControlecomilustraesgrficas

79


Execuo
Graude implantao das aes do PlanejamentoEstratgico

Excelncia
Pontuao nos critriosde excelncia em Gesto(MEGP)
Liderana Processos Estratgiae Planos Cidados Sociedade

Economicidade
Gastomdioanualporaluno
1000 800 600 400 200 0 EnsinoInfantil Ensino EnsinoMdio Fundamental Brasil Nordeste

1. 1. 1. 0. 0. 0.

Pessoas Informaoe Conhecime

OrganizaoA

OrganizaoB

Cronogramados Programas Estratgicos

PrInfncia CriaodoIdeb Aesde educao nocampo Qualificaoda sade escolar Eletrificaodas escolaspblicas

R$ 2.155,00

Gastomensal transporte escolar Em milhares

R$ 1.811,00 R$ 2.586,00

Norte Nordeste Sudeste Sul

Realizado Em atraso Arealizar

R$ 11.246,00

100% 95% 90% 85% 80% 75%

Taxa de Execuo Oramentria 95% 1 0,8 0,6 83% 0,4 0,2 0

Gastomdiocom merendaescolar Previsto Realizado

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

Empenhado

Pago

Nota:77

Nota:84

Nota:76

Notaponderada final: 79

2008

80

4. Lista de verificao da consistncia do Modelo de Medio de Desempenho

A seguir apresentada uma lista de questes que permite verificar a existncia de requisitos mnimos de um modelo de mensurao de desempenhoconcebido. Antecedentes e condies mnimas previstas para a mediododesempenho Existe um nmero mnimo de profissionais que podem conduzirostrabalhosdemediododesempenho? Encontrase nas equipes profissionais capacitados e conhecedoresnatemticademediododesempenho? Esto identificados todos os elementos e fatores relevantes para a implementao do modelo, e existe interesse da maioria em levar adiante o modelo de medio do desempenho? Possui acesso a informao necessria e suficiente para compreender as origens e os fins que se persegue com a implantaodamensuraodedesempenho? Verificao da robustez do modelo de medio do desempenhodefinido O atual sistema de medio de desempenho avalia os aspectosessenciaisdaorganizao? O modelo contempla as 6 dimenses do desempenho, ou seja,possuiummodelotimodedesempenho? A ponderao do modelo respeita as condies da precednciadoresultado(60%)sobreoesforo(40%)? Omodelorespeitaasprioridades:[(E1E2E3)>(E4E5 E6)]? H a quantidade mxima de 5 indicadores para cada dimensododesempenho? Quando h o Planejamento Estratgico, os objetos de mensurao e, por sua vez, os indicadores esto contidos e coerentescomaestratgia?

81

Houve envolvimento do corpo diretivo e gerencial na concepoevalidaodeindicadores? H a definio com preciso dos prazos dos de entrega dos produtos intermedirios (por exemplo, objetos de mensurao, frmulas, metas) pelos profissionais que esto conduzindoaimplantaodomodelo? Est especificado o valor de ponderao de cada critrio e subcritrio (categorias de subdimenses) da mensurao de desempenho? Os indicadores validados so claros e comunicam com preciso sua finalidade, evitando ambiguidades de interpretaes? A cesta de indicadores validada possui metas alcanveis; desafiadoras; diretas; negociveis; fundamentadas em sries histricas,tendnciaebenchmarks? O sistema de mensurao contm medidas objetivas e subjetivas? A organizao possui governana e controle sobre o alcance demetasdefinidas? visvel a existncia de pontos alinhados entre o sistema de mediododesempenhoeaestratgiaorganizacional? O corpo gerencial e os funcionrios em geral e suas respectivas unidades so responsabilizados pela preciso de dadoscoletadosedasinformaesdisponibilizadas? A sistemtica de coleta de dados e informaes da cesta de indicadores definida e validada eficiente em relao aos custosebenefcios? Osdadoseinformaessoapresentadosgraficamentepara facilitar a identificao de tendncias e anlises importantes? H o acompanhamento de indicadores de resultados (indicadoresdeefetividade,eficciaeeficincia)? H o acompanhamento de indicadores de esforos (indicadoresdeexecuo,excelnciaeeconomicidade)? H uma sistemtica de incentivos vinculada aos resultados mensurados pelo sistema, no qual o mau desempenho gera

82

perdas, punies, desprestgio etc. e o bom desempenho geraganhos,reconhecimento,prestgioetc.? Verificaodosbenefcios As informaes obtidas sobre o desempenho da organizao so/sero importantes para o processo decisrio e a realizao de ajustes na estratgia, o que promover aprendizadoeamelhoriadosresultadosaolongodotempo? Todos os atores (partes interessadas) do sistema compreendem as mtricas utilizadas para avaliar o desempenho? O sistema de medio do desempenho propicia, aos atores envolvidos, condies de facilmente obter uma viso de todas as reas de resultadoschave relacionadas de forma crtica? Aorganizaointeressadanosistemaeemseusresultados disponibilizados? Avaliao de concluso dos passos da metodologia de MediodoDesempenho O ciclo de concepo, implementao, mensurao e comunicao,segundoos10passosdoguia,foiconcludo? H continuidade (estabilidade) da cesta de indicadores definidaevalidada? Os resultados coletados ao longo dos ciclos de mensurao demonstrammudanadainstituioemfunodosesforos demensuraorealizados?

A resposta ideal de todas as perguntas deve ser sim. Se algumas respostas so negativas, o modelo dever ser reavaliado e aprimorado at possuir condies mnimas nos aspectos que refletiramasrespostasnegativas.

83

5. Consideraes Finais
A medio de desempenho na gesto pblica est entre os principais instrumentos para subsidiar os gestores e os dirigentes em suas decises e escolhas. Atualmente, h a exigncia cada vez maior em aperfeioar os nveis de esforos e resultados das organizaes, bem como gerar e fortalecer os mecanismos de transparncia e responsabilizaoparaoscidadosepartesinteressadas,sendoestes os fundamentos bsicos para impulsionar o desenvolvimento e implementao de indicadores de desempenho nas instituies pblicas. No mbito geral, os indicadores de desempenho fornecem informaes sobre temas fundamentais da gesto pblica, tais como nvel de efetividade, eficcia, eficincia, qualidade, economia de recursos e produtividade dos produtos/servios, alm de apontar o graudemelhoriadagesto. Nesse contexto, o propsito principal deste documento a apresentao de um guia referencial no exaustivo, mas representativoosuficienteparapossibilitaradiversasorganizaesa definio do seu desempenho, subsidiar com conceitos e metodologias para a construo de seus indicadores de desempenho e a elaborao de painis de controle para o acompanhamento da gesto. O Guia contemplou a definio dos conceitos de desempenho e de medio do desempenho, a metodologia da Cadeia de Valor e dos 6Es do Desempenho, as etapas do modelo de definio e implementao de indicadores (aderente a metodologia dos 6Es do Desempenho), e consideraes sobre o desenho de painis de indicadoresparaacomunicaododesempenhodasorganizaes. Por fim, o documento se props a desenvolver de maneira didtica aspectos conceituais e metodolgicos envolvidos da formulao e implementao de indicadores de desempenho no mbito da gesto pblica para implementar a objetiva e efetiva mensurao dos resultadosnasorganizaespblicas.

84

Bibliografia
AKAO, Y. Kanri: policy deployment for successful TQM. Productivity.Press,Cambridge.1991. AUGUST, Judy H. JAD Joint Application Design. Makron Books, SP, 1993. Australian Public Service Commissioner (APSC). Annual Report 2006/07.2007. BENNETT, C. Analyzing impacts of extension programs, ESC575. Washington, D.C.: Extension ServiceU.S. Department of Agriculture, 1976. BOUCKAERT, Geert e HALACHMI, Arie. Organizational Performance andMeasurementinthePublicSector.Quorum.1996. BOUCKAERT, Geert e HALLIGAN, John. Managing Performance: InternationalComparisons.Routledge.2008. BOYNE, George et al. Public Service Performance: Perspectives on MeasurementandManagement.CambridgeUniversityPress.2006. CREECH, Bill. The five pillars Five Pillars of TQM: How to Make Total QualityManagementWorkworkforYou.Plume.1995. Departament of States United States. Department of State Annual PerformanceReportFiscalYear2008. FERLIE,Ewan,MCLAUGHLIN,Kate,OSBORNE,StephenP..Newpublic management:currenttrendsandfutureprospects.Routledge,2002. GIOPP, Alejandro Medina. Fortalecimiento de los sistemas de monitoreo y evaluacin (M&E) em Amrica Latina. Banco Mundial, CLAD,2009. Ferreira, H.; Cassiolato, M.; Gonzalez, R. Como Elaborar Modelo LgicodeProgramas:umroteirobsico.NotaTcnica,IPEA,2007. Ferreira, H.; Cassiolato, M.; Gonzalez, R. Uma experincia de desenvolvimento metodolgico para avaliao de programas: o modelolgicodoprogramasegundotempo.IPEA,2009. GOTTFREDSON, Mark; SCHAUBERT, Steve. Administrao de Alto Impacto: como os melhores gestores alcanam resultados extraordinrios.CampusElsevier.2008.

85

GovernmentofAustralian.ReportonGovernmentService.2008. Government of Canada. Canadas Performance 200708, the GovernmentofCanadasContribution.2008. GovernmentofUnitedKingdom.PublicServiceAgreement.2007. HALACHMI, Arie e BOUCKAERT, Geert. Organizational Performance andMeasurementinthePublicSector.Quorum.1996. KAPLAN, Robert; NORTON, David. Mapas Estratgicos: convertendo ativosintangveisemresultadostangveis.CampusElsevier.2004. LAMBERT, Douglas. Supply Chain Management: Processes, Partnerships, Performance, processes, partnerships, performance. SupplyChainManagementInstitute.2005. MARTINS, Humberto; MARINI, Caio. Guia de Governana para Resultados.Ed.Publix,2010. MARINI, Caio; MARTINS, Humberto. Um Governo Matricial: estruturas em rede para a gerao de resultados de desenvolvimento. In: Congreso Internacional del Clad sobre la ReformadelEstadoydelaAdministracinPblica,9.Madrid.2004. MARINI, Caio; MARTINS, Humberto Falco; VILHENA, Renata; GUIMARES, T. B. O Choque de Gesto em Minas Gerais: polticas da gesto pblica para o desenvolvimento. Belo Horizonte: Editora UFMG.2006. Ministre de lconomie, ds Financeset de lIndustrie. La Dmarche dePerformance:Stratgie,Objectifs,Indicateurs.2004. Ministerio de Hacienda, Direccin de Presupuestos. Sistema de Control de Gestin y Presupuesto por Resultados La Experiencia Chilena.GobiernodeChile,2003. Ministrio do Planejamento, Secretaria de Gesto. Instrumento para AvaliaodaGestoPblicaCiclo2008/2009. 2008. Ministrio do Planejamento, Oramento e Gesto, Secretaria de Planejamento e Investimentos Estratgicos (SPI). Guia Metodolgico paraaConstruodeIndicadores.2010. MOYNIHAN, Donald P. The dynamics of performance management: constructinginformationandreform.2008. NEELY, Andy. Business Performance Measurement: unifying theory andintegratingpractice.2ed.CambridgeUniversityPress,2007.

86

NEELY, Andy; ADAMS, Chris. The performance prism. Performance Prism.FinancialTimesPrenticeHall.2002. PMBOK.ProjectManagementInstitute.Four.Campus.2004. POLITANO,AntthonyL..ChiefPerformanceOfficer.2003. PORTER, Michael. Competitive Advantage: creating and sustaining performance.FreePress.1985. Relatrio de avaliao Plano Plurianual 20082011 : avaliao da dimenso estratgica : exerccio 2009 ano base 2008 / Ministrio do Planejamento, Oramento e Gesto, Secretaria de Planejamento eInvestimentosEstratgicos.Braslia:MP,2009. RUMMLER, Gary; BRACHE, Alan. Melhores Desempenhos das Empresas: uma abordagem prtica para transformar as organizaesatravsdaReengenharia.MakronBooks.1994. The Prime Minister Cabinet Office of United Kingdom. Cabinet Office AnnualReporteAcounts200809.2008. United States General Services Administration. Annual Performance andAccountabilityReport.2008. WALTON, Mary. The Deming Management Method. New York: PerigreeBooks,1988. WHOLEY, J. Evaluation: promise and performance. Washington, DC, UrbanInstitute.1979.

87

Anexo 1. Dimenses e indicadores de Desempenho

ApartirdereuniesderealizadascomosrgoscentraisdoGoverno Federal e pesquisas bibliogrficas foram identificados alguns exemplos de indicadores para as dimenses do desempenho, com destaque para as reas visitadas que compem os processos de suporte,taiscomo:OramentoeFinanas,TecnologiadaInformao, Servios Gerais, Compras e Contratos, Estratgia e Monitoramento & Avaliao. A seguir so apresentadas as dimenses do desempenho, suas subdimenses e os indicadores para os cinco nveis (macro, meso, mesomicro,microenano).

88


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

1.1ImpactoFinal Igualdadesocial, Desenvolvimentoscio ambiental, Desenvolvimento econmico, Sustentabilidadeetc.

Macro Governo ndicedeDesenvolvimento Humano(IDH) PIBpercapita CoeficientedeGini

Micro Organizao

Nano Unidade

E1Efetividade 1.2ImpactoIntermedirio ResultadodePoltica Pblica,Satisfaodos stakeholders,Melhoriada Gestoetc.

2.1Quantidade/Volume E2Eficcia

Quantidadedeservios pblicosofertadosao cidado

TaxadeAnalfabetismo de15anosoumais Coeficientede mortalidadeinfantil Expectativamdiade vidadapopulao Habitantes/domiclio TaxadeHomicdios Percentualdapopulao infectadapelovrusHIV ndicededistoro Idade/Srie Taxadeconclusodo ensinomdionaRede deEnsino Nmerodejovense adultosalfabetizados Quantidadede habitaesconstrudas ExtensodaMalha rodoviriapavimentada Nmerodedepsitode patentesderesidentes

ndicede desenvolvimento SocialRegional ndicede Vulnerabilidade Social ndicede convergncia competitiva

todosdosnveis anteriores.

todosdosnveisanteriores.

Nmerodeescolade Educaobsicacom conexodeBanda Larga Quantidadede Telecentros instalados

Nmerodepontosde culturainstalados Quantidadedenovas escolasconstrudas

Quantidadedeaesde fiscalizaorealizadas

89


Meso Setorialdepoltica pblica Redehidroviria adequada Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo ndicedeQualidadedeVida Urbana Percepodapopulao quantoconfiananas instituiespblicas Qualidadeglobaldos serviosprestados

2.2Qualidadedo produto/servio Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc.

2.3Acessibilidadee Equidade

Percentualdedomiclios dazonaruralatendidos emenergiaeltrica

Percentualdo territrio comcobertura vegetalnativa CoberturadoSade daFamlia Coberturade serviosbsicosde sade

Micro Organizao ndicedeSatisfaodos usurioscomosservios daorganizao %debeneficiriosmuito satisfeitos Graudeconformidade dosservioseprodutos entregues Pontualidade (tempestividade)dos produtosentregues Percentualde atendimentosrealizados noprazo ndicedecumprimento dosnveisdeservio acordados(ANS) Nmerode servios/produtos oferecidosemparceria (PPPetc.) Percentualde entrevistadosque declararamterimagem positivasobrea responsabilidadepblica daorganizao

Nano Unidade

2.4Cobertura

90


Meso Setorialdepoltica pblica Custoefetividade (outcomes/custo) Relaogastospblicos eIDH Volumedogastopblico (despesaoramentria) emrelaoaoPIB Nveis Meso Organizaesem rede Custoefetividade (outcomes/custo) Relaogastos pblicoseIDH Volumedogasto pblico(despesa oramentria)em relaoaoPIB

Dimenso

Subdimenso 2.5Risco 3.1Custoefetividade

Macro Governo Custoefetividade (outcomes/custo) Relaogastospblicose IDH Volumedogastopblico (despesaoramentria)em relaoaoPIB RelaoPIB/capitaeIDH

Micro Organizao

Nano Unidade

Custosunitriosde serviosestratgicos

3.2Produtividade

3.3Tempo Tempodeciclo,Freqncia deentrega,Tempode desenvolvimentodenovos benseservios, Desperdcioetc.

Tempomdiode atendimentoaocidado Tempomdioparaabrir umnegcio

Custoporaode fiscalizao Custoporunidadedo servioprestado(custo unitrioporcirurgia,por horaaula,porkm pavimentado) Tempomdiode atendimentosdemandas (emdias)

E3Eficincia

3.4Utilizaoderecursos

Customdiode conexodebanda largaporescola Customdiopor telecentroinstalado

Custocom combustvel/peas/servios porperodo

3.5Custobenefcio (Eficinciadosgastos)

EficinciaOramentria

91


Meso Setorialdepoltica pblica Graudeimplementao dosProgramasda AgendadeGoverno Percentualde Programascomataxa deexecuofsica adequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsico financeira(taxade execuo fsica/financeira) Percentualdeprojetos completadosdentrodo prazoeoramento Nveis Meso Organizaesem rede Graude implementaodos Programasda AgendadeGoverno Percentualde Programascoma taxadeexecuo fsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuo fsicafinanceira(taxa deexecuo fsica/financeira) Percentualde projetos completadosdentro doprazoe oramento Taxadeexecuo dosprocessosde contratao Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuo fsicafinanceira(taxa deexecuo fsica/financeira)

Dimenso

Subdimenso

4.1ProgramaseProjetos ExecuofsicaeExecuo financeira

Macro Governo Graudeimplementao dosProgramasdaAgenda deGoverno PercentualdeProgramas comataxadeexecuo fsicaadequada Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsico financeira(taxade execuofsica/financeira) Percentualdeprojetos completadosdentrodo prazoeoramento

Micro Organizao Implantaodasaes doPlanejamento Estratgico

Nano Unidade %deexecuofsicado Projetodecriaodonovo Portaldaorganizao %deprojetoscomlicena ambiental(unidade responsvelporobter licenasambientaisparaos projetosdaorganizao) Temporealdeprogramase projetossobreotempo previsto Custorealdeprogramase projetossobreocusto previsto

E4Execuo Taxadeexecuodos processosdecontratao Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsica financeira(taxade execuofsica/financeira) Taxadeexecuodos processosde contratao Taxadeempenho Taxadeliquidao Taxadeexecuo oramentria Taxadeexecuofsica financeira(taxade execuo fsica/financeira)

Implantaodasaes doPlanejamento Estratgico

4.2Processosfinalsticos ExecuofsicaeExecuo financeira

4.3ProcessosdeSuporte

Execuofsicados planosdeao Execuofinanceira Taxadeatrasono pagamentodedespesas Tempomdiodeatraso dopagamento

Execuofsicadosplanos deao Execuofinanceira Taxadeatrasono pagamentodedespesas Tempomdiodeatrasodo pagamento

92


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

Micro Organizao Percentualdedespesas executadasnoexerccio comdoaes Percentualdedespesas executadasnoexerccio comOperaesde Crdito Percentualdedespesas executadasnoexerccio comPrprios Percentualdedespesas executadasnoexerccio comVinculados Percentualdedespesas executadasnoexerccio comRecursosLivres Dimensionamentoda foradetrabalhoda unidade ndicederecuperao dainformaopoltica deredundnciae backup Tempomdiodociclo decompras(oude contratao) Tempomdiodo processolicitatrio Divulgaodas propostasepublicao dasoutorgas Tempodepreparao daspropostas Tempoparaavaliao daspropostas Nmerodeprotestosa propostasapresentadas Mdiadostempos decorridosentrea

Nano Unidade Percentualdedespesas executadasnoexerccio comdoaes Percentualdedespesas executadasnoexerccio comOperaesdeCrdito Percentualdedespesas executadasnoexerccio comPrprios Percentualdedespesas executadasnoexerccio comVinculados Percentualdedespesas executadasnoexerccio comRecursosLivres Dimensionamentodafora detrabalhodaunidade ndicederecuperaoda informaopolticade redundnciaebackup Tempomdiodociclode compras(oude contratao) Tempomdiodoprocesso licitatrio Divulgaodaspropostase publicaodasoutorgas Tempodepreparaodas propostas Tempoparaavaliaodas propostas Nmerodeprotestosa propostasapresentadas Mdiadostempos decorridosentrea assinaturadocontratoea atuaodoprocessode contratao Tempomdiopara

93


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

Micro Organizao assinaturadocontratoe aatuaodoprocesso decontratao Tempomdiopara respostasaosprotestos Despesaexecutadacom pessoal Percentualdereunies defeedbacksde desempenhorealizadas (sobreoplaneado) Tempomdiode soluodereclamaes Percentualde cumprimentodoplano detreinamento ndicedecarnciada receita Montantede pagamentosde despesasemmora ndicedecusto benefciodageraode bens/servios(produtos) estratgicos ndicedeformaode comunidadesde conhecimento Proporode Modalidadede Aplicao ndicedeevoluodo oramento Proporodedespesas obrigatriassobre discricionrias Proporodedespesas compessoalsobreo

Nano Unidade respostasaosprotestos Despesaexecutadacom pessoal Percentualdereuniesde feedbacksdedesempenho realizadas(sobreo planeado) Tempomdiodesoluo dereclamaes Percentualde cumprimentodoplanode treinamento

4.4EficciadoProcessosdeSuporte 4.4.1Quantidade/Volume (serviosebens)

ndicedecarnciada receita Montantedepagamentos dedespesasemmora ndicedecustobenefcio dageraode bens/servios(produtos) estratgicos ndicedeformaode comunidadesde conhecimento ProporodeModalidade deAplicao ndicedeevoluodo oramento Proporodedespesas obrigatriassobre discricionrias Proporodedespesas compessoalsobreo oramentototal ProporodeDespesas

94


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

Micro Organizao oramentototal ProporodeDespesas Correntessobre DespesasdeCapital ndicedeEconomiadas aquisies Percentualdereduo dovalorpor renegociaode contratos Nmeromdiode concorrentes participandodocertame Nmerodeprocessosde licitaocancelados Nmerodereclamaes procedentessobreo totaldecontratos efetuados Nmerodereclamaes recorrentesegraves Percentualde indicadoresque melhoraramos resultadosdentreototal deindicadores existentes Percentualde indicadoresque atingiramovalor planejadodentreototal deindicadores existentes Percentualde atendimentosrealizados noprazo ndicedecargos comissionados Custodoscargos

Nano Unidade CorrentessobreDespesas deCapital ndicedeEconomiadas aquisies Percentualdereduodo valorporrenegociaode contratos Nmeromdiode concorrentesparticipando docertame Nmerodeprocessosde licitaocancelados Nmerodereclamaes procedentessobreototal decontratosefetuados Nmerodereclamaes recorrentesegraves Percentualdeindicadores quemelhoraramos resultadosdentreototal deindicadoresexistentes Percentualdeindicadores queatingiramovalor planejadodentreototalde indicadoresexistentes Percentualde atendimentosrealizadosno prazo ndicedecargos comissionados Custodoscargos comissionadosefunes gratificadas ndicedeevoluodos cargoscomissionados Quantitativodecargospor carreirasnaorganizao Quantidade cargos/empregosportipo

95


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

Micro Nano Organizao Unidade comissionadosefunes devnculo gratificadas ndicedeevoluodos cargoscomissionados Quantitativodecargos porcarreirasna organizao Quantidade cargos/empregospor tipodevnculo

96


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso 4.4.2Qualidadedo produto/servio Durabilidadetcnica, esttica,Qualidade percebida (Percepo/Expectativa), Confiabilidade, Tempestividade,Inovao etc.

Macro Governo

Micro Organizao Graudecumprimento dasnormas oramentrio financeiras Quantidadede conformidadess normasoramentrio financeirasdetectadas ndicedevariaodo custounitrioplanejado eorealizado ndicedeprontidodo CapitaldaInformao ndicedaqualidadeda propostaoramentria ndicededesvioda despesarealeadespesa previstanooramento ndicedevariaoda composiodas despesas Graudeconfiabilidade dasinformaes oramentrias, financeirasecontbeis ndicededespesas extraordinriasno reportadas ndicedequalidadedo gasto ndicedequalidadeda informao Graudeadequaodo perfildosfuncionrios comasatividades desempenhadas Graudeadequaoas normasdetecnologiada informao

Nano Unidade Graudecumprimentodas normasoramentrio financeiras Quantidadede conformidadessnormas oramentriofinanceiras detectadas ndicedevariaodocusto unitrioplanejadoeo realizado ndicedeprontidodo CapitaldaInformao ndicedaqualidadeda propostaoramentria ndicededesvioda despesarealeadespesa previstanooramento ndicedevariaoda composiodasdespesas Graudeconfiabilidadedas informaes oramentrias,financeiras econtbeis ndicededespesas extraordinriasno reportadas ndicedequalidadedo gasto ndicedequalidadeda informao Graudeadequaodo perfildosfuncionrioscom asatividades desempenhadas Graudeadequaoas normasdetecnologiada informao ndicedeintegraode sistemasdeinformtica

97


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

Micro Organizao ndicedeintegraode sistemasdeinformtica Taxadetreinamentos desenvolvidoscombase emuminventriode lacunasdehabilidades paraatenderas necessidadesda organizao Quantidadedefalhas identificadasem sistemascentrais Graudeadequaodo planejamentode compras Graudecartelizaodo mercado Graudeadequaoao marcolegale regulatriodecompras pblicas ndicedealinhamento entreoplanejamentode compraseoprocessode formulaodo oramentoem contribuiocomo PlanoPlurianual ndicedequalidadedos produtos/servios adquiridos Pontualidadenaentrega Conformidadeda entrega ndicedeadequaodo planejamentode contrataodeservios Percentualdecontratos comANSassinados

Nano Unidade Taxadetreinamentos desenvolvidoscombase emuminventriode lacunasdehabilidadespara atenderasnecessidadesda organizao Quantidadedefalhas identificadasemsistemas centrais Graudeadequaodo planejamentodecompras Graudecartelizaodo mercado Graudeadequaoao marcolegaleregulatrio decompraspblicas ndicedealinhamento entreoplanejamentode compraseoprocessode formulaodooramento emcontribuiocomo PlanoPlurianual ndicedequalidadedos produtos/servios adquiridos Pontualidadenaentrega Conformidadedaentrega ndicedeadequaodo planejamentode contrataodeservios Percentualdecontratos comANSassinados ndicedecumprimento pelosfornecedoresdos nveisdeservioacordados (ANS) Graudeadequaodos ANSasrequisitos contratuais

98


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

Micro Organizao ndicedecumprimento pelosfornecedoresdos nveisdeservio acordados(ANS) Graudeadequaodos ANSasrequisitos contratuais Avaliaode conformidadeentreo editaleoANS Contratosrealizados conformeesperado ndicedesatisfaodos beneficiriosinternos ndicedeconscincia estratgica (porcentagemde servidorescapazesde identificarasprioridades estratgicasdaunidade, programaou organizao) Nmerodehorasde treinamentopor servidor

Nano Unidade Avaliaodeconformidade entreoeditaleoANS Contratosrealizados conformeesperado ndicedesatisfaodos beneficiriosinternos ndicedeconscincia estratgica(porcentagem deservidorescapazesde identificarasprioridades estratgicasdaunidade, programaouorganizao) Nmerodehorasde treinamentoporservidor

99


Meso Setorialdepoltica pblica Nveis Meso Organizaesem rede

Dimenso

Subdimenso

Macro Governo

4.4.3Acessibilidadee Equidade

4.4.4Cobertura 4.4.5Risco 5.1CritriosdoIAGP Liderana,Estratgiae Planos,Cidados, Sociedade,Informaoe Conhecimento,Pessoas, Processos

Percentualdeorganizaes pblicasdaadministrao diretaeindiretacandidatas noPrmioNacionalda GestoPblicaPQGF

Percentualde organizaespblicasda administraodiretae indiretacandidatasno PrmioNacionalda GestoPblicaPQGF

Percentualde organizaes pblicasda administraodireta eindiretacandidatas noPrmioNacional daGestoPblica PQGF

Micro Organizao ndicedeacessibilidade esatisfaodosusurios comosstioseletrnicos Graudeacessos informaes oramentrias, financeirasecontbeis Graudeacessopblico asinformaesde compras(inclusive editais,solicitaesde propostas,outorgasde contrato) Percentualdeavaliaes prviasderiscos Pontuaoobtidanos critriosdeexcelncia emgesto(IAGP) Lacunadeliderana (porcentagemde atributosdomodelode competnciaavaliados abaixodolimite)

Nano Unidade ndicedeacessibilidadee satisfaodosusurios comosstioseletrnicos Graudeacessos informaes oramentrias,financeiras econtbeis Graudeacessopblicoas informaesdecompras (inclusiveeditais, solicitaesdepropostas, outorgasdecontrato) Percentualdeavaliaes prviasderiscos Pontuaoobtidanos critriosdeexcelnciaem gesto(IAGP) deocorrnciasem auditorias

E5Excelncia

100


Meso Setorialdepoltica pblica Porcentagem organizaespblicasda administraodiretae indiretacomsistemade gestodaqualidade implantado Nveis Meso Organizaesem rede Porcentagem organizaes pblicasda administraodireta eindiretacom sistemadegestoda qualidade implantado

Dimenso

Subdimenso 5.2Conformidade Retrabalho,Erros, Responsabilidade Ambiental,Infraestrutura (confortoetc.),Medidase especificaes,Segurana (acidentesporhoras trabalhadas), Transparncia Confidencialidade, Acessibilidade Confiabilidade,Inovao, Prazoetc.

Macro Governo Porcentagemorganizaes pblicasdaadministrao diretaeindiretacom sistemadegestoda qualidadeimplantado

Micro Organizao ndicedeInovaoem Gesto(prmiose reconhecimentos recebidos) Taxaderegistrode ocorrnciasem auditorias AcordosdeNvelde Servios(ANS) pactuados ndicedeprontidodo CapitaldaInformao

Nano Unidade ndicedeInovaoem Gesto(prmiose reconhecimentos recebidos) Taxaderegistro Nmerodeatividadesque seguemestritamenteos padresorganizacionais Nmerodeatividades certificadasporinstituies reconhecidas

5.3Riscos 5.4Causalidade 5.5Comunicao

Gastospblicosper capitacomasade GastoscomProgramase ServiosSociais Gastoscommerenda escolar

Custode medicamentoscom validadevencida

Custodasatividadesde suporte/Custototal ndicedeeconomiadas aquisies Economiacom atividadesmeio ndicedequalidadedos produtoseservios adquiridos

Ndeadmissesconforme operfilRequerido realizadasduranteo perodo

Gastototaldecomprasdo Governo Gastosdecusteioeoutros 6.1Quantidadederecursos gastosadministrativos Custodaatividade finalsticadeGoverno/custo total 6.2Qualidadedosrecursos Qualidadepercebida E6Economicidade (Percepo/Expectativa), Durabilidadetcnica, esttica,Confiabilidade, Tempestividade,Inovao etc. 6.3Acessibilidade 6.4Cobertura 6.5Risco

101

Anexo 2. Dicionrio de Indicadores das reas de Gesto de Suporte

Interpretao/ sentido Quantidadededespesaspagasematraso/totaldedespesas Percentual menormelhor pagasnoperodo Frmula Unid. Quantidademdiadediasdeatrasopordespesa Valordareceitainternarealizadasobreaestimativade receitadooramentooriginalaprovado Proporodomontantededespesaspagoemmorasobre despesastotais Percentualdecrescimentomdioanual Razodasdespesasobrigatriassobrediscricionrias Razodasdespesascompessoalsobreooramentototal Quantidadedeconformidadessnormasoramentrio financeirasdetectadas/totaldeitensdeanlise dias menormelhor Fonte/ Periodicidade Responsvel Sistemasdegesto Semestral dooramento Sistemasdegesto Semestral dooramento Sistemasdegesto Semestral dooramento Sistemasdegesto dooramento Sistemasdegesto dooramento Sistemasdegesto dooramento Sistemasdegesto dooramento Sistemasdegesto dooramento Semestral Anual Anual Anual Semestral

Subdimenso

Indicador Taxadeatrasonopagamentode despesas Tempomdiodeatrasodo pagamento ndicedecarnciadareceita

Percentual

Montantedepagamentosde despesasemmora ndicedeevoluodooramento Proporodedespesasobrigatrias readeGesto sobrediscricionrias deSuporte: Proporodedespesascompessoal Oramentoe sobreooramentototal Finanas Graudecumprimentodasnormas oramentriofinanceiras ndicedaqualidadedaproposta oramentria

Percentual menormelhor Percentual maiormelhor Percentual Percentual menormelhor Percentual maiormelhor

Graudecoernciadapropostaoramentriacoma estratgiaecomacapacidadedeexecuo.Vnculoentreo oramentodeinvestimentocomestratgiasrelevantes

maiormelhor

Sistemasdegesto Anual dooramento

Graudeconfiabilidadedas informaesoramentrias, financeirasecontbeis

Informaesntegrasetempestivassobreooramento (qualitativa).Avaliaodaprecisodosdados,quantidadede questionamentossobreosdadosdisponibilizados

maiormelhor

Sistemasdegesto Anual dooramento

102


Subdimenso Indicador ndicedequalidadedogasto Frmula Unid. AvaliaodoConsumo(quantidadesconsumidasvolume); ndice doPreo(valoresfinanceiroscontratadospelosservios);e daSituao(desempenhodadespesa) dias

Interpretao/ maiormelhor

Fonte/ Periodicidade Sistemasdegesto Anual dooramento

ndicedeprontidodocapitalda Tempomdioentreorecebimentodasolicitaode informao(graudetempestividadeeinformaocrticaearespectivaresposta acessoinformaese conhecimentoscrticos)

menormelhor

Relatriosde monitoramentoe avaliao

Semestral

ndicedeformaodecomunidades Quantidadedecomunidadesdeconhecimentoestabelecidas Nmero deconhecimento absoluto readeGesto ndicedequalidadedainformao deSuporte: Informaoe Conhecimento Graudeacessosinformaes oramentrias,financeirase contbeis Avaliaodecaractersticasderelevncia,cobertura, abrangncia,integridade,confiabilidade,disponibilidade, tempestividadededadoseinformaes

maiormelhor

Atas e relatriosSemestral publicados pelas comunidades Pesquisa Anual

maiormelhor

Avaliaodadisponibilizaodeinformaes,taiscomo: documentaodooramentoanual;dosrelatriosda execuodooramentoduranteoexerccio;demonstraes financeirasdefinaldeexerccio;relatriosdeauditoria externa;adjudicaodecontratos;eoutros

maiormelhor

Pesquisa

Anual

ndicedeprevisodeaposentadorias Ndepessoascomprevisodeaposentadoriaparaos prximos5anos/ndepessoas ndicedeinvestimentoem treinamentos

anos

Maiormelhor

Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual de Recursos Humanos Pesquisa Anual

recursosoramentriosinvestidoemtreinamento/recursos Percentual Maiormelhor oramentriosdisponveis Percentual

Proporodooramentopor Oramentototal/Totaldefuncionrio readeGesto funcionrio deSuporte: Pessoas ndicedefuncionrioscomgraduao Percentualdefuncionrioscomgraduao

Percentual Maiormelhor

ndicedeabsentesmo

Nmerodediasnotrabalhados/(Nmerodefuncionriosx ndice Nmerodediasteis)

Menormelhor

ndicededimensionamentoidealda RelaoentrequantitativorealdainstituioeoquantitativoPercentual Igualmelhor foradetrabalho idealdasdiversasunidadesorganizacionais

103


Subdimenso Indicador Climaorganizacional Amplitudedecomando Frmula Avaliaasatisfaodofuncionriocomaorganizao,com superioresecomseuspares Unid. ndice

Interpretao/ maiormelhor

Fonte/ Periodicidade Pesquisa deAnual satisfaointerna Pesquisa Anual

(NmerodefuncionriostotalNmerodefuncionriosem Percentual posiodechefia)/Nmerodefuncionriosemposiode chefia Quantidadedeperfiscomformaoadequadacomsuas responsabilidadessobreototaldepessoasnaorganizao Tempodedisponibilidadedossistemas/tempototal Percentual maiormelhor

Graudeadequaodoperfildos funcionrioscomasatividades desempenhadas Disponibilidadedossistemas informacionais

Sistemas de gestoAnual de Recursos Humanos Sistemas de gestoAnual deTI Sistemas de gestoAnual deTI Sistemas de gestoAnual deTI Pesquisa deAnual satisfao Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos

Percentual maiormelhor

readeGesto ndicederecuperaodainformao Sistemascommecanismosderecuperaoimplantados deSuporte: polticaderedundnciaebackup sobreototaldesistemas Tecnologiada Quantidadedefalhasidentificadas Quantidadedefalhasidentificadasemsistemascentrais Informao emsistemascentrais ndicedeacessibilidadeesatisfao Graudesatisfaodosusurioscomosstioseletrnicos dosusurioscomosstioseletrnicos Nmeromdiodeconcorrentes participandodocertame

Percentual maiormelhor Nmero absoluto menormelhor maiormelhor maiormelhor

NmeromdiodeconcorrentesqueapresentarampropostasNmero emcadaprocessodelicitao absoluto

Percentualdeprocessosdelicitao Percentualdeprocessosdelicitaodeclaradosnulosantes Percentual menormelhor cancelados daassinaturadocontrato Tempomdiodoprocessolicitatrio Mdiadostemposdecorridosentreaaberturadoeditalea dias adjudicaodocontrato menormelhor

readeGesto deSuporte: Comprase Divulgaodaspropostase Contratos publicaodasoutorgas

PercentualdepropostasparaosquaisoeditaleosresultadosPercentual maiormelhor deoutorgaforamdivulgadospublicamente dias menormelhor

Tempodepreparaodaspropostas Nmerosdediasentreoeditaleaaberturadaspropostas

Tempoparaavaliaodaspropostas Nmerodediasentreaaberturadaspropostasea publicaodaoutorga

dias

menormelhor

104


Subdimenso Indicador ndicedeprotestosapropostas apresentadas Frmula Proporoentreonmerodeprotestoseonmerode propostasapresentadas

Interpretao/ Unid. Percentual menormelhor

Fonte/ Periodicidade Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Sistemas de gestoAnual de Compras e Contratos Pesquisa Anual

Tempomdiodociclodecomprasou Mdiadostemposdecorridosentreaassinaturadocontrato dias decontratao eaatuaodoprocessodecontratao Tempomdiopararespostasaos protestos Graudecartelizaodomercado Nmerodediasentreasubmissoearespostafinaldos protestos Avaliaodeempresascommesmoendereo,scioscom sobrenomesiguais,entreoutros dias

menormelhor

menormelhor

menormelhor

Graudeadequaodoplanejamento quantidadedeitensplanejadoecomprados/totaldeitens Percentual maiormelhor decompras comprados Graudeadequaoaomarcolegale Avaliaodoatendimentoaospadresacordadosecumpre regulatriodecompraspblicas comasobrigaesaplicveis.Quantidadedeconformidades detectadas Percentualdecontratoscomacordos NdeANSpactuadassobretotaldecontrataes denveldeservioassinados(ANS) GraudeadequaodosANSas requisitoscontratuais readeGesto deSuporte: ndicedeconscinciaestratgica Estratgia Quantitativodecargosefetivospor carreirasnaorganizao readeGesto ndicedeevoluodoscargos deSuporte: comissionados Estrutura Organizacional Custodoscargoscomissionadose funesgratificadas AvaliaodeconformidadeentreoeditaleoANS maiormelhor

Percentual maiormelhor maiormelhor maiormelhor

Sistemas de gestoAnual deContratos Sistemas de gestoAnual deContratos Pesquisa Anual

Avaliaaporcentagemdeservidorescapazesdeidentificaras prioridadesestratgicasdaunidade,programaou organizao Nmeros,porexemplo,analistasdeplanejamentoe oramento,engenheiros,tcnicosemplanejamentoetc. Cargoscomissionadosdoperodoatual/Cargos comissionadosdoperodoanterior Nmero absoluto Nmero absoluto

Sistema Informaes Organizacionais Sistema Informaes Organizacionais Sistema Informaes Organizacionais

deTrimestral

deTrimestral

Custoanualdecargoscomissionadosefunesgratificadas/ Nmero Custototaldedespesaexecutadacompessoal absoluto

deTrimestral

105


Subdimenso Indicador ndicedecargoscomissionados

Interpretao/ Frmula Unid. Quantidadedecargoscomissionadosefunesgratificadas/ Percentual menormelhor TotaldefuncionriosdaOrganizao Nmerosdecargosporvnculo,porexemplo,ativo Nmero permanente,cedido,celetista,contratotemporrio,locao absoluto provisria,requisiodeoutrosrgos,requisitadoetc.

Fonte/ Sistema Informaes Organizacionais Sistema Informaes Organizacionais

Periodicidade deSemestral

Quantidadecargos/empregospor tipodevnculo

deTrimestral

106

Anexo 3. Modelos de planilhas para a modelagem de indicadores

1.CadeiadeValor Insumos

Processos

Produtos

Impactos

107

 2.Estabelecimentodeindicadores
Nvel Dimenso Objetodemensurao Subdimenso No

Indicador

E1Efetividade

1.1.ImpactoFinal 1.2.ImpactoIntermedirio 2.1Quantidade/Volume 2.2Qualidadedoproduto/ servio 2.3Acessibilidadee Equidade 2.4Cobertura 2.5Risco 3.1Custoefetividade 3.2Produtividade 3.3Tempo 3.4Custounitrio 3.5Custobenefcio 4.1Execuofsica 4.2Execuofinanceira 5.1Conformidadeem relaoapadresde excelnciagerencial(IAGP) 5.2Conformidade 5.3Riscos 5.4Causalidade 5.5Comunicao 6.1Quantidadederecursos 6.2Qualidadedosrecursos 6.3Acessibilidade 6.4Cobertura 6.5Risco

E2Eficcia

E3Eficincia

E4Execuo

E5Excelncia

E6Economicidade

108

 3.Construodefrmula,metaseescalasdenotas
No Indicador Frmula Un Interpretao/sentido/ periodicidade Fonte/ Responsvel Srie histrica t3 t2 t1 Vo

Benchmark t1

Metas t2 t3 10

Taxade alcance/nota 9 8 7 6

109

 4.MatrizdeAvaliaoQuantitativadeIndicadores
Dimenso E1Efetividade E2Eficcia E3Eficincia E4Execuo E5Excelncia
1 2 3 4 5 6 7 8 9 10 11 12 13

CritriosePonderaes

Indicador

1 Peso 2 Peso 3 Peso 4 Peso 5 Peso 6 Peso 7 Peso 8 Peso 9 Peso 10 Peso 11 Peso 12 Peso 13

Peso

E6Economicidade

4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 Critrios Representatividade(proximidadecomoobjetivodaunidadedeanlise) Atendimentosnecessidadesdeinformaodaspartesinteressadas Confiabilidademetodolgica Confiabilidadedafonte Simplicidade Objetividade,ClarezaeComunicabilidade Exequibilidadedemensurao Economicidadedeobteno Estabilidadeaolongodotempo Investigativos(rastreabilidadeaolongodotempo) Tempestividade Comparabilidade Sensibilidade

5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5

5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5

4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4

5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5

5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

Peso ponderado total 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0

110

 5.Ponderaeserelaesdecausalidade
Dimenso Pesoda Dimenso E1Efetividade E2Eficcia E3Eficincia E4Execuo E5Excelncia Indicador Frmula

Indicadores Peso Indicadores Unid. Interpretao/sentido Fonte/Responsvel Periodicidade pelosquais ponderadodo queinfluencia influenciado Indicador

111

 6.ConsolidaodosIndicadoreseaplicaodenotas
Dimensodo Desempenho Pesoda Dimenso Indicador(segundoSubdimenso) Pesodo indicador Notado indicador

Nota ponderada 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Notada Dimenso

Nota ponderada daDimenso

E1Efetividade

E2Eficcia

E3Eficincia

E4Execuo

E5Excelncia

E6 Economicidade

NotadeDesempenhoAgregado

112