BTCU Indicadores de Desempenho

Braslia, 11 de janeiro de 2011 - Ano XLIV - N 3
TCNICA DE INDICADORES DE DESEMPENHO PARA AUDITORIAS

PORTARIA-SEGECEX N 33, DE 23 DE DEZEMBRO DE 2010
SECRETARIA-GERAL DE ADMINISTRAO
\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)
TRIBUNAL DE CONTAS DA UNIO Boletim do Tribunal de Contas da Unio http://www.tcu.gov.br BTCU@tcu.gov.br
SAFS Lote 1 Anexo I sala 422 - CEP:70042-900 - Braslia - DF Fones: 3316-7650/3316-7079/3316-7870/3316-7869 Presidente BENJAMIN ZYMLER Vice-Presidente JOO AUGUSTO RIBEIRO NARDES
Ministros ANTONIO VALMIR CAMPELO BEZERRA WALTON ALENCAR RODRIGUES UBIRATAN DINIZ DE AGUIAR AROLDO CEDRAZ DE OLIVEIRA RAIMUNDO CARREIRO SILVA JOS JORGE DE VASCONCELOS LIMA JOS MCIO MONTEIRO FILHO Auditores AUGUSTO SHERMAN CAVALCANTI MARCOS BEMQUERER COSTA ANDR LUS DE CARVALHO WEDER DE OLIVEIRA Ministrio Pblico junto ao TCU Procurador-Geral LUCAS ROCHA FURTADO Subprocuradores-Gerais PAULO SOARES BUGARIN CRISTINA MACHADO DA COSTA E SILVA Procuradores MARINUS EDUARDO DE VRIES MARSICO JLIO MARCELO DE OLIVEIRA SERGIO RICARDO COSTA CARIB SECRETARIA-GERAL DE ADMINISTRAO Secretrio-Geral Fernando Luiz Souza da Eira segedam@tcu.gov.br Boletim do Tribunal de Contas da Unio Especial v. 1, n. 1 (1982) . Braslia : TCU, 1982- . v. Irregular. A numerao recomea a cada ano. Continuao de: Boletim do Tribunal de Contas da Unio. Contedo: Tcnica de Indicadores de Desempenho para Auditorias Ato administrativo peridico Brasil. I. Brasil. Tribunal de Contas da Unio (TCU).
TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao
BTCU ESPECIAL
3 Braslia Ano xliv n. 3 11/ jan 2011
TRIBUNAL DE CONTAS DA UNIO SECRETARIA-GERAL DE CONTROLE EXTERNO

SECRETARIA DE FISCALIZAO E AVALIAO DE PROGRAMAS DE GOVERNO
TCNICA DE INDICADORES DE DESEMPENHO PARA AUDITORIAS
SEGECEX / SEPROG JANEIRO/2011
BTCU ESPECIAL
Tribunal de Contas da Unio
Internet: http://www.tcu.gov.br SAFS Quadra 4 Lt. 01 CEP: 70042-900 Braslia-DF
Secretrio-Geral de Controle Externo Paulo Roberto Wiechers Martins Secretrio Adjunto de Planejamento e Procedimentos Marcelo Luiz Souza da Eira Secretrio de Fiscalizao e Avaliao de Programas de Governo Carlos Alberto Sampaio de Freitas Superviso Glria Maria Merola da Costa Bastos Gerente da 1 Diviso Tcnica da Seprog Equipe Tcnica Dagomar Henriques Lima Reviso Carmen Pereira Rego Meireles Fbio Mafra Leonard Renne Guimares Lapa Maria Lucia De Oliveira F. de Lima Brasil. Tribunal de Contas da Unio. Tcnica de indicadores de desempenho para auditorias / Tribunal de Contas da Unio. Braslia : TCU, Secretaria de Fiscalizao e Avaliao de Programas de Governo (Seprog), 2011. 37 p.
1. Auditoria operacional, indicadores de desempenho. I. Ttulo

Ficha catalogrfica elaborada pela Biblioteca Ministro Ruben Rosa
BTCU ESPECIAL
PORTARIA-SEGECEX N 33, DE 23 DE DEZEMBRO DE 2010
Aprova o documento Tcnica de Indicadores de Desempenho para Auditorias.
O Secretrio-Geral de Controle Externo, no uso de suas atribuies e considerando o disposto no art. 32, inciso III, da Resoluo-TCU n 214, de 20 de agosto de 2008: Considerando que o Plano Estratgico do Tribunal definiu como objetivos estratgicos Aperfeioar a estrutura legal e normativa de suporte ao controle externo e Aperfeioar instrumentos de controle e processos de trabalho, resolve: Art. 1 Fica aprovado o documento Tcnica de Indicadores de Desempenho para Auditorias. Art. 2 A Segecex manter atualizado o documento de que trata o artigo anterior, cabendolhe, ainda, o esclarecimento de dvidas e o recebimento de sugestes para o seu aperfeioamento, bem como o acompanhamento de sua implementao. Art. 4 Esta Portaria entra em vigor na data de sua publicao.
MARCELO LUIZ SOUZA DA EIRA Secretrio-Geral de Controle Externo, em Substituio
BTCU ESPECIAL
SUMRIO INTRODUO.................................................................................................................................. 8 OBJETIVO......................................................................................................................................... 8 O QUE SO INDICADORES DE DESEMPENHO ...................................................................... 8 APLICAO EM AUDITORIA ..................................................................................................... 8 POTENCIALIDADES E LIMITAES DOS INDICADORES DE DESEMPENHO ........... 10 TIPOS DE INDICADORES DE DESEMPENHO ....................................................................... 11 CESTA DE INDICADORES DE DESEMPENHO ...................................................................... 13 COMO CONSTRUIR E ANALISAR INDICADORES DE DESEMPENHO .......................... 15
PASSO 1 - ANLISE DOS OBJETIVOS E DAS AES....................................................................................................... 15 PASSO 2 - MAPEAMENTO DE PRODUTOS ..................................................................................................................... 16 PASSO 3 - FORMULAO DE PERGUNTAS SOBRE DESEMPENHO ................................................................................. 17 PASSO 4 - VERIFICAO DOS REQUISITOS DE QUALIDADE ......................................................................................... 19 PASSO 5 - SELEO DOS INDICADORES ....................................................................................................................... 21
FIXAO DE METAS PARA OS INDICADORES SELECIONADOS .................................. 22 CONCLUSO .................................................................................................................................. 22 APNDICE A MATRIZES DE INDICADORES DE DESEMPENHO ................................. 24 APNDICE B MAPA DE PRODUTOS ..................................................................................... 26 APNDICE C INDICADORES DE DESEMPENHO EM UMA PGINA ........................... 28 REFERNCIAS ............................................................................................................................... 29
BTCU ESPECIAL
Lista de Figuras
FIGURA 1 - DIAGRAMA DE INSUMO-PRODUTO E AS PRINCIPAIS DIMENSES DE DESEMPENHO ....................................................... 12 FIGURA 3 PERSPECTIVAS DO BALANCED SCORECARD PARA O SETOR PBLICO ............................................................................. 14 FIGURA 5 PROCESSO DE CONSTRUO DE INDICADORES DE DESEMPENHO................................................................................. 15 FIGURA 4 MAPA DE PRODUTOS DO PROGRAMA DE HABITAO POPULAR MORAR MELHOR ....................................................... 26
Lista de Quadros
QUADRO 1 - EXEMPLO DE AUDITORIA NA QUAL UM DE SEUS OBJETIVOS ERA AVALIAR INDICADORES DE DESEMPENHO ................. 9 QUADRO 2 - EXEMPLO DE AUDITORIA QUE USOU INDICADORES DE DESEMPENHO PARA SELECIONAR LOCAIS DE REALIZAO DE ESTUDOS DE CASO.................................................................................................................................................................. 9 QUADRO 3 EXEMPLOS DE PRODUTOS, QUESTES SOBRE DESEMPENHO E INDICADORES DO PROGRAMA MORAR MELHOR ........ 18 QUADRO 4 EXEMPLO DE INDICADOR DE DESEMPENHO QUE NO APRESENTA REQUISITOS DE QUALIDADE IMPORTANTES .......... 20 QUADRO 5 EXEMPLO DE PROCEDIMENTO DE SELEO DE INDICADORES DE DESEMPENHO ........................................................ 21
BTCU ESPECIAL
INTRODUO Na auditoria operacional, os indicadores de desempenho (ID) so usados para medir economicidade, eficcia, eficincia e efetividade. Para isso, usam-se indicadores j existentes ou ento construdos e calculados pela prpria equipe de auditoria. A equipe pode tambm recomendar a adoo de indicadores como medida que visa contribuir para aperfeioar os sistemas de monitoramento e avaliao. Este documento reflete a experincia do Tribunal de Contas da Unio (TCU) na anlise e construo de ID no exerccio da fiscalizao da gesto pblica. Alm disso, atualiza o documento anterior sobre o mesmo tema (BRASIL, 2000a) e complementa informaes do Manual de Auditoria Operacional (BRASIL, 2010b). O documento est organizado por temas, que visam destacar as oportunidades de uso de ID em auditorias, como analis-los e contru-los. Espera-se que a disseminao dessas orientaes contribua para que as evidncias obtidas da anlise desses indicadores tenham maior validade e confiabilidade. Com o objetivo de manter os documentos tcnicos do TCU atualizados e compatveis com as melhores prticas, importante que os usurios do documento apresentem sugestes com base em suas experincias. OBJETIVO 1. O objetivo deste documento orientar as equipes de auditoria a analisar e, se necessrio, construir indicadores de desempenho.
O QUE SO INDICADORES DE DESEMPENHO 2. 3. Um indicador de desempenho um nmero, percentagem ou razo que mede um aspecto do desempenho, com o objetivo de comparar esta medida com metas preestabelecidas1. Deve-se ressaltar que os indicadores de desempenho podem fornecer uma boa viso acerca do desempenho que se deseja medir, mas so aproximaes do que realmente est ocorrendo, necessitando, sempre, de interpretao no contexto em que esto inseridos. Informaes sobre desempenho so essencialmente comparativas2. Um conjunto de dados isolado mostrando os resultados alcanados por uma instituio no diz nada a respeito de seu desempenho, a menos que seja confrontado com metas ou padres preestabelecidos, outras organizaes do mesmo ramo de atividade, ou realizada uma comparao com os resultados alcanados em perodos anteriores, obtendo-se assim uma srie histrica para anlise.
4.
APLICAO EM AUDITORIA 5. Em razo dos objetivos de se usar indicadores de desempenho em auditoria, sua construo e anlise se iniciam na fase de planejamento da auditoria. nessa fase que so analisados dados preliminares sobre desempenho e a qualidade dos indicadores, bem como so definidos o escopo e o objetivo da auditoria e os locais de realizao de estudos de caso. A anlise das informaes resultantes da apurao dos indicadores construdos pela equipe em geral realizada na fase de execuo, mas isso tambm pode ocorrer quando da anlise de dados preliminares de desempenho, na fase de planejamento. Este documento no trata da anlise das informaes produzidas pelos ID.
6.
BTCU ESPECIAL
7.
A equipe de auditoria aplica conhecimentos sobre indicadores de desempenho (ID) com trs objetivos principais: 7.1 7.2 7.3 analisar a qualidade dos indicadores existentes; medir aspectos do desempenho que subsidiaro a avaliao do objeto de auditoria; recomendar a utilizao de indicadores de desempenho necessrios ao bom gerenciamento das aes, quando insuficientes ou inexistentes.
8.
Quando o auditado j possui ID, necessrio analis-los para verificar se eles apresentam as caractersticas desejveis de qualidade. Essa anlise preliminar antecede o uso efetivo dos indicadores para realizar anlises que ajudem a equipe a formar opinio sobre o desempenho do objeto de auditoria. Os ID adquirem maior importncia para a auditoria quando um dos objetivos da fiscalizao examinar os sistemas de monitoramento e avaliao ou mesmo examinar a qualidade dos indicadores como parte do sistema de planejamento3 (ISSAI 3000/1.7, 2004; Quadro 1).
Quadro 1 - Exemplo de auditoria na qual um de seus objetivos era avaliar indicadores de desempenho
Exemplo 1 - Em 2008, o Tribunal de Contas da Unio (TCU) realizou Acompanhamento de Conformidade no Plano Plurianual 2008/2011, com o objetivo de analisar o processo de elaborao e os atributos dos 214 programas finalsticos de governo, com nfase nos indicadores de desempenho, tendo por critrio as disposies do Manual de Elaborao de Programas do PPA 2008/2011 (TC 029.094/2008-0). Entre outros pontos, a fiscalizao concluiu que 24% dos indicadores no apresentaram metas definidas e que, em entrevistas realizadas com seis rgos setoriais de planejamento, ficou evidente a dificuldade deles em elaborar indicadores e us-los como fonte de dados para tomada de decises. Por fim, concluiu que havia problemas de preenchimento dos atributos em 19,2% dos programas, o que representava melhoria com relao aos 55% de programas com falhas nos atributos no PPA 2004/2007 (TC 015.271/2003-4).
9.
Quando inexistem ID adequados s necessidades da auditoria, a construo de indicadores pela equipe pode ter por finalidade a formao de opinio sobre o desempenho do objeto de auditoria ou contribuir para aperfeioar os sistemas de monitoramento e avaliao existentes. No primeiro caso, a construo de indicadores uma etapa da coleta e anlise de dados preliminares. Na fase de planejamento da auditoria, necessrio obter dados preliminares sobre desempenho e analis-los visando reunir informaes que permitam definir qual ser o foco da auditoria (BRASIL, 2010b). Esses dados podem servir para apurar ID que orientaro a deciso sobre quais dimenses de desempenho sero examinadas, quais reas das atividades do objeto de auditoria sero investigadas ou quais unidades de anlise sero selecionadas para exames mais detalhados. Ainda na fase de planejamento, quando no h critrios de desempenho claramente definidos nas normas aplicveis, a construo de indicadores tambm pode auxiliar a definir os critrios de auditoria com base em dados realistas.
Quadro 2 - Exemplo de auditoria que usou indicadores de desempenho para selecionar locais de realizao de estudos de caso
Exemplo 1 - Em 2008, o Tribunal de Contas da Unio (TCU) avaliou as estruturas e aes voltadas para o planejamento do sistema de transporte areo. Na ocasio, foram visitados seis aeroportos com o objetivo, entre outros, de analisar suas prticas de planejamento para garantir a qualidade do servio e identificar as principais limitaes para a eficcia de suas atividades (TC n 014.799/2007-0). Os aeroportos foram selecionados levando-se em considerao sua participao no nmero total de movimentos de aeronaves nos aeroportos administrados pela Infraero (percentual de participao no total de movimentos de aeronaves). Os quatro aeroportos com maior movimento eram, na ordem, Congonhas (10%), Guarulhos (9%), Braslia (6%) e Galeo (6%), perfazendo 31% do movimento total (grfico). Como a visita de estudo incluiria o Rio de Janeiro, onde se localiza o Galeo, selecionou-se tambm o aeroporto Santos Dumont, localizado naquela cidade, e o oitavo aeroporto mais movimentado (3%) do pas.
BTCU ESPECIAL
POTENCIALIDADES E LIMITAES DOS INDICADORES DE DESEMPENHO 10. Na administrao pblica, a utilizao de indicadores de desempenho (ID) para aferir os resultados alcanados pelos administradores uma tcnica relacionada com o conceito de accountability (responsabilizao) de desempenho. O Ministrio do Planejamento estabelece que para cada programa finalstico obrigatrio haver ao menos um indicador. Para os programas de apoio s polticas pblicas e reas especiais4, a definio de indicadores facultativa (BRASIL, 2008). Os indicadores contribuem para a maior clareza sobre o que se deseja alcanar com certo programa de governo e sobre o que as organizaes pblicas e os programas devem entregar ou produzir. Tanto no modelo contratual quanto no modelo administrativo de responsabilizao, que coexistem na administrao, os ID so usados para fins de monitoramento e avaliao, embora com graus de importncia diferentes. 11. No modelo contratual, procura-se a responsabilizao dos agentes pblicos mediante contratos de desempenho ou de gesto. Os incentivos para o bom desempenho identificam-se com sanes e recompensas como promoo na carreira, gratificaes variveis segundo o desempenho, repasse de ganhos de eficincia para organizaes e funcionrios (MELO, 1996). Nesse modelo, os sistemas de mensurao do desempenho devem ser consistentes para permitir a responsabilizao dos agentes nos termos do contrato e os ID assumem maior importncia. 12. No modelo administrativo, os indicadores integram os planos governamentais, desdobrados por organizao e programa, que contm compromissos pblicos com metas de desempenho. Como os incentivos ao bom desempenho no so pecunirios neste modelo, os sistemas de mensurao tendem a ser menos rgidos e as informaes dessa natureza usadas principalmente para apoiar o processo decisrio (GOMES, 2002). 13. Sendo assim, do ponto de vista da sociedade, os ID contribuem para a transparncia sobre como esto sendo usados os recursos pblicos e sobre quais resultados esto sendo alcanados. Do ponto de vista da organizao pblica, os indicadores fazem parte do sistema de feedback sobre desempenho e alimentam o processo de aprendizagem organizacional. Para os rgos de controle, a existncia de bons sistemas de monitoramento e avaliao, dos quais os indicadores fazem parte, tornam o ambiente mais auditvel. Trata-se, portanto, de ferramenta tanto de planejamento quanto de controle. 14. A principal limitao construo e uso de ID a natureza da atividade cujo desempenho se deseja medir. O setor pblico abrange amplo espectro de atividades e no possvel aplicar um mesmo modelo de monitoramento e avaliao indistintamente. 15. As organizaes variam em funo de sua atividade (agncias de produo, de suporte, profissional e procedimental, na concepo de WILSON, 1989)5 e cultura (hierarquista, fatalista, igualitarista e individualista, na concepo de HOOD, 1998)6. Essa variabilidade e a natureza da atividade pblica (gerao de valor pblico, ao invs da gerao de lucro na rea privada) impem limitaes aplicao de modelos nicos, que abranjam tipos padronizados de ID. So exemplos de limitaes construo e uso de indicadores na administrao pblica: 15.1 15.2 15.3 15.4 15.5 carncia de conhecimento acumulado e disseminado sobre aferio de desempenho na administrao pblica; impreciso ou ausncia de misso e objetivos declarados, especialmente no modelo administrativo de responsabilizao; ineficcia dos incentivos ao bom desempenho com base no ethos do interesse pblico em organizaes com cultura individualista ou fatalista (HOOD, 1998); dificuldade de observao e mensurao de produtos e resultados, simultaneamente observveis apenas em agncias de produo (WILSON, 1989); inadequao ou baixa confiabilidade dos sistemas de informao;
BTCU ESPECIAL
15.6 15.7 15.8
pouco uso de informaes de monitoramento e avaliao do desempenho para retroalimentar o processo decisrio dos programas, o que diminui a relevncia do uso de ID; dificuldade de incorporar a dimenso qualitativa nos ID; custo da apurao de mltiplos indicadores para se obter um quadro da eficincia e da efetividade de um programa.
16. Visando minimizar essas limitaes, os diferentes mecanismos de responsabilizao por desempenho, de organizaes e de culturas organizacionais devem subsidiar a formatao do projeto de auditoria, caso a caso, de modo a torn-la mais eficaz. As limitaes referentes a no observao de produtos e resultados em certas atividades de governo sero mais bem compreendidas adiante quando for detalhado o mtodo de construo de indicadores com base em mapa de produtos e impactos. 17. Como o nome revela, os ID podem apenas indicar como se encontra o desempenho do objeto de auditoria, isto porque o desempenho apresenta diferentes aspectos, desde os conhecidos 4 es 7 at derivaes como participao social, transparncia, equidade. Um ID incapaz de medir todas as dimenses adequadamente, sendo necessrio usar um conjunto deles. A definio desse conjunto de ID depende dos critrios adotados para sua seleo, o que est sujeito aos objetivos da auditoria. 18. Adicionalmente, nem sempre os ID representam medio direta do desempenho, mesmo que de um nico de seus aspectos. Um exemplo de medio direta de eficcia do ensino fundamental seria nmero de alunos matriculados no ensino fundamental. No entanto, tambm se usam ID para se concluir sobre aspectos mais amplos do desempenho, como a efetividade, quando a mtrica no faz a medio direta. Por exemplo, usa-se o ndice de repetncia como um dos fatores a serem considerados na formao de opinio sobre a efetividade do ensino fundamental, que o que se desejaria medir diretamente. No caso de medio indireta, necessrio que fiquem claros os pressupostos em que se baseia o uso do indicador. O nexo entre o indicador e o fenmeno que se deseja medir deve estar fundamentado em conhecimento tcnico-cientfico aceito. 19. Para usar ID visando formar opinio sobre o desempenho do objeto de auditoria no suficiente analisar sua qualidade. Alm disso, preciso que a equipe avalie a qualidade dos sistemas de coleta de dados. Pode ser necessrio incluir a anlise da qualidade dos dados no relatrio de auditoria, o que pode revelar um achado de auditoria, no caso em que a m qualidade prejudique o gerenciamento do desempenho. No entanto, a equipe deve considerar a possibilidade de usar dados que no sejam ideais, com as devidas ressalvas ou ajustes, quando a informao do ID for complementar na construo do argumento ou quando a opo for no usar dado algum. 20. Em funo das dificuldades apontadas, ao examinar informaes sobre desempenho, a equipe deve considerar, entre outras questes, se: 20.1 20.2 20.3 os ID so vlidos e justificveis luz da relao custo-benefcio; os procedimentos de coleta produzem dados sobre desempenho precisos, completos e representativos; os ID so parte integrante do processo de tomada de decises.
TIPOS DE INDICADORES DE DESEMPENHO 21. Existem diversas tipologias de indicadores de desempenho. Para os objetivos da auditoria operacional, adota-se uma classificao baseada nas dimenses de desempenho. Como ressaltado pelo Manual de Auditoria Operacional do TCU (BRASIL, 2010b), as principais dimenses de
BTCU ESPECIAL
desempenho so economicidade, eficcia, eficincia e efetividade. No entanto, possvel identificar aspectos mais especficos do desempenho que podem ser medidos por ID, como, por exemplo, a equidade. A Figura 1 sintetiza os aspectos do desempenho medidos pelos ID.
Figura 1 - Diagrama de insumo-produto e as principais dimenses de desempenho

Fonte: BRASIL, 2010b.
22. A classificao dos ID realizada com base na dimenso de desempenho a qual ele mais se relaciona. Como as prprias dimenses de desempenho no so completamente estanques 8, a classificao do ID no caso concreto sujeita argumentao. 23. Definies de ID como medidores de efeitos ou benefcios ao pblico (BRASIL, 2010a) referem-se aos indicadores de efetividade. Como a auditoria de desempenho tambm trata de outras dimenses, a classificao adotada neste documento abrange, alm dos indicadores de efetividade, os indicadores de eficincia, eficcia e economicidade (BRASIL, 2010b): 23.1 23.2 23.3 23.4 indicador de economicidade mede o custo dos insumos e os recursos alocados para a atividade; indicador de eficcia mede quantidade de produto, alcance metas de entrega de bens e servios; indicador de eficincia mede relaes entre quantidade de produto e custo dos insumos ou caractersticas do processo, como o tempo de produo; indicador de efetividade mede o alcance dos objetivos finalsticos, traduzidos em soluo ou reduo de problemas na sociedade.
24. Na prtica empresarial atual, os indicadores de desempenho esto relacionados diretamente com o Balanced Scorecard (BSC). O BSC (KAPLAN; NORTON, 2004) um instrumento de comunicao e alinhamento da estratgia da organizao, que abrange um sistema de medio do desempenho. Abrange tambm um conjunto de hipteses sobre relaes de causa e efeito entre os objetivos organizacionais e as aes necessrias para alcan-los. Os ID medem a execuo dessas medidas e o alcance dos objetivos. A classificao dos indicadores com base no BSC ajuda a compreender os diferentes focos adotados ao se examinar objetivos, processos e produtos: 24.1 Indicadores de tendncia (leading indicators) medem aspectos que indicam se a organizao est no caminho certo para alcanar seus objetivos. Por conseguinte, esses indicadores por si indicam a estratgia adotada para alcanar os objetivos estratgicos. Indicadores de resultado ou de ocorrncia (lagging indicators) medem o desempenho final de certo processo.
24.2
BTCU ESPECIAL
25. Como existe uma cadeia de causa e efeito pressuposta na estratgia, existe tambm uma cadeia de indicadores de tendncia e de resultado. Por exemplo, um indicador de erro na linha de produo um indicador de tendncia da satisfao do consumidor. Por sua vez, a satisfao do consumidor um indicador de tendncia de vendas (resultado). Essa cadeia de causa e efeito indica a estratgia usada para aumentar as vendas. Assim, a classificao dos ID s faz sentido se estiver associada ao objetivo estratgico. Um indicador de resultado de um objetivo pode ser um indicador de tendncia de outro objetivo. 26. Existem diversos artigos cientficos que tratam da aplicao do BSC no setor pblico. Na prtica, as organizaes governamentais vm adotando o planejamento estratgico e o BSC como ferramentas de gesto, inclusive o TCU. Do ponto de vista terico, no h consenso sobre como adaptar o BSC ao setor pblico, mesmo porque as solues podem variar segundo o tipo de organizao. Dessa forma, o modelo apresentado neste documento pode sofrer adaptaes ou reinterpretaes conforme o contexto. CESTA DE INDICADORES DE DESEMPENHO 27. O conjunto de ID usados para gerenciar o objeto de auditoria deve cumprir os requisitos de qualidade j mencionados. Para verificar principalmente os requisitos de seletividade e completude, os ID devem ser classificados segundo as principais dimenses de desempenho representadas pelos 4 es (BRASIL, 2010b). 28. Essas dimenses, combinadas aos aspectos de custo, tempo, quantidade e qualidade, definem uma matriz de indicadores de desempenho (Apndice A). Alternativamente, os 4 es podem ser combinados com as perspectivas do BSC (KAPLAN; NORTON, 2004), adaptadas para o setor pblico, o que define uma segunda matriz de ID (Apndice A). Essas matrizes devem ser usadas para balancear os indicadores propostos pela auditoria ou como quadro analtico dos indicadores existentes. 29. No primeiro modelo de matriz de ID, custo o que foi despendido para a aquisio ou produo de insumos ou produtos. Refere-se, por exemplo, a indicadores de custo mdio unitrio de aquisio de insumos ou a custo mdio unitrio de produo de bens ou prestao de servios. Tempo a durao da execuo de certa atividade ou da produo. Quantidade a medida do nmero de unidades produzidas ou da demanda atendida. Qualidade refere-se aferio da satisfao do cliente ou ao cumprimento de padres de qualidade. 30. Considerando-se a proposta do BSC, a perspectiva de resultado refere-se ao cumprimento da misso da organizao, ao alcance de sua viso de futuro, ou do objetivo do programa e est no topo das prioridades. Refere-se ao resultado de longo prazo ou impacto e relaciona-se com a dimenso da efetividade. Os indicadores para a interseo do resultado com a efetividade podem referir-se a objetivos mais gerais de poltica pblica (reduo da pobreza, reduo do analfabetismo), para os quais contribuem os resultados de programas especficos (transferncia de renda, distribuio de livros didticos). 31. A perspectiva da criao de valor corresponde aos objetivos imediatos da organizao, programa ou poltica de governo. Refere-se ao benefcio direto para a populao em decorrncia dos bens e servios produzidos, ou seja, efetividade do objeto de auditoria. 32. A perspectiva do custo corresponde capacidade de organizao dos meios da melhor forma possvel para produzir bens e servios com nus mnimo para os contribuintes. Abrange indicadores
BTCU ESPECIAL
de arrecadao e de nus impostos a outras organizaes. Refere-se eficincia operacional e relaciona-se com as dimenses de eficincia e de economicidade. Indicadores na interseo do custo com a eficincia mediro custo mdio de produo de uma unidade de bem ou servio. Na interseo do custo com a economicidade estaro indicadores que medem custo mdio dos insumos. 33. A perspectiva da legitimidade corresponde capacidade da organizao obter apoio que sustente suas atividades poltica e financeiramente. Refere-se ao apoio dos cidados, de organizaes da sociedade civil, do Poder Legislativo. 34. A perspectiva dos processos internos corresponde aos processos chave da organizao que resultam em bens e servios finais. Dessa forma, refere-se principalmente eficincia, quando examina a produtividade, a qualidade e o tempo de atendimento ou produo, e eficcia, quando mede alcance de metas de produo. Abrange, tambm, indicadores relacionados com atividades meio como pesquisas sobre o pblico-alvo, gerenciamento de estoques, gesto ambiental (quando no faz parte da misso), segurana no trabalho. 35. A perspectiva da aprendizagem e do crescimento contempla as pessoas que trabalham na organizao (desenvolvimento de competncias e clima organizacional), as prticas gerenciais, a cultura organizacional e os procedimentos de gesto da informao. Refere-se ao desenvolvimento de condies favorveis mudana organizacional, inovao e ao crescimento da organizao por meio do investimento no capital humano. 36. A busca da efetividade, representada pelo cumprimento da misso, alcance da viso (Figura 2) ou pelo alcance dos objetivos finais do programa, materializados nos resultados aferidos, deve guiar todas as aes da organizao. As demais dimenses do BSC devem sustentar o alcance dos objetivos. Na proposta de Kaplan e Norton (2000, p. 148), as dimenses de criao de valor, custo e legitimidade esto no mesmo nvel, seguidas da perspectiva dos processos internos e da aprendizagem e crescimento. Esta ltima est na base do diagrama, que representa a relao de causa e efeito entre elas, e abrange indicadores de desempenho antecedentes do desempenho nas demais perspectivas.
Figura 2 Perspectivas do balanced scorecard para o setor pblico

Fonte: adaptado de Kaplan e Norton (2000, p. 148)
BTCU ESPECIAL
37. Com base nesse quadro referencial que abrange as dimenses de desempenho usadas em auditoria operacional e as perspectivas do BSC, possvel estabelecer um procedimento de construo de indicadores que recorre tambm noo de mapa de produto. 38. O mapeamento de produtos uma tcnica usada para explicitar os insumos, produtos intemedirios, produtos finais e resultados esperados em um programa ou ao. O mapa resultante um diagrama que servir de base para a construo de ID. O Apndice B apresenta os principais conceitos relacionados com essa tcnica, bem como um exemplo de mapa. COMO CONSTRUIR E ANALISAR INDICADORES DE DESEMPENHO 39. Antes de comear o processo de construo de indicadores, a equipe deve pesquisar a existncia de indicadores aceitos entre profissionais e especialistas. Deve tambm pesquisar os indicadores possveis de serem calculados mediante consulta a sistemas de informao em operao nas organizaes auditadas ou em institutos de pesquisa, como o IBGE. 40. Provavelmente esses indicadores j aceitos ou acompanhados mediro aspectos relacionados aos resultados esperados. No entanto, os gestores e os auditores podem precisar de indicadores antecedentes referentes a processos de apoio ou que meam o processo produtivo ou de prestao de servios com maior detalhe, de forma a identificar problemas de desempenho. Da a necessidade de as equipes de auditoria conhecerem um mtodo que abranja todo o ciclo, da aquisio de insumos gerao de resultados (Figura 1). Este documento trata de um mtodo de construo de ID baseado no mapeamento de insumos, produtos e resultados de um processo. 41. Como forma de estruturar um mtodo, a anlise e a construo de indicadores de desempenho podem ser pensadas como um processo de 5 passos. O primeiro a anlise dos objetivos e das aes. Os demais passos, que sero detalhados nas sees seguintes, so: 2 mapeamento de produtos, 3 formulao de perguntas sobre desempenho, 4 verificao dos requisitos de qualidade, 5 seleo dos indicadores.
Figura 3 Processo de construo de indicadores de desempenho Passo 1 - Anlise dos objetivos e das aes 42. Os indicadores de desempenho devem medir o que for relevante para o objeto de auditoria (ISSAI 3000/4, 2004). Assim, a seleo ou a anlise da qualidade dos ID deve comear pelo exame do alinhamento de objetivos e aes da organizao ou do programa. Essa anlise pode ser feita examinando-se o planejamento estratgico da organizao ou o marco lgico (FERREIRA; CASSIOLATO; GONZALEZ, 2007; BRASIL, 2001; PFEIFFER, 2000) do programa auditado.
BTCU ESPECIAL
Esses dois instrumentos de planejamento vm se disseminado na administrao pblica brasileira, mas possvel que o objeto de auditoria tenha usado outros instrumentos. Este documento no tratar das mencionadas ferramentas de planejamento, sobre as quais h literatura especfica. Em todo caso, a equipe deve se preparar para examinar criticamente os planos existentes com relao aos objetivos estabelecidos ou resultados esperados e as aes planejadas para alcan-los. 43. A anlise a ser realizada pela equipe inclui responder a perguntas bsicas de planejamento, correspondentes ferramenta 5W2H9. Mais especificamente, a partir da anlise, a equipe deve responder s seguintes perguntas: os planos apresentam o problema a ser enfrentado ou os objetivos a serem alcanados (caracterizao da condio, inclusive com dados quantitativos), os executores das aes (os responsveis, os executores, quem deve ser consultado antes de certa ao ou quem deve ser informado depois), os resultados esperados (finais e intermedirios), como se pretende alcanar os resultados (as aes e a explicitao do vnculo de causa e efeito entre elas e os resultados pretendidos), delimitao da populao a qual se visa atender (pblico alvo) e da populao a ser alcanada (beneficirios), a regio de abrangncia, quanto custaro as aes e quais as respectivas fontes de recursos. As respostas a essas perguntas so importantes para definir o que medir e com qual periodicidade. 44. Os objetivos devem ser analisados levando em considerao o contexto do objeto de auditoria. Objetivos muito especficos podem desencorajar aes que visem aproveitar oportunidades de melhoria fora da trajetria traada. Alm disso, podem existir objetivos qualitativos, os quais no apresentam todos os elementos esperados, como, por exemplo, quanto vai custar, que estabelecem um caminho novo e por isso devem ser analisados levando em considerao essa circunstncia. 45. A anlise das aes corresponde ao exame das relaes de causa e efeito entre os objetivos e as medidas (aes) para alcan-los. A anlise das aes abrange perguntas do tipo: as aes so suficientes para que o objetivo seja alcanado? A ao contribui para o alcance do objetivo? Se a ao for extinta, far falta? A anlise das aes permite identificar a estratgia seguida e definir o que os indicadores devem medir. Junto com a anlise das hipteses que sustentam as relaes de causa e efeito, dos recursos necessrios e das variveis de contexto (favorveis e desfavorveis), as respostas a essas perguntas so necessrias para definir indicadores de tendncia. 46. Caso os elementos necessrios anlise no estejam explcitos na legislao ou em documentos de planejamento, a equipe dever construir essa informao por meio da leitura de outros documentos produzidos pelo programa ou organizao, bem como por meio de entrevistas com atores chave e especialistas. Passo 2 - Mapeamento de produtos 47. O mapa de produtos deve ser elaborado com a participao da equipe do objeto de auditoria, pois so eles quem melhor conhecem as atividades desempenhadas, os produtos resultantes, os objetivos e a misso da instituio. Essa participao contribui para a elaborao de um mapa de produtos capaz de refletir a realidade e no apenas o que est previsto em normas. 48. Uma forma de obter essa participao por meio da realizao de oficina de trabalho 10, envolvendo o pessoal do objeto de auditoria que, sob a orientao da equipe de auditoria, elabora, passo a passo, o mapa de produtos. Os passos a serem seguidos na oficina so: 1 passo. use uma tcnica de estmulo produo de idias, como o brainstorming, para incentivar os participantes a identificar os elementos do mapa. Comece pelo resultado final esperado. Em seguida, identifique os possveis produtos finais, os intermedirios e os insumos. Os elementos identificados devem ser anotados em etiquetas autocolantes (post-it);
BTCU ESPECIAL
2 passo. cole em uma grande folha em branco (folha de flip-chart) afixada em quadro ou na parede da sala onde se realiza a oficina, em local visvel a todos, nesta ordem, da direita para a esquerda, as etiquetas que descrevem o resultado, o produto final, os intermedirios e os insumos. 3 passo. verifique quais produtos (A, B, C) deveriam ter sido obtidos numa fase imediatamente anterior de obteno do produto final. Colar as etiquetas referentes a esses produtos esquerda daquela que representa o produto final. 4 passo. verifique quais produtos (X, Y, Z) deveriam ter sido obtidos numa fase imediatamente anterior de obteno dos produtos A, B, C, e assim por diante. Cole as novas etiquetas sempre esquerda das anteriores. 5 passo. aperfeioe o mapa, incentivando os participantes da oficina a conferir as relaes entre os elementos do mapa, eliminar repeties, preencher lacunas e selecionar pequeno nmero de produtos que sejam essenciais. A regra prtica usar no mximo dez produtos, embora algumas atividades mais complexas possam exigir nmero maior. No demore demais nesse passo. Posteriormente, a equipe deve refletir melhor sobre a configurao final do mapa e depois valid-la com os gestores; 6 passo. ligue os elementos do mapa por setas, demonstrando de que forma esses produtos se relacionam entre si e com o produto final; 7 passo. desenhe o mapa, utilizando programa eletrnico apropriado, normalmente disponvel em aplicativos para escritrio; 8 passo. valide o mapa com os gestores. Ateno O produto final no deve ser um resultado genrico, mas algo mensurvel. O uso de bloco de notas autocolantes facilita a montagem do mapa, pois permite que se rearranjem os produtos at se obter uma seqncia adequada. A efetiva participao dos gestores essencial. O papel do auditor na oficina de trabalho deve ser o de facilitador, incentivando os prprios participantes a elaborar o mapa de produtos. O tempo deve ser controlado. As discusses acerca de quais produtos devem constar no mapa podem tornar-se acaloradas e prolongar-se demasiadamente.
Passo 3 - Formulao de perguntas sobre desempenho 49. Se o tempo permitir, os ID podem ser construdos na oficina de mapeamento de produtos. Do contrrio, melhor marcar uma segunda oficina do que prolongar demasiadamente a reunio. A equipe, em conjunto com os gestores, deve identificar os produtos chave no mapa. Para isso, preciso rever os produtos, pois para alguns deles no necessrio desenvolver indicadores pelas seguintes razes: 49.1 no so produtos crticos, esto no mapa apenas para facilitar o seu entendimento; 49.2 no so produtos que necessitem de monitoramento regular; 49.3 so produtos cujo acompanhamento deve ser efetuado no nvel operacional e no no nvel gerencial. A no ser que a auditoria tenha o escopo bem estreito na melhoria de processo especfico, improvvel ser necessrio construir ID muito detalhados. 50. A formulao de perguntas sobre desempenho relacionadas com os produtos chave, crucial na elaborao dos ID. Se durante a oficina tais questes no forem formuladas, partindo-se diretamente para a elaborao dos indicadores, podero surgir os seguintes problemas:
BTCU ESPECIAL
50.1 os indicadores sugeridos no fornecero informao sobre os aspectos mais importantes do desempenho a ser mensurados; 50.2 o nmero de indicadores propostos ser excessivo; 50.3 os indicadores propostos tendero a refletir o resultado final (outcome) e produziro pouca informao sobre produtos cuja obteno dependa mais diretamente das aes do objeto de auditoria. ATENO O enfoque da oficina no deve recair sobre os indicadores, mas sobre as perguntas acerca do desempenho que os indicadores devem ajudar a responder.
51. Os participantes da oficina devem ser instrudos para que se coloquem no lugar dos gestores da organizao e do cidado interessado e formulem as perguntas para as quais gostariam de obter respostas. Essas so as questes que realmente interessam a respeito dos produtos. As perguntas devem ser anotadas em lugar visvel a todos. Quadro 3 Exemplos de produtos, questes sobre desempenho e indicadores do Programa Morar Melhor11
PRODUTO PERGUNTA O programa prioriza famlias chefiadas por mulheres? MTRICA DO ID Proporo de famlias beneficiadas chefiadas por mulheres proporo de famlias chefiadas por mulheres no pblico alvo x 100 Nmero de famlias beneficiadas com renda familiar mensal igual ou menor do que 3 salrios mnimos nmero de famlias beneficiadas x 100 Nmero de projetos atrasados, paralizados ou no iniciados nmero de projetos contratados x 100 Nmero de famlias beneficiadas, residentes na rea de interveno aps um ano nmero de famlias residentes na rea de interveno x 100 (2 x ndice de satisfao com aspectos construtivos + ndice de satisfao com infra-estrutura + ndice de satisfao com equipamentos sociais) 4
Famlia selecionada
Famlia selecionada
O programa est atendendo seu pblico alvo?
Projeto executado
Os projetos esto seguindo o cronograma previsto?
Unidade habitacional entregue
As famlias permanecem nas unidades habitacionais entregues?
Unidade habitacional entregue
Os beneficirios esto satisfeitos com os projetos?
Fonte: adaptado de TC 012.278/2003-1
52. Aps a discusso sobre as questes que foram apresentadas, as mais relevantes devem ser selecionadas. Para essas, os participantes devem identificar/construir ID que forneam informao para respond-las. Posteriormente, a equipe deve consolidar o trabalho em uma matriz de indicadores (Apndice A) e valid-los com especialistas e gestores.
BTCU ESPECIAL
Passo 4 - Verificao dos requisitos de qualidade 53. Ao final do processo de construo de ID, a equipe pode identificar um nmero grande de potenciais indicadores. Alm dos ID construdos, importante pesquisar os que j so usados e so aceitos pelos profissionais e especialistas da rea, sendo fundamentado em conhecimento tcnico-cientfico sobre o fenmeno. 54. O passo seguinte selecionar os mais relevantes. Essa tarefa, por mais que se tente tornar o critrio de seleo objetivo, envolve muito de subjetividade, sendo necessrio contar-se com a experincia da equipe do objeto de auditoria. 55. As qualidades desejveis para os indicadores de desempenho (ID) so usadas como critrio para analisar indicadores existentes e para selecionar os melhores indicadores em um conjunto maior. A relao a seguir no exaustiva, mas apresenta as qualidades mais importantes que os ID devem apresentar. 55.1 Validade: grau segundo o qual o indicador reflete o fenmeno que est sendo medido. O ID deve ser a expresso dos produtos essenciais de um processo. O enfoque deve ser nos produtos e nos resultados. Assim, o ID deve medir aquilo que produzido, seja produto intermedirio ou final, alm dos resultados (outcomes). Comparabilidade: propriedade de possibilitar comparaes ao longo do tempo e entre diferentes objetos de auditoria. Estabilidade: as variveis componentes do indicador devem ter estabilidade conceitual, sua forma de clculo no deve variar no tempo, bem como devem ser estveis os procedimentos de coleta de dados para sua apurao. Essas so condies necessrias ao emprego de indicadores para avaliar o desempenho ao longo do tempo. Homogeneidade: na construo de indicadores devem ser consideradas apenas variveis homogneas. Por exemplo, ao estabelecer o custo mdio por auditoria, devem-se identificar os diversos tipos de auditoria, j que para cada tipo tem-se uma composio de custo diversa. Praticidade: garantia de que o indicador realmente til para o monitoramento e a tomada de decises. Para tanto, deve ser testado, modificado ou excludo quando no atender a essa condio. Independncia: o indicador deve medir os resultados atribuveis s aes que se quer monitorar, devendo ser evitados indicadores que possam ser influenciados por fatores externos. Confiabilidade: a fonte de dados utilizada para o clculo do indicador deve ser confivel, de tal forma que diferentes avaliadores possam chegar aos mesmos resultados (ISSAI 3000/4, 2004). Seletividade: deve-se estabelecer um nmero equilibrado de indicadores que enfoquem os aspectos essenciais do que se quer medir. Compreenso: o indicador deve ser de fcil compreenso e no envolver dificuldades de clculo ou de uso. Indicadores que medem mais de uma varivel e apresentam mtricas no intuitivas podem ser usados, e s vezes devem s-lo, quando tm aceitao e validade (ISSAI 3000/4, 2004).
55.2 55.3
55.4
55.5
55.6
55.7
55.8 55.9
55.10 Completude: os indicadores devem representar adequadamente a amplitude e a diversidade de caractersticas do fenmeno monitorado, resguardado o princpio da seletividade e da simplicidade (ISSAI 3000/4, 2004). 55.11 Economicidade12: as informaes necessrias ao clculo do indicador devem ser coletadas e atualizadas a um custo razovel, quando comparado com a utilidade gerencial da informao que ele fornece. 55.12 Acessibilidade: deve haver facilidade de acesso s informaes primrias bem como de registro e manuteno para o clculo dos indicadores.
BTCU ESPECIAL
55.13 Tempestividade: a apurao do indicador deve estar disponvel quando necessria, em tempo para a tomada de deciso. 55.14 Objetividade: o indicador deve ser inequvoco sobre o que est sendo medido e quais dados esto sendo usados em sua apurao. A objetividade inclui clareza sobre a definio do indicador, de forma a evitar disputa sobre seu significado, especialmente no caso de indicadores multidimensionais (USAID, 1998). 56. Alm dessas qualidades, os indicadores devem ser claros ao especificar as seguintes dimenses de seu clculo: 56.1 base geogrfica territrio ao qual se refere o indicador. Indicadores que abrangem unidades geogrficas menores podem revelar variaes de desempenho significativas, por exemplo, dentro de um estado. Essas variaes podem sugerir a existncia de boas prticas de implementao da ao de governo ou falhas importantes de atendimento; 56.2 grupo populacional a parcela da populao a qual se refere o indicador. Indicadores para grupos populacionais especficos, segundo caractersticas socioeconmicas podem revelar problemas de equidade no acesso a bens e servios entregues por aes de governo. Problemas de cobertura podem sugerir a necessidade de criao de aes ou formas de implementao especficas, dentro de polticas mais amplas, de forma a alcanar determinados grupos populacionais; 56.3 periodicidade frequencia de clculo do indicador. Indicadores referentes a perodos de tempo muito longos podem encobrir variaes sazonais, por exemplo, importantes para a formulao da poltica ou para o desenho da forma de implementao; 56.4 fontes de informao origem dos dados usados para apurar o indicador. Podem ser sistemas de informaes de institutos de pesquisa ou rgos governamentais, pesquisas realizadas ou contratadas pelo objeto de auditoria, sistemas internos de informaes gerenciais. 57. A relao das qualidades desejveis para os ID longa e seus itens so dificilmente observveis simultaneamente em um nico indicador. Apesar de o ideal ser usar os melhores ID, na prtica existem conflitos de escolha (trade-offs) entre os critrios de qualidade. Por exemplo, o indicador mais representativo pode ser excessivamente caro ou apenas disponvel em intervalos de tempo muito longos (USAID, 1998). Para solucionar o conflito, necessrio estabelecer regras de deciso. Quadro 4 Exemplo de indicador de desempenho que no apresenta requisitos de qualidade importantes Programa
0357 - Segurana da Sanidade na Agropecuria
Indicadores
Taxa de conformidade no controle de fronteiras (relao percentual entre as permisses de trnsito de produtos emitidas e o nmero de partidas inspecionadas)
Deficincia
A mtrica do indicador est com a relao invertida, pois se pretende mensurar o percentual das partidas inspecionadas, em relao s permisses de trnsito emitidas. Segundo o Sistema Integrado de Planejamento SIPLAN do MAPA, o indicador foi calculado em 337% em 26/05/2004. O valor excessivamente alto do indicador explicado por erro na sua mtrica (frmula de clculo). Tcnicos consultados expressaram reiteradamente que o produto das aes do programa deveria ser o termo de fiscalizao emitido e no a partida inspecionada. De fato, esse produto reflete com maior exatido os esforos empregados na atividade de fiscalizao, j que h casos de termos de fiscalizaes emitidos que no geram partidas, como por exemplo, no caso de rechao ou destruio de produtos contaminados. Alm disso, o ID no est associado a outros indicadores que permitam obter viso mais abrangente sobre o desempenho do Programa, a exemplo de indicadores de custo. Os ID do programa apresentam problemas de validade e completude.
Obs.: na lei oramentria de 2009 o programa 0357 tinha 11 aes. Resumidamente, trata de garantir a sanidade vegetal e animal no Brasil, controlando a disseminao de pragas e doenas por meio do comrcio internacional, bem como protegendo reas saneadas e combatendo pragas e doenas no pas. Fonte: adaptado de TC 012.488/2005-5
BTCU ESPECIAL
Passo 5 - Seleo dos indicadores 58. A equipe de auditoria deve definir uma regra para decidir quais so os melhores indicadores e registr-la claramente em seu relatrio. A regra de deciso deve ser discutida com os gestores, pois o consenso sobre os critrios contribuir para que as concluses sobre os ID e sobre o desempenho do objeto de auditoria sejam apropriadas pelos gestores. 59. O nmero de ID a ser acompanhado deve ser o mnimo necessrio para garantir que o progresso em direo ao resultado esperado seja suficientemente capturado. No existe uma regra para definir o nmero de ID porque ele depende da complexidade do resultado a ser medido e da disponibilidade de recursos para monitoramento e avaliao. A complexidade do que se deseja medir afetar a quantidade de informao necessria para se tomar decises com base no desempenho (USAID, 1998). 60. Deve-se ter especial cuidado na identificao dos indicadores de desempenho, pois se a avaliao de desempenho do objeto de auditoria for efetivamente considerada nas tomadas de deciso, a incorporao dos indicadores como instrumento dessa avaliao provocar custos de gerenciamento da informao e cobranas em relao ao cumprimento das metas estabelecidas. Portanto, ao se construir ID, deve-se sempre buscar o comprometimento do gestor e observar se os indicadores so teis para a administrao e para os cidados interessados.
Ateno So necessrios poucos indicadores. Um nmero excessivo de indicadores pode provocar trabalho excessivo, com relao aos benefcios que proporciona, e aumentar a possibilidade de que os gestores no os usem para a tomada de deciso. Deve-se evitar a construo de ID em torno de um nico produto, e procurar fazer-se uma distribuio equilibrada deles na matriz de indicadores.
61. Uma regra simples para selecionar os ID pontuar cada um deles segundo sua aderncia a alguns critrios de qualidade e escolher os mais bem pontuados. Essa forma de seleo pode ser sofisticada aumentando o nmero de critrios de qualidade, diferenciando-os entre critrios classificatrios e de excluso ou atribuindo-se pesos diferenciados aos critrios (BRASIL, 2010a). Quadro 5 Exemplo de procedimento de seleo de indicadores de desempenho
A Secretaria de Assuntos Multiculturais da Austrlia (Australian Office of Multicultural Interests) usou o seguinte procedimento para selecionar seus ID: A cada indicador potencial foram atribudas notas de 1 a 5 nos seguintes quesitos: 1) benefcio: as melhorias potenciais decorrentes de se usar o indicador na avaliao do desempenho; 2) relevncia: a importncia do indicador para medir o alcance dos objetivos; 3) acessibilidade: a disponibilidade de dados para clculo do indicador; 4) controle: o quo direta a relao entre as atividades do objeto de auditoria e o resultado do indicador. Multiplicando-se as notas, obtm-se valores entre 1 e 625 para cada indicador. Foram selecionados os indicadores que obtiveram os maiores produtos. Usando esse critrio, os 27 potenciais indicadores inicialmente identificados foram reduzidos para apenas 8.
BTCU ESPECIAL
62. Aps a seleo dos indicadores, eles devem ser novamente validados com os gestores. Basicamente, a pergunta que deve fazer : Se os gestores necessitarem de resposta a esta pergunta, este indicador de desempenho fornecer a resposta esperada?. Provavelmente ser necessrio revisar os indicadores vrias vezes, especialmente em reas onde no existam medies diretas nem facilidade para obteno de informaes. FIXAO DE METAS PARA OS INDICADORES SELECIONADOS 63. Os objetivos devem ter metas associadas a eles, cujo alcance aferido pelos ID. A fixao das metas cabe aos gestores e equipe de auditoria cabe analisar sua adequao. Uma forma de fazer essa anlise aplicar o conceito de metas (targets) SMART13, que enumera as caractersticas que elas devem apresentar (RIETBERGEN; BLOK, 2010): 63.1 63.2 63.3 63.4 especfica expressar claramente o que deve ser alcanado, sem ambiguidades; mensurvel expressar em que medida o objetivo deve ser alcanado em certo intervalo de tempo, permitindo avaliao e feedback; apropriada estar alinhada com os objetivos gerais ou estratgicos, contribuindo para alcan-los, isto , ser relevante para medir os objetivos; realista poder ser alcanada no perodo previsto a custo razovel e considerando as restries existentes. Levar em conta os objetivos da instituio, o contexto econmico em que est inserida, as limitaes oramentrias, o desempenho anterior. Se as metas no forem realistas, elas sero vistas como meros ideais e no tero influncia prtica no comportamento do pessoal. prazo determinado14 - expressar o perodo esperado para seu alcance.
63.5
64. Uma caracterstica das metas que poderia ser adicionada ao rol SMART o de ser desafiadora. Se as metas no forem desafiadoras, elas no encorajaro a implementao de melhorias no sistema. Devem, portanto, ser cada vez mais ambiciosas ao longo do tempo, sem deixar de ser realistas, de maneira a incentivar que a instituio busque a otimizao dos resultados, a partir dos recursos disponveis. CONCLUSO 65. Ainda que se tomem todos os cuidados na elaborao de indicadores de desempenho, eles sempre podero vir a ser aperfeioados medida que forem sendo usados pelos gestores e pelo controle. Trata-se de uma avaliao crtica dos indicadores em confronto com as necessidades de informao para o monitoramento e avaliao das atividades e para a tomada de deciso. Em contraponto, essa anlise peridica deve levar em considerao tambm algumas qualidades desejveis dos indicadores como as de estabilidade e comparabilidade. 66. Essa avaliao crtica pode contar com a contribuio de atores externos ao objeto de auditoria, como associaes de usurios dos servios pblicos, instituies acadmicas, outras organizaes governamentais, entidades de classe, escales superiores dos ministrios, entidades governamentais fiscalizadoras, enfim, de todos os que, de certa forma, esto interessados no desempenho do servio pblico em exame.
BTCU ESPECIAL
Denomina-se mtrica frmula matemtica utilizada para calcular o indicador de desempenho. Sobre a comparao de desempenho vide a Tcnica de Auditoria: Benchmarking (BRASIL, 2000b). 3 O uso de indicadores de desempenho pelas organizaes importante para a gesto pblica por resultados e possibilita: a) avaliar qualitativa e quantitativa o desempenho global da instituio e dos seus principais programas e/ou departamentos; b) acompanhar o desempenho ao longo do tempo e ainda a comparao entre: desempenho anterior x desempenho corrente; desempenho corrente x padro de comparao; desempenho planejado x desempenho real; c) enfocar as reas relevantes do desempenho e express-las de forma clara, induzindo um processo de transformaes estruturais e funcionais que permite eliminar inconsistncias entre a misso da instituio, sua estrutura e seus objetivos prioritrios; d) contribuir para o processo de desenvolvimento organizacional e de formulao de polticas de mdio e longo prazos; e) melhorar o processo de coordenao organizacional, a partir da discusso fundamentada dos resultados e o estabelecimento de compromissos entre os diversos setores da instituio; f) incorporar sistemas de reconhecimento pelo bom desempenho, tanto institucionais como individuais.
2
4
So programas voltados aos servios tpicos de Estado, ao planejamento, formulao de polticas setoriais, coordenao, avaliao ou ao controle dos programas finalsticos, resultando em bens ou servios ofertados ao prprio Estado, podendo ser composto inclusive por despesas de natureza tipicamente administrativas (BRASIL, 2008).
5
Para Wilson, as agncias de produo so organizaes pblicas nas quais produtos e resultados so observveis, como as empresas estatais. Nas agncias procedimentais, como as de assessoramento, os produtos so observveis, mas os resultados no. Nas agncias profissionais, como as foras armadas em tempo de guerra, os produtos no so observveis, mas os resultados sim. Nas agncias de suporte, como os servios de assistncia social, os produtos no so observveis, mas os resultados sim. 6 Para Hood, a teoria cultural poderia explicar o estilo gerencial nas organizaes pblicas. Em culturas hierarquistas existe alto comprometimento com normas. So regidas por um ethos burocrtico e so mais comprometidas com procedimentos do que com resultados. Em culturas fatalistas existe baixo comprometimento com o gerenciamento e com aspiraes coletivas, o que pode levar descrena e apatia, mas existe tendncia a responder a normas externas para evitar punies. Em culturas igualitaristas os indivduos so internamente pouco competitivos, possuem alto comprometimento interno e trabalham como uma comunidade isolacionista. Em culturas individualistas o gerenciamento por resultados mais efetivo e os indivduos regem-se por um ethos de mercado. 7 Economicidade, eficcia, eficincia e efetividade. 8 Como a figura revela, h forte correlao entre eficincia e economicidade, por exemplo. 9 Ferramenta de planejamento que consiste em formular e responder a perguntas sobre o projeto ou atividade que ser desenvolvido. Seu nome o acrnimo das palavras em ingls What, Who, Why, Where, When, How, How much. Em portugus, corresponde s seguintes perguntas: O Que? Quem? Por que? Onde? Quando? Como? Quanto? Em cada caso examinado, necessrio elaborar as perguntas de forma mais especfica. 10 Reunio destinada troca de idias e conhecimento prtico sobre um assunto. 11 O desenho do programa previa priorizar famlias chefiadas por mulheres. O dficit habitacional brasileiro concentra-se em famlias com renda familiar mensal menor ou igual a 3 salrios mnimos. Os projetos eram acompanhados pela Caixa Econmica Federal, que registrava em sistema eletrnico a situao da execuo. 12 O custo da apurao do ID depende principalmente da disponibilidade de dados secundrios confiveis (custo baixo) ou da necessidade de o auditado coletar dados primrios (custo alto). No ltimo caso, o custo depender do escopo da coleta de dados, do mtodo de coleta e da frequencia com a qual realizada (USAID, 1998). 13 Acrnimo das seguintes palavras em ingls: Specific, Mesurable, Appropriate, Realistic, Time-bound. Proposto em Drucker, P. The Practise of Management. New York: Harper & Row,1954. 14 Mesmo programas de execuo contnua devem ter objetivos intermdirios, com prazos determinados, cujo alcance pode ser avaliado (BRASIL, 2010a).
BTCU ESPECIAL
APNDICE A MATRIZES DE INDICADORES DE DESEMPENHO Caso: O programa de combate carncias nutricionais tem por objetivo reduzir a desnutrio entre crianas com idade de 6 e 23 meses. Para isso, descentraliza recursos mediante convnio para que estados e municpios comprem leite e o distribua para as famlias com crianas desnutridas na mencioanada faixa etria. A condio nutricional aferida comparando-se a relao entre altura e peso das crianas com valores de uma tabela estatstica que registra a relao esperada. As figuras a seguir relacionam os indicadores propostos pela equipe de auditoria para medir aspectos importantes do desempenho do programa. Matriz de indicadores de desempenho, relacionando-os com as dimenses de custo. tempo, quantidade e qualidade
DIMENSES DE DESEMPENHO Economia Eficincia CUSTO TEMPO QUANTIDADE QUALIDADE
Custo mdio do litro do leite Custo mdio de recuperao nutricional Tempo mdio de recuperao nutricional
Eficcia
% de cobertura do programa
Efetividade
% de crianas atendidas que ultrapassaram o percentil 10
Equidade
(recursos per capita repassados aos municpios entre os 10% com maior incidncia de carncias nutricionais) / (recursos per capita repassados aos municpios entre os 90% com menor incidncia de carncias nutricionais)
Fonte: adaptado de TC 012.774/2000-5 Nota: todos os indicadores so apurados anualmente, por municpio, com base no sistema de acompanhamento do Ministrio.
BTCU ESPECIAL
Matriz de indicadores de desempenho, relacionando-os com as dimenses do BSC

DIMENSES E PERSPECTIVAS Economicidade RESULTADO CRIAO DE VALOR CUSTO Custo mdio do litro do leite LEGITIMIDADE PROCESSOS INTERNOS APRENDIZADO E CRESCIMENTO
Eficcia
% do pessoal que trabalha no atendimento % de cobertura do aos beneficirios que recebeu o treinamento programa previsto
Eficincia
Custo mdio de recuperao nutricional % de incidncia da % de crianas atendidas que desnutrio infantil ultrapassaram o percentil 10 (*)
Tempo mdio de recuperao nutricional
Efetividade
Equidade
(recursos per capita repassados aos municpios entre os 10% com maior incidncia de carncias nutricionais) / (recursos per capita repassados aos municpios entre os 90% com menor incidncia de carncias nutricionais)
Fonte: adaptado de TC 012.774/2000-5 Nota: todos os indicadores so apurados anualmente, por municpio, com base no sistema de acompanhamento do Ministrio. (*) Apurado pela Pesquisa de Oramentos Familiares (POF) do IBGE.
BTCU ESPECIAL
APNDICE B MAPA DE PRODUTOS 1. O mapa de produtos um diagrama, como um fluxograma, que representa uma linha de produo ou de montagem, onde o importante o produto gerado em cada fase, em vez do processo (ou atividade) que o gerou. Mapeamento de produtos uma tcnica utilizada para a obteno de indicadores de desempenho. 2. Produto um bem ou um servio resultante de atividade(s) de uma organizao ou de um indivduo. Assim, so exemplos de produtos: estradas asfaltadas, correspondncia datilografada, pacientes atendidos. Pavimentar estradas; datilografar correspondncias e atender pacientes so atividades das quais resultam tais produtos. O mapa de produtos possui quatro componentes bsicos: insumos, produtos intermedirios, produtos finais e resultados (Figura 4).
3.
Figura 4 Mapa de produtos do programa de habitao popular Morar Melhor(1)

Fonte: adaptado de TC 012.278/2003-1 (1) O Programa Morar Melhor, do PPA 2000-2003, descentralizava recursos para estados e municpios, por meio de contratos de repasse, para construo e reforma de unidades habitacionais, urbanizao, construo de infraestrutura e regularizao fundiria.
4.
Insumos so bens e servios adquiridos para serem usados no processo de produo. Os produtos intermedirios so obtidos a partir dos insumos e que, juntos, daro origem aos produtos finais. Pode-se dizer que os produtos intermedirios desempenham o papel de insumos para outros produtos intermedirios ou para o produto final. O produto final (output) das atividades no deve ser confundido com o impacto (outcome) originado dessas atividades. Enquanto o produto final depende apenas do desempenho das atividades, o impacto que ele causa afetado por condies externas, que fogem ao controle do rgo ou do indivduo. No mapa de produtos, as setas indicam que o contedo da caixa esquerda (insumo ou produto intermedirio) necessrio para que se produza o contedo da caixa direita (produto intermedirio ou final). As setas representam processos de transformao de insumos em produtos intermedirios e destes em produtos finais. Os resultados imediatos so mais fceis de serem associados a produtos
5.
6.
BTCU ESPECIAL
finais por setas, mas o mesmo no ocorre com resultados de longo prazo, que, para ocorrer, dependem de diversos fatores, no necessariamente causados pelas atividades do programa ou organizao. 7. Os produtos, se identificados adequadamente, so estveis, mesmo quando os processos aplicados para produzi-los mudam. Essa estabilidade desejvel, pois os ID medem aspectos relacionados aos produtos, o que permite construir indicadores mais estveis e que permitem comparar o desempenho de diferentes organizaes que usam processos distintos para obter os mesmos produtos ou resultados. Uma administrao pblica voltada para resultados deve direcionar sua ateno para seus produtos. Entretanto, esse enfoque pode encontrar alguma resistncia por parte de gestores habituados a administrar predominantemente os insumos (pessoal, recursos financeiros, instalaes) e os processos (atividades desempenhadas). O mapa de produtos pode ser empregado em diferentes nveis administrativos: pode ser elaborado para uma instituio, departamento, funo, atividade individual ou mesmo para um projeto ou programa.
8.
9.
10. O mapa de produtos elaborado visando principalmente construir ID, mas ele tambm permite: 10.1 obter um quadro claro sobre os objetivos do objeto de auditoria; 10.2 mostrar relaes de dependncia entre os diversos produtos; 10.3 identificar as reas ou setores do rgo responsveis pelos produtos crticos (aqueles cuja obteno fator determinante do custo, da qualidade e do prazo de obteno do produto final).
BTCU ESPECIAL
APNDICE C INDICADORES DE DESEMPENHO EM UMA PGINA Indicador de desempenho (ID) um nmero, percentagem ou razo que mede um aspecto do desempenho, com o objetivo de comparar esta medida com metas preestabelecidas Em auditoria operacional, os ID so usados para medir economicidade, eficcia, eficincia e efetividade. Para isso, usam-se indicadores j existentes ou ento construdos e calculados pela prpria equipe de auditoria. A equipe pode tambm recomendar a adoo de indicadores visando contribuir para aperfeioar os sistemas de monitoramento e avaliao. (1) ID de economicidade mede o custo dos insumos e os recursos alocados para a atividade; (2) ID de eficcia mede quantidade de produto, alcance metas de entrega de bens e servios; (3) ID de eficincia mede relaes entre quantidade de produto e custo dos insumos ou caractersticas do processo, como o tempo de produo; (4) ID de efetividade mede o alcance dos objetivos finalsticos, traduzidos em soluo ou reduo de problemas sociais. (beneficirios), a regio de abrangncia, quanto custaro as aes e quais as respectivas fontes de recursos. As respostas a essas perguntas so importantes para definir o que medir e com qual periodicidade. Passo 2 mapeamento de produtos auditores e auditados devem identificar os insumos, produtos-chave e resultados sobre os quais sero formuladas perguntas de desempenho. Para isso, pode ser usada a tcnica do mapeamento de produtos. Passo 3 Formulao de perguntas sobre desempenho - os participantes da oficina de trabalho devem ser instrudos para que se coloquem no lugar dos gestores da organizao e do cidado interessado e formulem as perguntas para as quais gostariam de obter respostas. Em seguida, devem-se construir/identificar os ID que forneam informao para respond-las. Posteriormente, a equipe deve consolidar o trabalho em uma matriz de indicadores. Passo 4 verificao dos requisitos de qualidade as qualidades desejveis para os ID so usadas como critrio para analisar indicadores existentes e para selecionar os melhores indicadores em um conjunto maior. (1)Validade (8)Seletividade (2)Comparabilidade (9)Compreenso (3)Estabilidade (10)Completude (4)Homogeneidade (11)Economicidade (5)Praticidade (12)Acessibilidade (6)Independncia (13)Tempestividade (7)Confiabilidade (14)Objetividade Alm dessas qualidades, os indicadores devem ser claros ao especificar as seguintes dimenses de seu clculo: (1) base geogrfica, (2) grupo populacional, (3) periodicidade, (4) fontes de informao. Os objetivos devem ter metas associadas a eles, cujo alcance aferido pelos ID. As metas devem ser: (1) especficas, (2) mensurveis, (3) apropriadas, (4) realistas, (5) ter prazo determinado, (6) desafiadoras.
Figura 5 - Diagrama de insumo-produto e as principais dimenses de desempenho O processo de construo de ID pode ser resumido em 5 passos. Passo 1 Anlise de objetivos e aes - a equipe deve responder s seguintes perguntas: os planos apresentam o problema a ser enfrentado ou os objetivos a serem alcanados (caracterizao da condio, inclusive com dados quantitativos), os executores das aes (os responsveis, os executores, quem deve ser consultado antes de certa ao ou quem deve ser informado depois), os resultados esperados (finais e intermedirios), como se pretende alcanar os resultados (as aes e a explicitao do vnculo de causa e efeito entre elas e os resultados pretendidos), delimitao da populao a qual se visa atender (pblico alvo) e da populao a ser alcanada
BTCU ESPECIAL
REFERNCIAS BRASIL. Ministrio do Planejamento, Oramento e Gesto. Manual Tcnico de Oramento MTO 2009. Braslia, 2008. Disponvel em: < HTTP://www.planejamento.gov.br>. Acesso em: 16 nov. 2008. BRASIL. ______. Indicadores de programas: Guia Metodolgico. Braslia: MP, 2010a. ______. Tribunal de Contas da Unio. Manual de auditoria operacional. Braslia: TCU, 2010b. ______. ______. Indicadores de desempenho e mapa de produtos. Braslia: TCU, 2000a. ______. ______. Tcnica de auditoria: benchmarking. Braslia: TCU, 2000b. ______. ______. Tcnica de auditoria: marco lgico. Braslia: TCU, 2001. FERREIRA, Helder, CASSIOLATO, Martha, GONZALEZ, Roberto. Como Elaborar Modelo Lgico de Programa: um roteiro bsico (Nota Tcnica). Braslia: IPEA, 2007. GOMES, Marcelo B. Auditoria de desempenho governamental e o papel de Entidades Fiscalizadoras Superiores (EFS). Revista do Servio Pblico, n. 2, p. 36-78, abr./jun. 2002. KAPLAN, Robert S; NORTON, David P. Organizao orientada para a estratgia. Rio de Janeiro: Campus, 2000. INTERNATIONAL Organization of Supreme Audit Institutions. Implementation Guidelines for Performance Auditing (ISSAI 3000). Viena: Intosai, 2004. Disponvel em: <http://www.issai.org/media(708,1033)/ISSAI_3000E.pdf>. Acesso em: 25 ago. 2010. MELO, M. A. Governance e Reforma do Estado: o paradigma agente x principal. Revista do Servio Pblico, v. 120, p. 67-82, jan./abr. 1996. PFEIFFER, Peter. O Quadro Lgico: um mtodo para planejar e gerenciar mudanas. Revista do Servio Pblico (RSP), Ano 51 Nmero 1, p. 81-122, jan-mar 2000. RIETBERGEN, M.G.; BLOK, C. Setting SMART targets for industrial energy use and industrial energy efciency. Energy Policy, n. 38, p. 4339-4354, 2010. USAID. Guidelines for indicator and data quality. Washington: USAID, 1998.

BTCU Indicadores de Desempenho

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

BTCU Indicadores de Desempenho

Enviado por

Direitos autorais:

Formatos disponíveis

Braslia, 11 de janeiro de 2011 - Ano XLIV - N 3

TCNICA DE INDICADORES DE DESEMPENHO PARA AUDITORIAS

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO Boletim do Tribunal de Contas da Unio http://www.tcu.gov.br BTCU@tcu.gov.br

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

3 Braslia Ano xliv n. 3 11/ jan 2011

TRIBUNAL DE CONTAS DA UNIO SECRETARIA-GERAL DE CONTROLE EXTERNO

TCNICA DE INDICADORES DE DESEMPENHO PARA AUDITORIAS

SEGECEX / SEPROG JANEIRO/2011

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

4 Braslia Ano xliv n. 3 11/ jan 2011

Tribunal de Contas da Unio

Internet: http://www.tcu.gov.br SAFS Quadra 4 Lt. 01 CEP: 70042-900 Braslia-DF

1. Auditoria operacional, indicadores de desempenho. I. Ttulo

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

5 Braslia Ano xliv n. 3 11/ jan 2011

PORTARIA-SEGECEX N 33, DE 23 DE DEZEMBRO DE 2010

Aprova o documento Tcnica de Indicadores de Desempenho para Auditorias.

MARCELO LUIZ SOUZA DA EIRA Secretrio-Geral de Controle Externo, em Substituio

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

6 Braslia Ano xliv n. 3 11/ jan 2011

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

7 Braslia Ano xliv n. 3 11/ jan 2011

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

8 Braslia Ano xliv n. 3 11/ jan 2011

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

9 Braslia Ano xliv n. 3 11/ jan 2011

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

10 Braslia Ano xliv n. 3 11/ jan 2011

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

11 Braslia Ano xliv n. 3 11/ jan 2011

15.6 15.7 15.8

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

12 Braslia Ano xliv n. 3 11/ jan 2011

Figura 1 - Diagrama de insumo-produto e as principais dimenses de desempenho

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

13 Braslia Ano xliv n. 3 11/ jan 2011

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

14 Braslia Ano xliv n. 3 11/ jan 2011

Figura 2 Perspectivas do balanced scorecard para o setor pblico

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

15 Braslia Ano xliv n. 3 11/ jan 2011

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

16 Braslia Ano xliv n. 3 11/ jan 2011

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

17 Braslia Ano xliv n. 3 11/ jan 2011

TRIBUNAL DE CONTAS DA UNIO Segedam Secretaria-Geral de Administrao

18 Braslia Ano xliv n. 3 11/ jan 2011

O programa est atendendo seu pblico alvo?

Os projetos esto seguindo o cronograma previsto?

Unidade habitacional entregue

As famlias permanecem nas unidades habitacionais entregues?

Unidade habitacional entregue

Os beneficirios esto satisfeitos com os projetos?

Fonte: adaptado de TC 012.278/2003-1