Você está na página 1de 33

TRIBUNAL DE CONTAS DA UNIO

Secretaria-Geral de Controle Externo


Coordenadoria de Fiscalizao e Controle
TCNICA DE AUDITORIA
INDICADORES DE DESEMPENHO
E
MAPA DE PRODUTOS
2000
2
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
Tribunal de Contas da Unio
Internet: http://www.tcu.gov.br
SAFS Lt. 01
CEP: 70.042-900 - Braslia (DF)
Secretria-Geral de Controle Externo:
Rosngela Paniago Fleury
Coordenador de Fiscalizao e Controle:
Jos Moacir Cardoso da Costa
Diretor da 2 Diviso Tcnica:
Paulo Roberto Pinheiro Dias Pereira
Analistas de Finanas e Controle Externo - rea de Controle
Externo:
Carlos Alexandre Amorim Rocha
Carmen Pereira Rgo Meireles
Glria Maria Merola da Costa Bastos
Colaboradores Projeto de Cooperao TCU/Reino Unido:
Jos Carlos Lobo Menezes
Luiz Akutsu
Luiz Geraldo Santos Wolmer
657.63 Brasil. Tribunal de Contas da Unio.
B823t Tcnicas de Auditoria: Indicadores de
Desempenho e Mapa de Produtos - Brasl i a : TCU,
Coordenadoria de Fiscalizao e Controle, 2000.
32 p.
1. TCU - Tcnicas de Auditoria: Indicadores
de Desempenho e Mapa de Produtos (2000) I. Ttulo.
Ficha Catalogrfica elaborada pela Diviso de Documentao do TCU.
3
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
APRESENTAO
Este documento tcni co produto das ati vi dades
desenvolvidas no mbito do Projeto de Cooperao Tcnica TCU/
Reino Unido. Na sua elaborao, a Coordenadoria de Fiscalizao
e Controle contou com a colaborao dos analistas participantes do
Projeto e com o apoio tcnico da KPMG, empresa contratada pelo
Governo Britnico para prestar consultoria ao TCU na rea de
auditoria de desempenho.
A tcnica apresentada neste documento, indicadores de
desempenho e mapa de produto, foi testada com sucesso durante
a realizao das seis auditorias-piloto realizadas em 1998 e
complementa informaes contidas no Manual de Auditoria de
Desempenho do TCU.
Na primeira parte do documento feita uma breve discusso
sobre indicadores de desempenho, suas caractersticas bsicas e
sua utilizao na avaliao de desempenho. Em seguida,
apresentada a tcnica de mapa de produtos, sua aplicao e forma
de elaborao. Finalmente, mostrado como podem ser elaborados
os indicadores de desempenho para os produtos-chave identificados
no mapa de produtos.
No poderia, antes de terminar esta apresentao, deixar de
registrar os merecidos agradecimentos equipe da COFIS e a todos
os servidores que colaboraram para a confeco de mais esta
ferramenta de trabalho.
ROSNGELA PANIAGO FLEURY
Secretria-Geral de Controle Externo
5
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
SUMRIO
1. INDICADORES DE DESEMPENHO 9
1.1. INTRODUO 9
1.2. MEDIO DE DESEMPENHO E INDICADOR
DE DESEMPENHO 9
1.3. NATUREZA COMPARATIVA DOS INDICADORES
DE DESEMPENHO 10
1.4. VARIVEIS EMPREGADAS NA CONSTRUO
DE INDICADORES 10
1.5. PRINCIPAIS USOS DE INDICADORES DE
DESEMPENHO 11
1.6. QUALIDADES DESEJVEIS EM UM INDICADOR
DE DESEMPENHO. 12
1.7. ASPECTOS DO DESEMPENHO MEDIDOS
PELOS INDICADORES 14
2. MAPA DE PRODUTOS 17
2.1. INTRODUO 17
2.2. CARACTERSTICAS 17
2.3. APLICAO 20
2.4. ELABORAO 21
3. ELABORAO DE INDICADORES DE
DESEMPENHO A PARTIR DO MAPA DE PRODUTOS 24
3.1. IDENTIFICAO DOS PRODUTOS-CHAVE. 24
3.2. FORMULAO DE QUESTES SOBRE
ECONOMICIDADE, EFICINCIA E EFICCIA. 24
6
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
3.3. IDENTIFICAO DOS INDICADORES DE
DESEMPENHO 27
3.4. SELEO DOS INDICADORES 28
3.5. DEPURAO DOS INDICADORES SELECIONADOS 30
3.6. FIXAO DE METAS PARA OS
INDICADORES SELECIONADOS 30
3.7. REVISO DOS INDICADORES 31
4. REFERNCIAS 32
7
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
LISTA DE FIGURAS
FIGURA 1 VARIVEIS COMPONENTES DOS
INDICADORES. 11
FIGURA 2 DIMENSES DE ANLISE: 15
FIGURA 3 EXEMPLOS DE INDICADORES DE
DESEMPENHO. 16
FIGURA 4 ESTRUTURA BSICA DE UM MAPA DE
PRODUTOS. 18
FIGURA 5 MAPA DE PRODUTOS X MAPA DE
PROCESSOS. 20
LISTA DE EXEMPLOS
EXEMPLO 1 MAPA DE PRODUTOS: COMUNICAO
VIA MEMORANDO. 18
EXEMPLO 2 MAPA DE PRODUTOS: ALTERAO
NA ROTINA. 19
EXEMPLO 3 QUESTES SOBRE O DESEMPENHO. 26
EXEMPLO 4 SELEO DE INDICADORES. 29
EXEMPLO 5 FIXAO DE METAS. 31
9
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
1. INDICADORES DE DESEMPENHO
1.1. INTRODUO
A utilizao de indicadores de desempenho para aferir os
resultados alcanados pelos administradores uma metodologia
que est relacionada ao conceito de gerenciamento voltado para
resultados (results oriented management ROM). Esse conceito
tem sido adotado nas administraes pblicas de diversos pases,
especialmente nos de cultura anglo-saxnica (EUA, Austrlia, Reino
Unido).
Alguns autores da literatura especializada conceituam
indicador de desempenho como um instrumento de mensurao
quantitativa ou qualitativa de aspectos do desempenho. Neste Guia,
optamos por no estabelecer tal distino e adotar a seguinte
definio:
Um indicador de desempenho um nmero, percentagem ou
razo que mede um aspecto do desempenho, com o objetivo de
comparar esta medida com metas preestabelecidas
1
.
1.2. MEDIO DE DESEMPENHO E INDICADOR DE
DESEMPENHO
A expresso i ndi cador de desempenho tambm
normalmente utilizada no sentido de medio de desempenho.
Entretanto, possvel estabelecer-se uma distino entre ambas.
Medies de desempenho so efetuadas quando os aspectos
do desempenho podem ser mensurados diretamente e quantificados
com facilidade. Exemplos: quilometragem de estradas conservadas;
nmero de alunos matriculados no 1
o
grau.
1
Denomina-se mtrica frmula matemtica utilizada para calcular o indicador
de desempenho.
10
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
Indicadores de desempenho so utilizados quando no
possvel efetuar tais mensuraes de forma direta. So uma
alternativa para a medio do desempenho, embora no forneam
uma mensurao direta dos resultados. Exemplo: a utilizao do
ndice de repetncia na 1
a
srie do 1
o
grau, como um dos fatores a
serem considerados na formao de um indicador de desempenho
para medir a efetividade do ensino de 1 grau.
O que se deseja ressaltar com essa diferenciao que os
indicadores de desempenho podem fornecer uma boa viso acerca
do resultado que se deseja medir, mas so apenas aproximaes
do que realmente est ocorrendo, necessitando, sempre, de
interpretao no contexto em que esto inseridos.
1.3. NATUREZA COMPARATIVA DOS INDICADORES DE
DESEMPENHO
Informaes sobre desempenho so essencialmente
comparativas
2
. Um conjunto de dados isolado mostrando os
resultados atingidos por uma instituio no diz nada a respeito do
desempenho da mesma, a menos que seja confrontado com metas
ou padres preestabelecidos, ou realizada uma comparao com
os resultados atingidos em perodos anteriores, obtendo-se assim
uma srie histrica para anlise.
1.4. VARIVEIS EMPREGADAS NA CONSTRUO DE
INDICADORES
Os indicadores quase sempre so compostos por variveis
provenientes de um dos seguintes grupos: custo, tempo, quantidade
e qualidade.
2
Sobre a comparao de desempenho vide o Guia de Tcnica de Auditoria:
Benchmarking.
11
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
FIGURA 1 VARIVEIS COMPONENTES DOS INDICADORES
1.5. PRINCIPAIS USOS DE INDICADORES DE DESEMPENHO
A utilizao de indicadores de desempenho pela instituio:
Possibilita a avaliao qualitativa e quantitativa do
desempenho global da instituio, por meio da
aval i ao de seus pri nci pai s programas e/ou
departamentos;
Permite o acompanhamento e a avaliao do
desempenho ao longo do tempo e ainda a comparao
entre:
desempenho anterior x desempenho corrente;
desempenho corrente x padro de comparao;
desempenho planejado x desempenho real;
Custo:
- custo unitrio
- custo total programado
Tempo:
- prazos estabelecidos
- tempo por tarefa
Qualidade:
- satisfao do cliente
- padres de qualidade
Quantidade:
- produo total
- demanda atendida
12
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
Possibilita enfocar as reas relevantes do desempenho
e express-las de forma clara, induzindo um processo
de transformaes estruturais e funcionais que permite
eliminar inconsistncias entre a misso da instituio,
sua estrutura e seus objetivos prioritrios;
Ajuda o processo de desenvolvimento organizacional
e de formulao de polticas de mdio e longo prazos;
Melhora o processo de coordenao organizacional,
a partir da discusso fundamentada dos resultados e
o estabelecimento de compromissos entre os diversos
setores da instituio;
Possi bi l i ta a i ncorporao de si stemas de
reconheci mento pel o bom desempenho, tanto
institucionais como individuais
1.6. QUALIDADES DESEJVEIS EM UM INDICADOR DE
DESEMPENHO
Tanto na anlise de indicadores de desempenho j
existentes, quanto na elaborao de novos, deve-se verificar as
seguintes caractersticas:
1) Representatividade: o indicador deve ser a expresso
dos produtos essenciais de uma atividade ou funo;
o enfoque deve ser no produto: medir aquilo que
produzido, identificando produtos intermedirios e
finais, alm dos impactos desses produtos (outcomes).
Este atributo merece certa ateno, pois indicadores
muito representativos tendem a ser mais difceis de
ser obtidos.
2) Homogeneidade: na construo de indicadores
devem ser consi deradas apenas vari vei s
homogneas. Por exemplo, ao estabelecer o custo
mdio por auditoria, devem-se identificar os diversos
tipos de auditoria, j que para cada tipo tem-se uma
13
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
composio de custo diversa.
3) Praticidade: garantia de que o indicador realmente
funciona na prtica e permite a tomada de decises
gerenciais. Para tanto, deve ser testado, modificado
ou excludo quando no atender a essa condio.
4) Validade: o indicador deve refletir o fenmeno a ser
monitorado.
5) Independncia: o indicador deve medir os resultados
atribuveis s aes que se quer monitorar, devendo
ser evitados indicadores que possam ser influenciados
por fatores externos.
6) Confiabilidade: a fonte de dados utilizada para o
clculo do indicador deve ser confivel, de tal forma
que diferentes avaliadores possam chegar aos
mesmos resultados.
7) Seletividade: deve-se estabelecer um nmero
equilibrado de indicadores que enfoquem os aspectos
essenciais do que se quer monitorar.
8) Simplicidade: o i ndi cador deve ser de fci l
compreenso e no envolver dificuldades de clculo
ou de uso.
9) Cobertura: os indicadores devem representar
adequadamente a amplitude e a diversidade de
caractersticas do fenmeno monitorado, resguardado
o princpio da seletividade e da simplicidade.
10) Economicidade: as informaes necessrias ao
clculo do indicador devem ser coletadas e atualizadas
a um custo razovel, em outras palavras, a manuteno
da base de dados no pode ser dispendiosa.
14
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
11) Acessibilidade: deve haver facilidade de acesso s
informaes primrias bem como de registro e
manuteno para o clculo dos indicadores.
12) Estabilidade: a estabilidade conceitual das variveis
componentes e do prprio indicador bem como a
estabilidade dos procedimentos para sua elaborao
so condies necessrias ao emprego de indicadores
para avaliar o desempenho ao longo do tempo.
1.7 ASPECTOS DO DESEMPENHO MEDIDOS PELOS
INDICADORES
O desempenho na obteno de um determinado resultado
pode ser medido segundo as seguintes dimenses de anlise:
economicidade, eficincia, eficcia e efetividade. Para cada
dimenso de anlise podem existir um ou mais indicadores.
15
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
FIGURA 2 DIMENSES DE ANLISE
Economicidade
Minimizao dos custos dos
recursos utilizados na consecuo de
uma ati vi dade, sem
comprometimento dos padres de
qualidade. Refere-se capacidade
de uma i nsti tui o de geri r
adequadamente os recursos
fi nancei ros col ocados a sua
disposio.
Os suprimentos hospitalares na
qual i dade especi fi cada foram
adquiridos ao menor preo?
As licitaes para contratao de
servios de informtica redundaram
em preos menores, manti da a
qualidade dos servios?
Eficincia
Relao entre os produtos (bens
e servios) gerados por uma atividade
e os custos dos insumos empregados
para tal em um determinado perodo
de tempo. Se a quantidade de produto
est predeterminada, procura-se
minimizar o custo total; se o gasto
total est previ amente fi xado,
procura-se otimizar a combinao de
insumos para maximizar o produto;
em ambos os casos a qualidade deve
ser manti da. Essa di menso,
portanto, mede o esforo do processo
de transformao de insumos em
produtos.
Os tempos de atendimento nos
hospi tai s foram reduzi dos, sem
aumento de custos e sem reduo de
qualidade do atendimento?
Os custos diretos e indiretos de
uma oficina de manuteno foram
mi ni mi zados, enquanto houve
aumento no nmero de veculos
reparados que sati sfi zeram os
padres de qualidade requeridos?
Eficcia
Grau de alcance das metas
programadas, em um determinado
perodo de tempo,
i ndependentemente dos custos
implicados.
O nmero de crianas vacinadas
na ltima campanha nacional de
vaci nao ati ngi u a meta
programada?
As rodovias privatizadas foram
recuperadas dentro do prazo
previsto?
Efetividade
Relao entre os resultados
al canados e os obj eti vos que
motivaram a atuao institucional,
entre o impacto previsto e o impacto
real de uma atividade.
O programa de valorizao do
magistrio resultou na reduo do
ndice de repetncia escolar?
O programa mdico de famlia
redundou na reduo da mortalidade
infantil?
1
6
T

c
n
i
c
a

d
e

A
u
d
i
t
o
r
i
a

/

I
n
d
i
c
a
d
o
r
e
s

d
e

D
e
s
e
m
p
e
n
h
o

e

M
a
p
a

d
e

P
r
o
d
u
t
o
s
Custo de aquisio das
vacinas, consideradas as
opes de mercado.
FIGURA 3 EXEMPLOS DE INDICADORES DE DESEMPENHO
Programa de
Vacinao
Manuteno de
Rodovias
Qualificao
Profissional de
Trabalhadores
Desempregados
Ensino Distncia
Custo de uma criana
vacinada em relao
s estimativas iniciais
ou n de cri anas
vaci nadas por
vacinador
N de cri anas
vacinadas como um
percentual das metas
programadas.
Percentual da
popul ao que
contraiu a doena em
relao ao perodo
anterior
Custo dos servios de
manuteno, em relao
aos preos de mercado.
Custo de
manuteno de um km
de rodovia em relao
a padres
preestabelecidos.
Extenso de
rodovi as em boas
condi es de uso
como percentagem
das metas
planejadas.
N de aci dentes
fatais, em relao ao
perodo anterior.
Tempo mdi o de
viagem, em relao ao
perodo anterior.
Custo das atividades de
treinamento, em relao s
alternativas de mercado.
Custo de treinar um
t r a b a l h a d o r
desempregado em
rel ao a outros
programas de
trei namento e/ou
Qualificao profissional.
N de trabalhadores
trei nados como
percentual das metas
planejadas.
Percentual dos
t r a b a l h a d o r e s
trei nados e
empregados, em
razo do treinamento
recebido.
Custo de elaborao dos
programas, em relao s
alternativas de mercado.
Tempo mdi o de
titulao do aluno em
rel ao a anos
anteriores.
N de estudantes
formados em relao s
metas programadas.
Taxas de evaso escolar,
antes e depois da imple-
mentao do programa.
Percentagem de pessoas
com nvel mdio de
escolaridade, antes e depois
da implementao do
programa.
Economicidade Eficincia Eficcia Efetividade
17
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
2. MAPA DE PRODUTOS
2.1. INTRODUO
Mapa de produtos uma tcnica utilizada para a obteno
de indicadores de desempenho. essencial que definamos, desde
logo, em que sentido estamos utilizando a palavra produto:
PRODUTO um bem, um servio ou uma condio resultante de
atividade(s) de uma organizao ou de um indivduo.
Assim, so exemplos de produtos: benefcios de um
programa, estradas conservadas, correspondncia datilografada,
pacientes atendidos etc. Implementar um programa; conservar
estradas; datilografar correspondncia e atender pacientes so
atividades das quais resultam tais produtos.
Uma administrao pblica voltada para resultados deve
direcionar sua ateno para seus produtos. Entretanto, esse
enfoque pode encontrar alguma resistncia por parte de gestores
habituados a administrar predominantemente os insumos (pessoal,
recursos financeiros, instalaes, etc.) e os processos (atividades
desempenhadas).
2.2. CARACTERSTICAS
Um mapa de produtos possui trs componentes bsicos:
insumos, produtos intermedirios e produtos finais. Ele se
assemelha a uma linha de produo ou de montagem, onde o
importante o produto gerado em cada fase, em vez do processo
(ou atividade) que gerou o produto.
18
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
FIGURA 4 ESTRUTURA BSICA DE UM MAPA DE PRODUTOS
No mapa de produtos as setas indicam que a existncia do
contedo da caixa esquerda (insumo ou produto intermediiro)
necessrio para que se produza o contedo da caixa direita
(produto intermedirio ou final).
Quando estamos lidando com um ministrio, um rgo ou
um programa de governo, os insumos tendem a ser muito parecidos:
poltica de governo, oramento, instalaes, equipamentos, pessoal,
programas de treinamento, sistemas informatizados etc.). medida
que descemos aos escales inferiores da Administrao Pblica,
eles se tornam diferenciados.
Os produtos intermedirios so subprodutos obtidos a partir
dos insumos existentes e que, juntos, daro origem ao produto final.
Pode-se dizer que os produtos intermedirios desempenham o papel
de insumos para outros produtos intermedirios ou para o produto
final.
EXEMPLO 1 MAPA DE PRODUTOS: COMUNICAO VIA
MEMORANDO
O diretor do departamento A, deseja fornecer uma orientao
formal a todos os chefes de diviso que lhe so subordinados. Para
tanto ele dita um memorando para sua secretria, que o digita e o
distribui aos chefes de diviso.
Insumos
Insumos
Produtos
Intermedirios
Produto
Final
Papel
Computador
Secretria
Memorando
Impresso
Comunicao
Efetuada
19
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
O produto final (output) das atividades no deve ser
confundido com o impacto (outcome) originado dessas atividades.
Enquanto o produto final depende apenas do desempenho das
atividades, o impacto que ele causa afetado por condies
externas, que fogem ao controle do rgo ou do indivduo.
EXEMPLO 2 MAPA DE PRODUTOS: ALTERAO NA ROTINA
Retomando o exemplo anterior, se o diretor almeja obter um
maior nvel de satisfao dos funcionrios, mediante uma alterao
na rotina de seu departamento e comunica tal alterao por meio
do memorando aos chefes de diviso, teramos um novo mapa de
produtos.
Note-se, no exemplo acima, que o produto final rotina
alterada, e no maior nvel de satisfao dos funcionrios, que
o impacto almejado. A alterao na rotina depende apenas do correto
funcionamento do departamento. J o maior nvel de satisfao
pretendido depende de fatores externos, como a receptividade dos
funcionrios nova rotina. Exemplos mais complexos foram
extrados das primeiras auditorias realizadas utilizando esta tcnica
e podem ser vistos em anexo.
IMPORTANTE: Mapas de produto e de processo no se
confundem. Aqui esto as principais diferenas entre eles.
Papel
Computador
Secretria
Memorando
Impresso
Comunicao
Efetuada
Rotina
Alterada
20
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
FIGURA 5 MAPA DE PRODUTOS X MAPA DE PROCESSOS
O mapa de processo apresenta graficamente uma
srie de atividades interligadas que do origem a
determinados produtos, ao passo que o mapa de
produtos apresenta graficamente os produtos gerados
por aquelas atividades. Nos mapas de produtos, os
processos esto representados pelas setas.
Processos e atividades mudam com o passar do
tempo, enquanto os produtos, se identificados
adequadamente, devem permanecer os mesmos,
independente das atividades realizadas para obt-los.
O enfoque nos produtos em vez de nos processos
empregados para sua obteno, permite-nos comparar
o desempenho de diferentes alternativas (processos)
para obter os mesmos produtos.
2.3. APLICAO
O mapa de produtos pode ser empregado em diferentes
nveis administrativos: pode ser elaborado para uma instituio,
departamento, funo, atividade individual ou mesmo para um
projeto ou programa . A elaborao do mapa de produtos visa:
Obter um quadro claro sobre os objetivos do rgo ou
da atividade auditada;
Mostrar as relaes de dependncia entre os diversos
produtos;
21
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
Identificar as reas ou setores do rgo responsveis
pelos produtos crticos (aqueles cuja obteno fator
determinante do custo, da qualidade e do prazo de
obteno do produto final);
Estabelecer as bases para o trabalho subseqente de
elaborar indicadores de desempenho.
2.4. ELABORAO
O mapa de produtos deve ser elaborado preferencialmente
com a participao do pessoal da instituio auditada, pois quem
melhor conhece as atividades desempenhadas, os produtos
resultantes, os objetivos e a misso da instituio. Essa participao
contribui para a elaborao de um mapa de produtos capaz de refletir
a realidade da instituio.
Uma forma de angariar essa participao por meio da
realizao de workshop
3
, envolvendo a participao do pessoal
chave da instituio ou do programa auditado que, sob a orientao
da equipe de auditoria, vai montando, passo a passo, o mapa de
produtos. Os passos a serem seguidos no workshop, basicamente,
so:
1 passo. Utilizar a tcnica de brainstorm
4
, incentivando
os participantes a identificar os possveis produtos
resultantes das atividades da instituio. Os produtos
identificados podem ser anotados em etiquetas
autocolantes.
3
Reunio destinada troca de idias e conhecimento prtico sobre um assunto.
4
Tcnica em que o facilitador estimula os participantes a emitir opinies.
22
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
2 passo. Definir qual o produto final e quais so os
intermedirios. Colar a etiqueta que descreve o produto
final na parede da sala ou em alguma superfcie lisa
existente, em local visvel a todos.
3 passo. Selecionar um pequeno nmero de produtos
que sejam essenciais para a funo ou atividade sob
exame. Considerar um mximo de dez produtos,
embora algumas atividades mais complexas possam
exigir um nmero maior.
4 passo. Verificar quais produtos A, B, C etc. deveriam
ter sido obtidos numa fase imediatamente anterior
de obteno do produto final. Colar as etiquetas
referentes a esses produtos esquerda daquela que
representa o produto final.
5 passo. Verificar quais produtos ( X, Y, Z etc.) deveriam
ter sido obtidos numa fase imediatamente anterior a
de obteno dos produtos A, B, C etc., e assim por
diante. Cole as novas etiquetas sempre esquerda
das anteriores.
6 passo. Utilizar o mapa de produtos para mostrar de
que forma esses produtos se relacionam entre si e com
o produto final.
7 passo. Desenhar o mapa, uti l i zando software
apropriado, normalmente disponvel em pacotes para
escritrio, distribuindo-o aos participantes.
23
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
RECOMENDAES:
O produto final no deve ser um resultado genrico,
mas algo mensurvel.
O uso de bloco de notas autocolantes facilita a
montagem do mapa, pois permite que se rearranjem
os produtos at se obter uma seqncia adequada.
A efetiva participao dos auditados essencial. O
papel do auditor no workshop deve ser o de facilitador,
incentivando os prprios participantes a elaborar o
mapa de produtos.
O tempo deve ser controlado. As discusses acerca
de quais so os produtos que devem constar no mapa
podem tornar-se acal oradas e prol ongar-se
demasiadamente.
24
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
3. ELABORAO DE INDICADORES DE DESEMPENHO A
PARTIR DO MAPA DE PRODUTOS
3.1. IDENTIFICAO DOS PRODUTOS-CHAVE
Na anlise do Mapa de Produtos para identificao dos
produtos essenciais, devem ser considerados os seguintes aspectos:
custo: produto cuja obteno demanda muito mais
recursos que os demais;
qualidade: produto de cuja obteno dependem vrios
outros;
tempo: produto que determina o tempo total gasto na
obteno do produto final.
Para identificar os produtos-chave preciso recorrer ao mapa
de produtos e rever os produtos. Para alguns deles no necessrio
desenvolver indicadores de desempenho, pois:
no so produtos crticos; eles esto no mapa apenas
para facilitar o seu entendimento;
no so produtos que necessitem de monitoramento
regular;
so produtos cujo acompanhamento deve ser efetuado
no nvel operacional e no no nvel gerencial.
3.2. FORMULAO DE QUESTES SOBRE
ECONOMICIDADE, EFICINCIA E EFICCIA
Esta a fase crucial na elaborao dos indicadores de
desempenho. Se, durante o workshop com o pessoal chave, tais
questes no forem formuladas, partindo-se diretamente para a
elaborao dos indicadores, podero surgir os seguintes problemas:
25
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
os indicadores sugeridos no refletiro os produtos-
chave que se deseja mensurar;
um nmero excessivo de indicadores sero propostos;
existir uma tendncia em se sugerir indicadores que
reflitam o impacto do produto final, ou de um nico
produto (outcome), em vez dos produtos cuja obteno
depende to-somente das aes da instituio.
IMPORTANTE: O enfoque do workshop no deve recair sobre os
indicadores, mas sobre as questes que os indicadores devem
responder.
Todos os participantes do workshop devem ser instrudos para
que se coloquem no lugar dos gerentes da instituio e tentem definir
as perguntas para as quais provavelmente gostariam de obter
respostas. Essas so as questes que realmente interessam a
respeito dos produtos. Os participantes devem tambm indicar se
tais perguntas referem-se economicidade, eficincia ou
eficcia. Chegando a um consenso, os produtos e as perguntas
devem ser anotados em lugar visvel a todos.
26
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
EXEMPLO 3 QUESTES SOBRE O DESEMPENHO
Instalaes e equipamentos disponveis para uso.
O equipamento est disponvel quando se precisa
dele?
Quai s as reai s condi es de uso do nosso
equipamento?
Quanto custa manter o equipamento em condies
de uso?
Estradas conservadas.
Qual o custo por km de estrada conservada?
mais caro terceirizar ou utilizar pessoal prprio?
As condies gerais das estradas tm melhorado?
Licenas ambientais emitidas.
Quantas licenas foram emitidas comparadas com
o planejado?
Quanto de receita foi gerado?
Qual o custo de se emitir uma licena?
27
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
3.3. IDENTIFICAO DOS INDICADORES DE DESEMPENHO
Deve-se ter especial cuidado na identificao dos indicadores
de desempenho, pois se a avaliao de desempenho da instituio
auditada for efetivamente considerada nas tomadas de deciso, a
incorporao dos indicadores como instrumento dessa avaliao
acarretar cobranas em relao ao cumprimento das metas
estabelecidas. Portanto, ao se desenvolverem indicadores de
desempenho, deve-se sempre buscar o comprometimento do gestor
e observar se os indicadores so teis para a administrao, bem
como para o pblico externo.
Deve ser lembrado que:
So necessrios poucos indicadores. Um nmero
excessivo de indicadores ir sobrecarregar a instituio
na obteno de informao necessria ao seu clculo.
preciso que os indicadores cubram todos os
produtos-chave e forneam i nformaes de
economicidade, eficincia e eficcia. Deve-se evitar a
concentrao de indicadores em torno de um nico
produto, e procurar fazer-se uma di stri buio
equilibrada dos indicadores.
Os i ndi cadores de desempenho devem ser
comparativos. Por exemplo: nmero de treinamentos
efetuados no um indicador, mas sim nmero de
treinamentos efetuados comparado com o nmero
planejado.
Os indicadores de eficincia relacionam insumos com
produtos. Por exemplo: Nmero de crianas vacinadas
por vacinador.
28
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
Aps a discusso sobre as questes que foram colocadas
pelos participantes, devem ser selecionados um ou dois conjuntos
de questes mais relevantes. Para esses conjuntos deve-se tentar
identificar indicadores de desempenho que respondam s questes.
Para os demais, a equipe de auditoria dever identificar os
indicadores, por si mesma ou com algum integrante da instituio,
aps o workshop.
3.4. SELEO DOS INDICADORES
Identificados os indicadores, a equipe provavelmente contar
com um nmero muito grande de potenciais indicadores. O passo
seguinte selecionar os mais relevantes. Essa tarefa, por mais que
se tente tornar o critrio de seleo objetivo, envolve muito de
subjetividade, sendo extremamente necessrio contar-se com a
experincia do pessoal da instituio auditada.
29
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
EXEMPLO 4 SELEO DE INDICADORES
O critrio abaixo foi utilizado na seleo de indicadores de
desempenho para a Secretaria de Assuntos
Multiculturais da Austrlia (Australian Office of
Multicultural Interests):
1) Para cada indicador potencial foram atribudas notas
de 1 a 5 nos seguintes quesitos:
Benefcio: as melhorias potenciais decorrentes
de se utilizar aquele indicador na avaliao do
desempenho.
Relevncia: a relevncia do indicador para os
objetivos da instituio.
Acessibilidade: a disponibilidade de dados para
clculo do indicador.
Controle: o quanto de controle a instituio teria
sobre o indicador.
2) Multiplicaram-se as notas de cada um, obtendo-se
valores entre 1 e 625.
3) Selecionaram-se os indicadores que obtiveram os
maiores produtos.
Utilizando esse critrio, os 27 potenciais indicadores
inicialmente encontrados foram
reduzidos para apenas 8 indicadores de desempenho.
30
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
3.5 DEPURAO DOS INDICADORES SELECIONADOS
Aps a identificao dos indicadores, deve-se proceder a
entrevistas com os gerentes da instituio para se discutir com eles
a adequao desses indicadores. Basicamente, a pergunta que deve
ser colocada para eles : Se os gerentes necessitarem de resposta
a esta pergunta, este indicador de desempenho fornecer a resposta
esperada?. Provavelmente ser necessrio revisar os indicadores
vrias vezes, especialmente em reas onde no existam medies
diretas nem facilidade para obteno de informaes.
3.6 FIXAO DE METAS PARA OS INDICADORES
SELECIONADOS
O passo final consiste na fixao de metas de desempenho
a serem atingidas pela instituio, que devero ser aferidas pelos
indicadores de desempenho elaborados. Cabe aos gestores a
fixao de tais metas, devendo equipe to-somente verificar se
elas so:
1) Realsticas: l evam em conta os obj eti vos da
instituio, o contexto econmico em que est inserida,
as limitaes oramentrias, o desempenho anterior
etc;
2) Exeqveis: so passveis de serem atingidas, pois
se no forem, elas sero vistas como meros ideais e
no tero influncia prtica no comportamento da
instituio;
3) Desafiadoras: so desafiadoras, pois se no forem,
elas no encorajaro a se efetuarem melhorias no
si stema; devem, portanto, ser cada vez mai s
ambiciosas ao longo do tempo, de maneira a incentivar
que a instituio busque a otimizao dos resultados,
a partir dos recursos disponveis;
4) Comparveis: podem ser comparadas internamente
instituio, ou externamente, com outras instituies
de reconhecido bom desempenho na rea;
5) Claras: so facilmente identificveis; no sendo,
podem utilizar termos ambguos na sua definio.
31
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
EXEMPLO 5 FIXAO DE METAS
No desenvolvimento de indicadores de desempenho e metas
a serem atingidas por diferentes instituies governamentais
australianas, criou-se a seguinte escala de desempenho, para
avaliao da evoluo da instituio:
A vantagem de utilizar-se um sistema semelhante que se
pode ter uma viso de como as metas estabelecidas se inserem no
contexto da instituio. Isso permite que se verifique, numa primeira
anlise, se as metas foram estabelecidas de forma correta ( i.e., se
so realsticas, exeqveis, desafiadoras etc.).
3.7 REVISO DOS INDICADORES
Ainda que se tomem todos os cuidados na elaborao de
indicadores de desempenho, eles sempre podero vir a ser
aperfeioados, medida em que forem sendo utilizados pela
instituio auditada.
Outra forma de aperfeioamento dos indicadores sujeit-
los s crticas e sugestes dos usurios dos servios pblicos, de
instituies acadmicas, de outras organizaes governamentais,
das entidades de classe, dos escales superiores nos ministrios,
das entidades governamentais fiscalizadoras, enfim, de todos os
que, de certa forma, esto interessados no desempenho do servio
da entidade pblica em exame.
Melhor nvel de desempenho possvel.
Nvel de desempenho a ser atingido dentro de um
prazo pr-determinado.
Nvel de desempenho atual.
Esse nvel de desempenho aponta a necessidade
de se rever o sistema.
Pior nvel de desempenho possvel.
timo
Meta consensual
Situao atual
Ponto crtico
Inaceitvel
32
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
4. REFERNCIAS
AUDIT Commission. Direction 98 Performance Indicators for
the Financial Year 1999/2000.
ESCOLA Nacional de Administrao Pblica. Curso: Elaborao
de Indicadores de Desempenho. Braslia, 1996.
KPMG. Output Mapping & Developing Performance Indicators.
(Documento do Microsoft Word).
KPMG. Results Oriented Management - ROM. (Apresentao em
Microsoft Powerpoint). Spring 1999.
NATIONAL Audit Office. Value for Money Handbook. Spring 97.
NATIONAL Audit Office. Performance measurement what to look
for in VFM studies. Spring 98.
NATIONAL Audit Office. What are taxpayers getting for their
money? A value for money guide to examining outputs and
outcomes. Spring 1999.
INSTITUTO Serzedello Corra. Curso: Elaborao de Indicadores
de Desempenho Institucional Fbio Ferreira Batista. Novembro,
99.
33
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional