Escolar Documentos
Profissional Documentos
Cultura Documentos
Auditoria Operacional (Manual de Auditoria Operacional - TCU) PDF
Auditoria Operacional (Manual de Auditoria Operacional - TCU) PDF
www.tcu.gov.br
M
Manual de
Auditoria
Operacional
Ministros
Ubiratan Aguiar, Presidente
Benjamin Zymler, Vice-Presidente
Valmir Campelo
Walton Alencar Rodrigues
Augusto Nardes
Aroldo Cedraz
Raimundo Carreiro
Jos Jorge
Jos Mcio
Auditores
Augusto Sherman Cavalcanti
Marcos Bemquerer Costa
Andr Lus de Carvalho
Weder de Oliveira
Ministrio Pblico
Lucas Rocha Furtado, Procurador-Geral
Paulo Soares Bugarin, Subprocurador-Geral
Cristina Machado da Costa e Silva, Subprocuradora-Geral
Marinus Eduardo de Vries Marsico, Procurador
Jlio Marcelo de Oliveira, Procurador
Srgio Ricardo Costa Carib, Procurador
Manual de
Auditoria Operacional
Braslia, 2010
Lista
de
Quadros
Quadro 1
25
Quadro 2
32
Quadro 3
38
Quadro 4
41
Quadro 5
48
Quadro 6
56
Quadro 7
62
Quadro 8
64
Lista
de
Figuras
Figura 1
Diagrama de insumo-produto
11
Figura 2
14
Figura 3
Atividades de planejamento
21
Figura 4
29
Sumrio
Introduo; 9
Objetivo; 9
Dimenses de Desempenho Caractersticas de Anop; 11
Economicidade; 11
Eficincia; 12
Eficcia; 12
Efetividade; 12
Outras dimenses de desempenho; 12
Equidade; 13
Caractersticas da auditoria operacional; 13
Seleo; 15
Processo de seleo dos objetos de auditoria; 15
Integrao com o planejamento estratgico; 15
Critrios de seleo; 15
Agregao de valor; 16
Materialidade; 16
Relevncia; 16
Vulnerabilidade; 17
Levantamento; 17
Levantamento de escopo amplo; 18
Levantamento de escopo restrito; 18
Planejamento; 21
Anlise preliminar do objeto auditado; 23
Definio do objetivo e do escopo da auditoria; 26
Tipos de questo de auditoria; 27
Execuo; 35
Achado de auditoria; 35
Evidncias; 37
Desenvolvimento dos trabalhos de campo; 39
Anlise dos dados coletados; 40
Matriz de achados; 40
Validao da matriz de achados; 42
Relatrio; 43
Orientaes gerais para elaborao do relatrio; 44
Padres de elaborao; 45
Apresentao de dados; 47
Citaes e referncias; 47
Componentes do relatrio de auditoria; 47
Introduo; 49
Viso geral; 49
Captulos principais; 49
Anlise dos comentrios dos gestores; 50
Concluso; 51
Proposta de encaminhamento; 51
Monitoramento; 53
Plano de ao; 53
Sistemtica de monitoramento; 54
Relatrio de monitoramento; 54
Controle de Qualidade; 57
Modalidades de controle de qualidade; 57
Papis dos principais atores envolvidos com o controle de qualidade; 58
Ferramentas de controle de qualidade; 59
Referncias; 69
Introduo
Objetivo
O objetivo deste documento definir princpios e padres que orientem a realizao e o controle de qualidade das auditorias operacionais a cargo das unidades
tcnicas do Tribunal.
Dimenses de Desempenho
Caractersticas de Anop
1
Auditoria operacional (ANOp1) o exame independente e objetivo da
economicidade, eficincia, eficcia e efetividade de organizaes, programas e
atividades governamentais, com a finalidade de promover o aperfeioamento da
gesto pblica2.
2
As auditorias operacionais podem examinar, em um mesmo trabalho, uma
ou mais das principais dimenses de anlise. O diagrama de insumo-produto
ilustra essas dimenses e suas inter-relaes:
Efetividade
Figura 1
Diagrama de
insumo-produto
Economicidade
Compromisso
objetivos
definidos
Insumos
recursos
alocados
Ao/Produo
aes
desenvolvidas
Eficcia
Produto
bens e servios
providos
Resultados
objetivos
atingidos
Eficincia
Economicidade
3
A economicidade a minimizao dos custos dos recursos utilizados na
consecuo de uma atividade, sem comprometimento dos padres de qualidade
(ISSAI 3000/1.5, 2004)3. Refere-se capacidade de uma instituio gerir adequadamente os recursos financeiros colocados sua disposio.
4
O exame da economicidade poder abranger a verificao de prticas
gerenciais, sistemas de gerenciamento, benchmarking de processos de compra e
outros procedimentos afetos auditoria operacional, enquanto o exame estrito da
legalidade de procedimentos de licitao, fidedignidade de documentos, eficincia
dos controles internos e outros devero ser objeto de auditoria de conformidade.
Na prtica, poder haver alguma superposio entre auditoria de conformidade
e auditoria operacional. Nesses casos, a classificao de uma auditoria especfica
depender do objetivo primordial da auditoria (ISSAI 100/41, 2001).
1
Neste manual utiliza-se o termo auditoria operacional como sinnimo de auditoria de desempenho (performance auditing).
A definio de auditoria operacional adotada neste manual est baseada nas Diretrizes da Intosai para auditoria de desempenho - Implementation Guidelines for Performance Auditing (ISSAI
3000/1, 2004).
11
Eficincia
Efetividade
5
A eficincia definida como a relao entre
os produtos (bens e servios)4 gerados por uma
atividade e os custos dos insumos empregados para
produzi-los, em um determinado perodo de tempo,
mantidos os padres de qualidade. Essa dimenso
refere-se ao esforo do processo de transformao
de insumos em produtos. Pode ser examinada sob
duas perspectivas: minimizao do custo total ou dos
meios necessrios para obter a mesma quantidade e
qualidade de produto; ou otimizao da combinao de insumos para maximizar o produto quando
o gasto total est previamente fixado (COHEN;
FRANCO, 1993). Nesse caso, a anlise do tempo
necessrio para execuo das tarefas uma varivel
a ser considerada5. A eficincia pode ser medida
calculando-se e comparando-se o custo unitrio
da produo de um bem ou servio. Portanto, podemos considerar que o conceito de eficincia est
relacionado ao de economicidade.
8
A efetividade diz respeito ao alcance dos resultados pretendidos, a mdio e longo prazo. Refere-se
relao entre os resultados de uma interveno ou
programa, em termos de efeitos sobre a populaoalvo (impactos observados), e os objetivos pretendidos
(impactos esperados), traduzidos pelos objetivos
finalsticos da interveno. Trata-se de verificar a
ocorrncia de mudanas na populao-alvo que se
poderia razoavelmente atribuir s aes do programa
avaliado (COHEN; FRANCO, 1993).
Eficcia
6
A eficcia definida como o grau de alcance
das metas programadas (bens e servios) em um
determinado perodo de tempo, independentemente
dos custos implicados (COHEN; FRANCO, 1993).
O conceito de eficcia diz respeito capacidade da
gesto de cumprir objetivos imediatos, traduzidos
em metas de produo ou de atendimento, ou seja,
a capacidade de prover bens ou servios de acordo
com o estabelecido no planejamento das aes.
7
importante observar que a anlise de eficcia
deve considerar os critrios adotados para fixao
da meta a ser alcanada. Uma meta subestimada
pode levar a concluses equivocadas a respeito da
eficcia do programa ou da atividade sob exame.
Alm disso, fatores externos como restries oramentrias podem comprometer o alcance das metas
planejadas e devem ser levados em conta durante
a anlise da eficcia.
9
Portanto, ao examinar a efetividade de uma
interveno governamental, pretende-se ir alm do
cumprimento de objetivos imediatos ou especficos,
em geral consubstanciados em metas de produo
ou de atendimento (exame da eficcia da gesto).
Trata-se de verificar se os resultados observados
foram realmente causados pelas aes desenvolvidas
e no por outros fatores (ISSAI 3000/1.5, 2004).
A avaliao da efetividade pressupe que bens e/ou
servios foram ofertados de acordo com o previsto.
O exame da efetividade ou avaliao de impacto
requer tratamento metodolgico especfico que busca
estabelecer a relao de causalidade entre as variveis
do programa e os efeitos observados, comparandoos com uma estimativa do que aconteceria caso o
programa no existisse (ISSAI 3000/1.7, 2004).
Os produtos (bens e servios ofertados) podem ser entendidos como resultados imediatos.
a principal questo saber se os recursos foram aplicados para obter uso timo ou satisfatrio ou se resultados similares, em
termos de qualidade e tempo, poderiam ter sido alcanados com menos recursos (ISSAI 3000/1.5, 2004).
12
Equidade
11 O exame da equidade, que pode ser derivado da
dimenso de efetividade da poltica pblica, baseia-se
no princpio que reconhece a diferena entre os indivduos e a necessidade de tratamento diferenciado.
Segundo Rawls (apud COHEN; FRANCO, 1993,
p. 25), para proporcionar uma autntica igualdade
de oportunidades a sociedade deve atender mais aos
nascidos com menos dotes e aos nascidos em setores
socialmente menos favorecidos. Ainda segundo
Rawls (apud MEDEIROS, 1999), o tratamento desigual justo quando benfico ao indivduo mais
carentedesigualdade justa. Promover a equidade
garantir as condies para que todos tenham acesso
ao exerccio de seus direitos civis (liberdade de expresso, de acesso informao, de associao, de
voto, igualdade entre gneros), polticos e sociais
(sade, educao, moradia, segurana)6. Portanto,
as polticas pblicas de proteo e de desenvolvimento social tm papel fundamental na construo
da equidade.
12 O exame da equidade poder envolver, por
exemplo, a investigao dos critrios de alocao de
recursos vis--vis distribuio espacial e o perfil
socioeconmico da populao-alvo; as estratgias
adotadas pelo gestor pblico para adequar a oferta
de servios ou benefcios s diferentes necessidades
do pblico-alvo; ou o exame do impacto diferenciado
decorrente da implementao da poltica pblica7.
Caractersticas da auditoria
operacional
13 As auditorias operacionais possuem caractersticas prprias que as distinguem das auditorias tradicionais. Ao contrrio das auditorias de regularidade8,
De acordo com a Constituio Federal (art. 3, inciso III), constitui objetivo fundamental da Repblica Federativa do Brasil
erradicar a pobreza e a marginalizao e reduzir as desigualdades sociais e regionais. Sobre a ordem econmica, est estabelecido
que esta se fundamenta na valorizao do trabalho humano e na livre iniciativa e que tem por fim assegurar a todos existncia
digna, conforme os ditames da Justia Social observada, entre outros princpios, a reduo das desigualdades regionais e sociais
(art. 170).
Um exemplo desse tipo de anlise consistiria em verificar os ndices de incidncia de determinada enfermidade, aps campanha
de erradicao, segundo a regio ou o perfil socioeconmico da populao para identificar possveis distores derivadas da
forma de implementao da poltica.
Segundo a Intosai, a auditoria de regularidade (regularity audit) compreende auditoria financeira, auditoria de controles internos
e auditoria da legalidade de atos administrativos (ISSAI 100/39, 2001).
13
Figura 2
Ciclo de Auditoria
Operacional
Monitoramento
Divulgao
Seleo
Apreciao
Planejamento
Execuo
Comentrio
do gestor
Relatrio
Fonte: Adaptado de NAO, 1996.
14
Seleo
processo de seleo orientado por escolhas fundamentais, que definem a alocao de recursos e
diretrizes de atuao. A definio de prioridades,
compatveis com a manuteno da qualidade das
atividades de controle, inclui a tomada de decises
estratgicas, luz das informaes disponveis
(ISSAI 200/1.23, 2001).
24 As escolhas estratgicas do rgo controlador
abrangem diferentes perspectivas, desde decises
sobre a alocao de recursos para cumprir suas
obrigaes legais at decises sobre reas de governo
que devem ser examinadas prioritariamente.
25 Assim, as escolhas estratgicas afetam a alocao de recursos em geral, tais como a natureza do
investimento em capacitao, os tipos de ferramentas
de trabalho que devem ser desenvolvidas, o quantitativo de pessoal alocado por linha de atuao.
Alm disso, a seleo de objetos especficos deve partir
de perspectiva geral do rgo de controle sobre temas
prioritrios de auditoria (ISSAI 300/3.2, 2001).
26 Uma vez definidas as grandes reas de atuao,
levando em considerao os objetivos do rgo de
controle, o processo de seleo de objetos de auditoria
pode ser mais bem focado, passando-se ao exame
das informaes setoriais das aes de governo em
confronto com critrios de seleo. Essa segunda
etapa permitir passar do planejamento estratgico
para a formulao de plano operacional.
Integrao com o
planejamento estratgico
Critrios de seleo
15
Agregao de valor
31 Agregar valor refere-se a produzir novos
conhecimentos e perspectivas sobre o objeto de
auditoria (ISSAI 3000/3.2, 2004). As seguintes situaes podem indicar a possibilidade de a auditoria
agregar valor significativo:
a) discusso sobre nova poltica pblica ou
mudana significativa na implementao de programa ou organizao de ente governamental;
b) surgimento de novas ou urgentes atividades
ou mudanas de condio;
c) escassez de auditorias anteriores ou trabalhos
de outros rgos de pesquisa ou de controle
sobre o objeto de auditoria;
Materialidade
32 O critrio de materialidade indica que o processo
de seleo deve levar em considerao os valores
envolvidos no objeto de auditoria, pois a auditoria
deve produzir benefcios significativos. Nem sempre
benefcios das auditorias operacionais so financeiros,
mas o aperfeioamento de processos em objetos de
auditoria com alta materialidade tem grande possibilidade de gerar economia ou eliminar desperdcios.
33 O volume de recursos disponveis no oramento indicador de materialidade. No entanto,
em ambientes oramentrios nos quais existe grande
diferena entre o orado, o contratado e o pago, o
exame dos valores envolvidos em cada uma dessas
fases da despesa pode ser necessrio. Alm disso,
na fiscalizao da rea de regulao, a dimenso
econmica do setor no qual se insere o objeto de
auditoria deve ser levada em considerao.
Relevncia
34 O critrio de relevncia indica que as auditorias
selecionadas devem procurar responder questes de
interesse da sociedade, que esto em debate pblico
e so valorizadas.
35 Os seguintes meios podem ser usados para
aferir a relevncia do possvel objeto de auditoria:
a) opinio de parlamentares, de tcnicos das
casas legislativas ou de institutos de pesquisa,
de figuras proeminentes de diversos setores
da sociedade;
b) declaraes de prioridades nos planos e oramentos pblicos como o Plano Plurianual, a
Lei de Diretrizes Oramentrias, a mensagem
do Executivo que encaminha o oramento ao
Legislativo, os planos setoriais, a manifestao
pblica de priorizao pelo governo;
c) relatos reiterados de desperdcios, erros,
desobedincia a procedimentos;
d) presena na mdia.
16
Vulnerabilidade
36 No contexto do processo de seleo, as vulnerabilidades so situaes ou
propriedades intrnsecas do objeto de auditoria que podem estar associadas
ocorrncia de eventos adversos (ABNT, 2009). Conforme a natureza do objeto
de auditoria que esteja sendo selecionado, necessrio investigar reas especficas referentes operao de programas de governo, organizaes pblicas ou
mesmo municpios a serem auditados. Nesse ltimo caso, podem ser examinadas
caractersticas relacionadas ao desenvolvimento institucional local.
Exemplos de situaes que podem estar associadas
ocorrncia de eventos adversos
Levantamento
37 Para passar do planejamento estratgico para o plano operacional, so
necessrias informaes atualizadas sobre estrutura, funes e operaes dos
possveis objetos de auditoria, que permitam a identificao de reas com alta
materialidade, que apresentem vulnerabilidades e que tenham potencial para que
a auditoria contribua para gerar melhorias na administrao (ISSAI 200/1.23,
2001). A coleta dessas informaes pode ser realizada por meio de levantamento,
que um tipo de instrumento de fiscalizao (BRASIL, 2002a, art. 238).
38 O planejamento estratgico, ao qual se liga o processo de seleo, pode ser
baseado em anlise ou identificao de riscos, ou, de forma menos terica, na
anlise de indicadores de problemas existentes ou potenciais (ISSAI 3000/3.2,
2004). Sendo assim, a identificao ou anlise de riscos pode ter papel importante na definio do escopo do levantamento e na obteno de informaes que
realimentaro o planejamento estratgico.
17
18
19
Planejamento
Definir objetivo e
escopo da auditoria
Rever matriz
Elaborar matriz
de planejamento
Revisar matriz
Questes de auditoria:
descritivas, normativas,
avaliativas e exploratrias.
Elaborar
instrumentos de
coleta de dados
Especificar critrios
de auditoria
no
Submeter ao
supervisor
Ok?
Figura 3
Atividades de planejamento
Painel de referncia
e gestores.
sim
Realizar
teste-piloto
Validar matriz de
planejamento
Ajustar instrumentos
de coleta de dados
Elaborar projeto
de auditoria
21
22
Anlise preliminar do
objeto auditado
67 A anlise preliminar consiste no levantamento
de informaes relevantes sobre o objeto auditado para
adquirir-se o conhecimento necessrio formulao
das questes que sero examinadas pela auditoria.
68 A compreenso do objeto da auditoria permite identificar riscos e pontos crticos existentes
e indispensvel definio do objetivo e do
escopo da auditoria. importante assegurar que
os aspectos centrais do objeto auditado tenham
sido investigados, documentados e compreendidos.
A extenso e o nvel de detalhamento dos dados
que sero coletados devem levar em considerao
a natureza do objeto investigado, o tempo e os
recursos disponveis pela equipe.
69 A equipe deve realizar investigao preliminar
dos controles internos e dos sistemas de informao,
assim como dos aspectos legais considerados significativos no contexto da auditoria. Nas auditorias
23
24
Objetivo
Quadro 1
Tcnicas mais utilizadas na
etapa de planejamento
25
Definio do objetivo e
do escopo da auditoria
79 A partir do conhecimento construdo durante a anlise preliminar do
objeto de auditoria, a equipe dever definir o objetivo da auditoria por meio da
especificao do problema e das questes de auditoria que sero investigadas.
O objetivo deve esclarecer tambm as razes que levaram a equipe a sugerir um
determinado tema e enfoque, caso estes no tenham sido previamente definidos
na deliberao que determinou a realizao da auditoria.
26
Questo de auditoria
A questo de auditoria o elemento central na determinao do direcionamento dos trabalhos de auditoria, das metodologias e tcnicas a adotar e dos
resultados que se pretende atingir.
80 Ao formular as questes e, quando necessrio, as subquestes de auditoria,
a equipe est, ao mesmo tempo, estabelecendo com clareza o foco de sua investigao, as dimenses e os limites que devero ser observados durante a execuo
dos trabalhos.
81 Nesse sentido, a adequada formulao das questes fundamental para o
sucesso da auditoria, uma vez que ter implicaes nas decises quanto aos tipos
de dados que sero coletados, forma de coleta que ser empregada, s anlises
que sero efetuadas e s concluses que sero obtidas.
82 Na elaborao das questes de auditoria, deve-se levar em conta os seguintes aspectos:
a) clareza e especificidade;
b) uso de termos que possam ser definidos e mensurados;
c) viabilidade investigativa (possibilidade de ser respondida);
d) articulao e coerncia (o conjunto das questes elaboradas deve ser
capaz de esclarecer o problema de auditoria previamente identificado).
27
28
Subquesto 1.1
Questo 1
Figura 4
Hierarquia de
questes e subquestes
Subquesto 1.2
Problema
Subquesto 2.1
Questo 2
Subquesto 2.2
29
10
importante observar que desempenho satisfatrio no significa desempenho perfeito e que qualquer julgamento deve levar
em conta as circunstncias do auditado (ISSAI 3000, Apndice 2).
30
11
sempre recomendvel obter a opinio dos gestores sobre os critrios de auditoria que sero
adotados, para que eventuais discordncias possam ser discutidas e esclarecidas logo no incio da
auditoria. Entretanto, os fatos e argumentos apresentados pelos gestores devem ser comparados
com os de outras fontes relevantes (ISSAI 3000, Apndice 2)
31
Quadro 2
Modelo de matriz de
planejamento
Informaes
Fontes de
requeridas
informao
Identificar as
informaes
necessrias
para responder
questo de
auditoria
Identificar as
fontes de cada
item de
informao
Procedimentos
Procedimentos
de coleta de
de anlise de
dados
dados
Identificar as
tcnicas de
coleta de dados
que sero usadas
e descrever
os respectivos
procedimentos
Identificar as
tcnicas a serem
empregadas na
anlise de
dados e
descrever os
respectivos
procedimentos
O que a
Limitaes
anlise vai
permitir
dizer
Especificar
as limitaes
quanto:
- estratgia
metodolgica
adotada
Esclarecer
precisamente
que concluses
ou resultados
podem ser
alcanados
- ao acesso
a pessoas e
informaes
- qualidade
das
informaes
- s condies
operacionais
de realizao
do trabalho
32
33
Execuo
Achado de auditoria
116 Achado a discrepncia entre a situao existente e o critrio. Achados
so situaes verificadas pelo auditor durante o trabalho de campo que sero
usadas para responder s questes de auditoria. O achado contm os seguintes
atributos: critrio (o que deveria ser), condio (o que ), causa (razo do desvio
com relao ao critrio) e efeito (consequncia da situao encontrada). Quando
o critrio comparado com a situao existente, surge o achado de auditoria.
(ISSAI 3000/4.3, 2004).
117 Critrio de auditoria o padro de desempenho usado para medir a economicidade, eficincia, eficcia e efetividade do objeto de auditoria. Serve para
determinar se o objeto auditado atinge, excede ou est aqum do desempenho
esperado. Pode ser definido de forma quantitativa ou qualitativa. Atingir ou
exceder o critrio pode indicar a ocorrncia de boas prticas. No alcanar o
critrio indica oportunidade de melhoria de desempenho. importante destacar que desempenho satisfatrio no desempenho perfeito, mas o esperado,
considerando as circunstncias com as quais o auditado trabalha (ISSAI 3000/
Apndice 2, 2004). Os pargrafos 93 a 97 contm mais informaes sobre critrio
de auditoria.
118 Condio a situao existente, identificada e documentada durante a
auditoria. Causa a razo da diferena entre a condio e o critrio. A causa servir de base para as deliberaes propostas. Efeito a consequncia da diferena
constatada pela auditoria entre condio e critrio. O efeito indica a gravidade da
situao encontrada e determina a intensidade da ao corretiva. (GAO, 2007).
35
Evidncias
123 Evidncias so informaes obtidas durante a auditoria e usadas para fundamentar os achados. O conjunto de achados ir respaldar as concluses do trabalho.
A equipe deve esforar-se para obter evidncias de diferentes fontes e de diversas
naturezas, porque isso fortalecer as concluses (ISSAI/Apndice 3, 2004).
124 A equipe deve determinar a quantidade e o tipo de evidncias necessrias
para atender aos objetivos e ao plano de auditoria, de forma adequada. Para
isso, necessrio que as evidncias tenham alguns atributos. So eles (ISSAI/
Apndice 3, 2004):
a) validade - a evidncia deve ser legtima, ou seja, baseada em informaes
precisas e confiveis;
b) confiabilidade - garantia de que sero obtidos os mesmos resultados se
a auditoria for repetida. Para obter evidncias confiveis, importante
considerar que: conveniente usar diferentes fontes; interessante usar
diferentes abordagens; fontes externas, em geral, so mais confiveis que
internas; evidncias documentais so mais confiveis que orais; evidncias
obtidas por observao direta ou anlise so mais confiveis que aquelas
obtidas indiretamente;
c) relevncia - a evidncia relevante se for relacionada, de forma clara e
lgica, aos critrios e objetivos da auditoria;
d) suficincia - a quantidade e qualidade das evidncias obtidas devem
persuadir o leitor de que os achados, concluses, recomendaes e determinaes da auditoria esto bem fundamentados. importante lembrar
que a quantidade de evidncias no substitui a falta dos outros atributos
(validade, confiabilidade, relevncia). Quanto maior a materialidade do
objeto auditado, o risco de auditoria e o grau de sensibilidade do auditado a
determinado assunto, maior ser a necessidade de evidncias mais robustas.
A existncia de auditorias anteriores tambm indica essa necessidade.
125 As evidncias podem ser classificadas em quatro tipos (ISSAI/Apndice 3, 2004):
a) fsica - observao de pessoas, locais ou eventos. Pode ser obtida por meio
de fotografias, vdeos, mapas. Evidncias fsicas costumam causar grande
impacto. A fotografia de uma situao insalubre ou insegura, por exemplo,
pode ser mais convincente que uma longa descrio;
b) documental - o tipo mais comum de evidncia. Pode estar disponvel
em meio fsico ou eletrnico. obtida de informaes j existentes, tais
como ofcios, memorandos, correspondncias, contratos, extratos, relatrios.
necessrio avaliar a confiabilidade e a relevncia dessas informaes com
relao aos objetivos da auditoria;
c) testemunhal - obtida por meio de entrevistas, grupos focais, questionrios. Para que a informao testemunhal possa ser considerada evidncia,
e no apenas contextualizao, preciso corrobor-la, por meio de confirmao por escrito do entrevistado ou existncia de mltiplas fontes que
confirmem os fatos;
37
38
39
Matriz de achados
138 As constataes e informaes obtidas durante a execuo da auditoria,
bem como as propostas de concluses, recomendaes e determinaes, so
registradas na matriz de achados.
139 A matriz de achados instrumento til para subsidiar e nortear a elaborao do relatrio de auditoria, porque permite reunir, de forma estruturada, os
principais elementos que constituiro os captulos centrais do relatrio. A matriz
propicia compreenso homognea dos achados e seus elementos constitutivos
pelos integrantes da equipe de auditoria e demais interessados. Os itens que
compem a matriz de achados so apresentados no Quadro 4.
40
Constataes de
maior relevncia,
identificadas na fase
de execuo.
encontrada
Situao
Padro usado
para determinar
se o objeto
auditado
atinge, excede
ou est aqum
do desempenho
esperado.
Critrio
Resultado da
aplicao dos
mtodos de
anlise de dados
e seu emprego
na produo de
evidncias. De forma
sucinta, devem ser
indicadas as tcnicas
usadas para tratar
as informaes
coleta das durante
a execuo e os
resultados obtidos.
anlises
Evidncias e
Achado
As deliberaes
contero as medidas
consideradas
necessrias para
sanear as causas
do desempenho
insuficiente.
A identificao
de causas requer
evidncias e anlises
robustas.
Sugere-se parcimnia
na quantidade
de deliberaes e
priorizao para
soluo dos principais
problemas.
Os benefcios
podem ser
quantitativos e
qualitativos. Sempre
que possvel,
quantificlos.
Melhorias que
se esperam
alcanar com a
implementao das
recomendaes e
determinaes.
Aes
identificadas que
comprovadamente
levam a bom
desempenho.
Essas aes
podero subsidiar
a proposta de
recomendaes e
determinaes.
Consequncias
relacionadas s
causas e aos
correspondentes
achados.
esperados
determinaes
prticas
Benefcios
Efeitos
Recomendaes e
Boas
Causas
Quadro 4
Modelo de matriz de achados
41
42
Relatrio
Ao final de cada auditoria, o auditor deve preparar opinio escrita ou relatrio, registrando os achados de forma adequada; seu contedo deve ser fcil de
entender e livre de idias vagas e ambguas, deve incluir somente informaes
que sejam apoiadas por evidncias competentes e relevantes, ser independente,
objetivo, justo e construtivo.
43
155 Para que os relatrios sejam teis e acessveis importante que levem em
considerao o ponto de vista dos leitores (ISSAI 3000/5.3, 2004; BRASIL,
2001). Inicialmente, os relatrios de auditoria operacional tero tramitao
interna, direcionados, principalmente, ao Relator da matria. Alm disso, vi-
44
156 O instrumento usado pelo TCU para organizao dos principais elementos do relatrio a
matriz de achados. A matriz base para discusso
sobre a estrutura do texto entre os integrantes da
equipe de auditoria, bem como para discusso com
o supervisor do trabalho e para apresentao em
painel de referncia.
b) defina o significado das siglas na lista correspondente e use o nome por extenso na primeira
vez em que aparecerem no texto;
157 O fato de que a redao do relatrio normalmente compartilhada pelos integrantes da equipe
de auditoria refora a necessidade de se dispor de
instrumento que apie a elaborao do relatrio.
natural que cada colaborador tenha um estilo prprio
de redigir. Por isso, torna-se necessrio que todos os
membros da equipe discutam previamente a estrutura
e a forma de apresentao das informaes.
158 A conformidade s orientaes e aos padres
de elaborao, bem como a construo de entendimentos comuns por meio de discusses durante
a auditoria, diminui a possibilidade de os textos
produzidos ficarem muito dspares. desejvel que
a equipe mantenha-se mobilizada at que tenha sido
finalizada a redao do relatrio, realizando nesse
perodo a reviso cruzada dos textos elaborados. Esses
cuidados tornaro mais eficiente o trabalho final
do coordenador da equipe, a quem cabe conferir ao
trabalho unidade de forma e estilo.
Padres de elaborao
159 Os padres internacionais para elaborao
de relatrios, aplicveis s auditorias operacionais,
resumem as principais caractersticas de um bom
relatrio (ISSAI 400, 2001). No TCU, devem-se
observar os requisitos de clareza, conciso, convico,
exatido, relevncia, tempestividade e objetividade
(BRASIL, 2009a), bem como os de completude e
convencimento (ISSAI 3000/5.2, 2004). A formula-
45
Apresentao de dados
168 Um elemento chave para a qualidade do relatrio de auditoria a anlise
abrangente dos dados e como ela apresentada. importante que as informaes
sejam bem apresentadas para que os relatrios comuniquem claramente as concluses,
as propostas de deliberao e as anlises nas quais se baseiam (NAO, 1996).
Diretriz da Intosai sobre divulgao de relatrios de auditoria
169 Ao se planejar a estrutura do texto, deve-se prever a sequncia das ilustraes, de forma que possam demonstrar as principais evidncias e concluses que
a equipe de auditoria deseja apontar. H diversos meios de se apresentar dados,
incluindo grficos, diagramas, mapas, fotografias, caixas de texto. Orientaes
sobre apresentao de dados so encontradas em roteiro especfico do TCU
(BRASIL, 2001).
Citaes e referncias
170 A legislao brasileira permite a utilizao no autorizada de obras para fins
de estudo, crtica ou polmica, bem como para produzir prova administrativa,
sem finalidades lucrativas, desde que seja observado o direito de citao (Lei
n 9.610/1998, art. 46). A Associao Brasileira de Normas Tcnicas (ABNT)
determina como uma informao colhida de outra fonte deve ser citada e como
devem ser elaboradas as referncias (ABNT, 2000, 2002).
47
1. Introduo
Identificao simplificada do objeto de auditoria
Antecedentes
Objetivos e escopo da auditoria
Critrios
Metodologia
2. Viso geral
3. Primeiro captulo principal
Objetivo do captulo
Contextualizao especfica para o captulo
Descrio do contedo do captulo
3.1 Subttulo
Pargrafo inicial de impacto, com descrio concisa do achado
Critrio
Anlise das evidncias
Causas
Efeitos e riscos decorrentes da manuteno da situao encontrada
Boas prticas
Concluso
Propostas
Benefcios esperados
4. Anlise dos comentrios dos gestores
5. Concluso
6. Proposta de encaminhamento
Observao: No necessrio criar ttulos para indicar o contedo dos pargrafos.
48
Introduo
Viso geral
Captulos principais
179 Os captulos principais compem-se do relato articulado e argumentado sobre os achados de
auditoria. Os captulos devem ser apresentados em
ordem decrescente de relevncia, isto , inicia-se
pelo tema que se revelou mais importante. O mesmo
se aplica apresentao dos achados dentro de cada
captulo, em subttulos apresentados em ordem decrescente de relevncia. Portanto, nem sempre ser
mantida a ordem proposta no projeto de auditoria.
Outra forma de organizar o texto partir dos temas
mais gerais para os mais especficos. Essa pode ser a
melhor maneira de apresentar assuntos complexos e
interligados cuja compreenso seja facilitada a partir
da leitura de achados que introduzam o contexto no
qual os demais de inserem.
180 A estrutura recomendada pretende abranger
casos gerais e mais frequentes. O Quadro 5 apresenta
a sequncia tpica de apresentao das informaes.
No significa que cada elemento do relato tenha
49
50
Concluso
190 Esse captulo deve trazer as respostas s questes
de auditoria. As concluses devem responder aos
objetivos da auditoria, basear-se na racionalidade e
em critrios especficos da auditoria (ISSAI 3000/4.5,
2004). As concluses do relatrio so afirmaes da
equipe, deduzidas dos achados. Devem destacar os
pontos mais importantes da auditoria e as principais
propostas de deliberaes (ISSAI 3000/4.3, 2004).
191 Concluses so afirmaes sintticas e, como
tal, inevitavelmente omitem ou simplificam algumas
das informaes registradas no corpo do relatrio
(NAO, 200-).
192 A concluso deve destacar de forma equilibrada
os pontos fortes do objeto de auditoria, as principais
oportunidades de melhoria de desempenho e os possveis benefcios esperados quantificando-os, sempre
que possvel, em termos de economia de recursos ou
de outra natureza de melhoria. Devem ser relatadas
as dificuldades enfrentadas pelos gestores e destacadas as iniciativas positivas por eles empreendidas
no sentido de superar as dificuldades.
Proposta de encaminhamento
193 Caso sejam propostas deliberaes, elas devem
ter correspondncia clara com os achados e devem
ser baseadas nas causas desses achados (ISSAI
3000/5.2, 2004). As propostas de encaminhamento
so recomendaes e determinaes que a equipe de
auditoria demonstra serem necessrias e que contribuiro para sanar alguma deficincia identificada
pela auditoria.
194 A causa do problema pode estar fora do controle do auditado. Nesse caso, a proposta pode ser
direcionada para outro rgo/entidade, hiptese na
qual se recomenda que ela seja discutida com os interessados. Propostas devem ser formuladas focando
o qu deve ser aperfeioado ou corrigido e no o
como, embora circunstncias possam surgir que
demandem a formulao de propostas especficas,
como aperfeioamento ou correo de regulamentos
51
Monitoramento
Plano de ao
202 Considerando que o gestor tem a responsabilidade de solucionar as ocorrncias apontadas
durante a auditoria, cabe a ele apresentar proposta
das medidas a adotar e o respectivo cronograma.
Isso feito por meio do plano de ao.
Sistemtica de monitoramento
208 Logo aps a apreciao da auditoria pelo Tribunal, recomenda-se que a unidade tcnica do TCU
encarregada do monitoramento entre em contato com
o gestor do rgo ou programa auditado para orientlo sobre o monitoramento da auditoria. Se houver
interesse, poder ser agendada reunio, durante a
qual a equipe do TCU explicar aos participantes
a sistemtica de monitoramento e apresentar ao
gestor modelo de plano de ao, a ser entregue no
prazo estabelecido pelo Acrdo. Sugere-se convidar
representantes do rgo de controle interno (sempre
que oportuno), do objeto auditado e de demais rgos
ou entidades envolvidos com a implementao das
recomendaes e determinaes.
209 Se for necessrio, haver outras reunies entre
os interessados, especialmente quando a implementao das deliberaes for complexa, demandar
mais tempo de monitoramento, envolver diversas
unidades governamentais ou quando for percebida
alguma resistncia por parte do auditado.
210 A partir da anlise do plano de ao, o gestor
ser informado da previso de monitoramento da
auditoria. O cronograma de monitoramento (quantidade, periodicidade, prazo) dever ser adaptado
s particularidades de cada auditoria e definido a
partir do teor das deliberaes do TCU e das datas
54
Relatrio de monitoramento
214 O relatrio de monitoramento dever ser documento autnomo, ou seja, dever conter informaes
suficientes, de forma que no seja necessria, para
o entendimento do tema, a leitura do relatrio de
auditoria e de outros relatrios de monitoramento.
O relatrio de monitoramento tem por objetivos:
apresentar a situao de implementao das deliberaes; demonstrar, analiticamente, o benefcio efetivo decorrente dessa implementao; mensurar o custo/
benefcio da auditoria.
215 A estrutura e a forma de elaborao do relatrio de monitoramento devero
seguir os padres definidos pelo TCU (BRASIL, 2009b). A verso preliminar
do relatrio de monitoramento, a critrio da equipe e do supervisor, poder ser
enviada aos gestores para que eles possam agregar comentrios e sugestes que
julguem pertinentes sobre as constataes da equipe. A anlise desses comentrios
ser incorporada ao relatrio final.
55
Quadro 6
Exemplo de quadro resumo
da situao de implementao
das deliberaes
Situao
Implementada/
cumprida
1 Monitoramento
Itens
9.1.4; 9.1.7;
9.1.12
2 Monitoramento
Itens
Pa r c i a l m e n t e
implementada/
cumprida
Em implementao
Itens
32
9.1.1; 9.1.2;
9.1.3; 9.1.4;
9.1.5; 9.1.7;
9.1.8; 9.1.10;
9.1.11; 9.1.12;
9.2.1, 9.3,
9.4.2;9.5; 9.6
83
9.1.2; 9.1.4;
9.1.5; 9.1.7;
9.1.12; 9.3
17
9.1.1; 9.1.3;
9.1.6; 9.1.8;
9.1.9; 9.1.10;
9.1.11; 9.2.1;
9.2.2; 9.4.1;
9.4.2; 9.5; 9.6
9.2.2; 9.1.6;
9.1.9
68
17
9.1.1; 9.1.2;
9.1.3; 9.1.5;
9.1.9; 9.1.10;
9.1.11; 9.4.1;
9.4.2; 9.5; 9.6;
9.2.2
66
17
No aplicvel
9.1.8
56
3 Monitoramento
9.4.1
Controle
de
Qualidade
Modalidades de controle
de qualidade
223 O controle de qualidade um processo contnuo
que abrange as atividades de superviso e orientao
da equipe pelo supervisor em todas as fases do ciclo
das auditorias operacionais, bem como as atividades
de iniciativa da equipe e a reviso do trabalho por
outros agentes. O controle de qualidade pode ser
concomitante ou a posteriori.
224 O controle de qualidade concomitante
integra-se s atividades desenvolvidas durante o
ciclo de auditoria. Envolve a orientao da equipe
pelo supervisor sobre a concepo da auditoria, o
mtodo de trabalho e a anlise de evidncias, bem
como atividades compartilhadas pelo supervisor e a
equipe, como o acompanhamento do cronograma,
revises peridicas dos papis de trabalho, consultas
opinio de especialistas e painis de referncia.
57
O controle de qualidade a posteriori pode ser exercido por meio de revises internas ou externas dos
papis de trabalho e dos relatrios produzidos, aps
a concluso da auditoria.
225 Alm da adoo dos procedimentos de controle,
a promoo da qualidade tambm pode ser executada
por meio de iniciativas anteriores s fiscalizaes,
como a redao de manuais com o objetivo de
orientar a execuo dos trabalhos e a realizao de
seminrios e treinamentos visando capacitao
das equipes de auditoria para os trabalhos a serem
desenvolvidos (NAO, 1996).
226 Outra forma efetiva de promover a qualidade
das auditorias consiste em criar condies de trabalho
que promovam o dilogo, a delegao e a confiana
mtua dentro da organizao, bem como estimulem
o senso de responsabilidade dos auditores (ISSAI
3000/Apndice 4, 2004).
58
Ferramentas de controle
de qualidade
232 O controle de qualidade nas auditorias operacionais realizado com o auxlio de determinadas
tcnicas e procedimentos rotineiros que facilitam a
sua aplicao. As principais ferramentas de controle
de qualidade so:
a) checklists de qualidade;
b) cronograma;
c) matriz de planejamento;
d) matriz de achados;
e) painis de referncia;
f) comentrios dos gestores.
233 O checklist uma lista de verificao da realizao de atividades e do cumprimento de padres de
qualidade aplicveis a atividades, papis de trabalho
59
60
Apndice Planejamento
Matriz de Planejamento:
Como Preench-la
Embora os elementos da matriz de planejamento
sejam apresentados seqencialmente, a definio
das questes de auditoria, a escolha das estratgias
metodolgicas apropriadas, assim como os resultados
a que se quer chegar com a anlise proposta (o que
a anlise vai permitir dizer) acontecem simultaneamente, confrontando-se essas informaes de
maneira a assegurar a consistncia lgica do projeto
de auditoria.
Informaes Requeridas
Para se determinar o tipo de informao necessria
para responder questo de auditoria, os termoschave empregados na questo devem ser definidos e suas dimenses ou variveis identificadas.
Por exemplo, ao formular uma questo envolvendo
o impacto de uma iniciativa governamental voltada
para a melhoria do nvel de ensino, deve-se definir
o que se entende por melhoria do nvel de ensino,
identificando-se as dimenses envolvidas nesse conceito. A tarefa de traduzir conceitos abstratos em
variveis mensurveis indispensvel para que se
possa especificar com clareza o tipo de informao
a ser coletada.
Fontes de Informao
Deve-se identificar a fonte especfica para cada tipo
de informao. Exemplos de fontes de informao:
a) documentao legal e institucional que d
suporte ao objeto de auditoria;
b) legislao oramentria (PPA, LDO e
LOA);
c) misso declarada, planos estratgicos e
relatrios de gesto;
Mtodo
Estratgias Metodolgicas
A estratgia metodolgica a forma geral do desenho
investigativo que ser adotado na auditoria e deve ser
especificado nas colunas de procedimentos de coleta
e anlise de dados. Devem-se registrar a abordagem
e os mtodos que sero empregados na investigao
de cada questo e subquesto formulada. A estratgia
metodolgica est diretamente relacionada com a
61
qualidade das evidncias que podem ser obtidas, o que, por sua vez, influir na
confiabilidade das concluses do trabalho.
A Intosai relaciona as abordagens mais adequadas para responder a algumas
questes tpicas de auditoria operacional (ISSAI 3000/Apndice 1, 2004), conforme Quadro 7:
Quadro 7
Principais abordagens
em auditoria operacional
Questo de auditoria
Abordagens
Avaliao de impacto
Os benefcios do programa excedem os custos? Estudos de custo-benefcio e de custoOs objetivos so alcanados ao menor custo possvel? efetividade
As atividades e procedimentos adotados esto sendo Estudo de benchmarking
realizados conforme as melhores prticas?
A qualidade da avaliao realizada aceitvel?
Estudo de meta-avaliao
Situao complexa significa que muitos fatos podem influenciar os acontecimentos e que essas
influncias podem interagir no-linearmente, tornando impossvel isolar os efeitos das variveis
sob estudo.
13
Compreenso abrangente indica que os estudos de caso visam obter uma representao, a mais
completa possvel, do que est acontecendo e do porqu.
14
62
15
c) Pesquisa: a pesquisa uma estratgia metodolgica que permite obter informaes de carter
quantitativo e qualitativo relacionadas tanto
aos aspectos operacionais e gerenciais, como
aos resultados esperados. Com freqncia,
utilizada em conjunto com estudos de caso como
suporte para as anlises de carter qualitativo,
tpicas dessa ltima estratgia. Quando a pesquisa for baseada em amostragem estatstica15,
possvel generalizar as concluses para toda
a populao. Para garantir essa generalizao,
a amostra deve refletir as caractersticas da
populao-alvo. Qualquer deficincia do mtodo
amostral utilizado deve ser levada em conta na
interpretao dos resultados da pesquisa e ser
devidamente relatada.
A pesquisa que tem como objeto todos os membros de uma populao denominada censo.
63
APLICAO EM AUDITORIA
TCNICAS
CARACTERSTICAS
Questionrios
Os meios mais utilizados so os questionrios postais ou via internet. As principais desvantagens so:
- comparar respostas;
OPERACIONAL
64
TCNICAS
Observao Direta
CARACTERSTICAS
Empregado principalmente para obter informao contextualizada sobre a forma de funcionamento do objeto
auditado.As vantagens desse mtodo podem ser assim
resumidas (PATTON, 1987):
- permite ao observador compreender o contexto no
qual se desenvolvem as atividades;
O observador treinado deve ser capaz de coletar informaes exatas, vlidas e confiveis. - permite ao observador testemunhar os fatos, sem
depender de informaes de terceiros;
- permite que um observador treinado perceba aspectos
que escapam aos participantes, rotineiramente envolvidos com o programa;
- pode captar aspectos do programa sobre os quais os
participantes no desejam falar numa entrevista, por
ser um tema delicado ou embaraoso;
- traz para a anlise as percepes do prprio observador, que, ao serem confrontadas com as percepes
dos entrevistados, fornecem uma viso mais completa
do programa estudado;
- permite que o observador forme impresses que extrapolem o que possvel registrar, mesmo nas mais detalhadas anotaes de campo, e que podem auxiliar na
compreenso do programa e dos seus participantes.
Uso de dados
Existentes
O uso de dados existentes requer cuidados especiais por parte da equipe de auditoria. Alm
da confiabilidade dos dados, outras questes
devem ser consideradas:
As auditorias operacionais tambm recorrem a outras tcnicas de coleta de dados, como grupo focal, painis
de especialistas e seminrios.
A coleta de dados um ajuste entre a soluo ideal e a soluo possvel. Um projeto de auditoria muito
ambicioso na coleta de dados, de forma perfeitamente completa, precisa e exata, pode prejudicar a realizao
da auditoria. A necessidade de ser exato deve ser equilibrada com critrios de razoabilidade, economia e
relevncia, luz dos objetivos da auditoria. Por conseqncia, o relatrio de auditoria deve sempre informar
sobre a qualidade das informaes e como foram coletadas (ISSAI 3000/4.5, 2004).
65
66
Box plot.
Limitaes
Nesse elemento da Matriz de Planejamento, a equipe de auditoria deve especificar
as limitaes inerentes estratgia metodolgica adotada, s caractersticas das
informaes que se pretende coletar e s condies operacionais de realizao
dos trabalhos.
67
18
19
68
Uma boa auditoria levar em conta as limitaes existentes, em outras palavras: ... a qualidade tcnica de um estudo ou mtodo pode ser determinada pela comparao entre o que foi
realizado e o que era possvel realizar. (GAO, 1991, p. 8).
Referncias
69
71
Equipe tcnica
Dagomar Henriques Lima
Fbio Mafra
Glria Maria Merola da Costa Bastos (coordenadora)
Maria Lcia de Oliveira Feliciano de Lima
Responsabilidade editorial
Secretaria Geral da Presidncia
Instituto Serzedello Corra
Centro de Documentao
Editora do TCU
Projeto grfico
Editora do TCU
Capa e diagramao
Paulo Brando
Ouvidoria do Tcu
0800-6441500
Ministros
Ubiratan Aguiar, Presidente
Benjamin Zymler, Vice-Presidente
Valmir Campelo
Walton Alencar Rodrigues
Augusto Nardes
Aroldo Cedraz
Raimundo Carreiro
Jos Jorge
Jos Mcio
Auditores
Augusto Sherman Cavalcanti
Marcos Bemquerer Costa
Andr Lus de Carvalho
Weder de Oliveira
Ministrio Pblico
Lucas Rocha Furtado, Procurador-Geral
Paulo Soares Bugarin, Subprocurador-Geral
Cristina Machado da Costa e Silva, Subprocuradora-Geral
Marinus Eduardo de Vries Marsico, Procurador
Jlio Marcelo de Oliveira, Procurador
Srgio Ricardo Costa Carib, Procurador
Negcio
Controle Externo da Administrao Pblica
e da gesto dos recursos pblicos federais
Misso
Assegurar a efetiva e regular gesto dos
recursos pblicos em benefcio da sociedade
Viso
Ser instituio de excelncia no controle
e contribuir para o aperfeioamento da
Administrao Pblica
www.tcu.gov.br
M
Manual de
Auditoria
Operacional