Você está na página 1de 170

MANUAL DE

AUDITORIA OPERACIONAL
Edição de 2020
República Federativa
República Federativa do
do Brasil
Brasil
Tribunal de Contas da União
Tribunal de Contas da União
Ministros
José Mucio Monteiro (Presidente)
Ana Arraes (Vice-Presidente)
Walton Alencar Rodrigues
Benjamin Zymler
Augusto Nardes
Aroldo Cedraz de Oliveira
Raimundo Carreiro
Bruno Dantas
Vital do Rêgo

Ministros-Substitutos
Augusto Sherman Cavalcanti
Marcos Bemquerer Costa
André Luís de Carvalho
Weder de Oliveira

Ministério Público junto ao TCU


Cristina Machado da Costa e Silva (Procuradora-Geral)
Lucas Rocha Furtado (Subprocurador-Geral)
Paulo Soares Bugarin (Subprocurador-Geral)
Marinus Eduardo de Vries Marsico (Procurador)
Júlio Marcelo de Oliveira (Procurador)
Sérgio Ricardo Costa Caribé (Procurador)
Rodrigo Medeiros de Lima (Procurador)
MANUAL DE
AUDITORIA OPERACIONAL 1

Brasília, 2020
© Copyright 2020, Tribunal de Contas de União
<www.tcu.gov.br>

Permite-se a reprodução desta publicação,


em parte ou no todo, sem alteração do conteúdo,
desde que citada a fonte e sem fins comerciais.

2 Brasil. Tribunal de Contas da União.

Manual de auditoria operacional / Tribunal de Contas


da União. -- 4.ed. – Brasília : TCU, Secretaria-Geral de
Controle Externo (Segecex), 2020.

166 p.

Título da 1ª e 2ª edição: Manual de auditoria de natureza


operacional.

Conteúdo atual alinhado às Normas Internacionais das


Entidades Fiscalizadoras Superiores (ISSAI, na sigla em
inglês) da International Organization of Supreme Audit
Institutions – Intosai, aprovadas em 2016 e renumeradas
para a nova estrutura de normas da Intosai em 2019.

1. Auditoria operacional - manual. 2. Normas de


auditoria. I.Título

Ficha catalográfica elaborada pela Biblioteca Ministro Ruben Rosa


PORTARIA-SEGECEX Nº 18, DE 12 DE NOVEMBRO DE 2020

Aprova a revisão do Manual de


Auditoria Operacional.

O SECRETÁRIO-GERAL DE CONTROLE EXTERNO, no uso das atribuições con-


feridas pelo inciso III do art. 31 e pelo inciso X do art. 91 da Resolução-TCU nº 305,
de 28 de dezembro de 2018,
considerando o objetivo estratégico temático de modernizar os métodos
e processos de controle de modo a garantir seletividade, tempestividade e
qualidade e o indicador de aderência às Normas Internacionais das Entidades
Fiscalizadoras Superiores, constantes do Plano Estratégico do TCU 2019-2025;
considerando a necessidade de atualização do Manual de Auditoria Opera-
3
cional à evolução dos métodos e técnicas empregados pelo TCU na realização
dessas auditorias;
considerando a revisão das Normas de Auditoria do Tribunal de Contas da
União realizada pela Portaria-TCU nº 168, de 30 de junho de 2011;
considerando a aprovação da Norma para Auditoria Operacional (ISSAI
3000) no Congresso da Organização das Entidades Fiscalizadoras Superiores
(Intosai) em 2016 e a nova estrutura de pronunciamentos profissionais aprova-
da no Congresso da Intosai em 2019; e
considerando os estudos e as conclusões constantes do processo TC
021.076/2020-0, resolve:
Art.  1º    Fica aprovada a revisão do Manual de Auditoria Operacional, nos
termos do Anexo Único a esta portaria, contendo os requisitos e orientações
que deverão ser aplicados à realização, ao controle e à asseguração de qua-
lidade das auditoras operacionais a cargo das unidades técnicas do Tribunal
de Contas da União.
Art.  2º  Compete à unidade de métodos da Secretaria-Geral de Controle Ex-
terno realizar estudos e propor eventuais ajustes para o aperfeiçoamento do
manual de que trata esta portaria, bem como esclarecer dúvidas e receber
sugestões acerca do documento.
Art. 3º Ficam revogadas a Portaria-Segecex nº 4, de 26 de fevereiro de 2010,
e a Portaria-Segecex nº 12, de 15 de março de 2002.
Art. 4º Esta portaria entra em vigor na data de sua publicação.

PAULO ROBERTO WIECHERS MARTINS


Secretário-Geral de Controle Externo
4
APRESENTAÇÃO

O objetivo deste Manual de Auditoria Operacional (MAO) é definir re-


quisitos e oferecer orientações para a realização desse tipo de audi-
toria e do seu controle de qualidade pelas unidades técnicas do Tribunal
de Contas da União (TCU). Destina-se a todos os auditores do TCU que
realizem auditorias operacionais. Também pode ser usado por auditores
de outras entidades ou unidades de auditoria e fiscalização que queiram
aplicar em seus trabalhos práticas embasadas nas normas internacionais
de auditoria da Intosai.
Esta é a quarta edição do manual, publicado inicialmente em 1998, re-
visado em 2000 e 2010. Diferencia-se das anteriores, pois está alinhado
às Normas Internacionais das Entidades Fiscalizadoras Superiores (ISSAI,
5
na sigla em inglês) da International Organization of Supreme Audit Insti-
tutions – Intosai, aprovadas em 2016 e renumeradas para a nova estru-
tura de normas da Intosai em 2019. A ISSAI 3000 é o primeiro conjunto
de normas internacionais de auditoria operacional, cuja elaboração foi
realizada sob coordenação do TCU, quando na presidência do Subcomitê
de Auditoria Operacional daquela entidade.
O MAO faz a ligação entre as Normas de Auditoria do Tribunal de Con-
tas de União (NAT), que são normas gerais para auditoria governamental,
e as normas e orientações internacionais (ISSAI) aplicáveis à auditoria
operacional, no contexto das práticas processuais e de auditoria em uso
no TCU. Lembramos que as Normas Brasileiras de Auditoria do Setor
Público (NBASP) para auditoria operacional, publicada pelo Instituto Rui
Barbosa (IRB), é a tradução da ISSAI 3000.
O documento reflete a evolução dos métodos e técnicas empregados
pelo TCU e outras Entidades Fiscalizadoras Superiores (EFS), por meio da
acumulação de experiência na execução de auditorias operacionais. Na
elaboração deste manual foram consideradas as melhores experiências
internacionais sobre o tema, contribuições de profissionais desta Corte
e as sugestões apresentadas por ocasião da consulta pública a qual foi
submetida a versão inicial do documento em 2019.
Esperamos que o MAO contribua para sustentar a qualidade da audi-
toria operacional no TCU e seja a base segura para desenvolvimentos e
inovações nas suas práticas de auditoria.

PAULO ROBERTO WIECHERS MARTINS


Secretário-Geral de Controle Externo
6
SUMÁRIO

1 INTRODUÇÃO 11

1.1 ESTRUTURA DE NORMAS DA INTOSAI 12


1.2 DEFINIÇÃO DE AUDITORIA OPERACIONAL 14
1.3 PRINCIPAIS CONCEITOS EM AUDITORIA OPERACIONAL 14
1.3.1. Economicidade 16
1.3.2. Eficiência 17
1.3.3. Eficácia 17
1.3.4. Efetividade 17
1.3.5. Equidade 18
1.3.6. Exemplo de aplicação 19
7
1.3.7. Outras dimensões de desempenho 19
1.4 CARACTERÍSTICAS DA AUDITORIA OPERACIONAL 20
1.5 CICLO DE AUDITORIA OPERACIONAL 22
1.6 ELEMENTOS DE AUDITORIA OPERACIONAL 25

2 REQUISITOS GERAIS 27
2.1 INDEPENDÊNCIA E ÉTICA 27
2.2 CONFIANÇA E ASSEGURAÇÃO 30
2.3 RISCO DE AUDITORIA 31
2.3.1. Conclusões incorretas ou incompletas 32
2.3.2. Relatório desequilibrado 32
2.3.3. Não agregação de valor 32
2.3.4. Dificuldade de acesso à informação ou
informação de baixa qualidade 33
2.3.5. Omissões ou informações enganosas devido
a erro de interpretação ou fraude 33
2.3.6. Dificuldade de análise dos dados 34
2.3.7. Dificuldade de lidar com temas complexos
ou politicamente sensíveis 34
2.4 COMUNICAÇÃO 35
2.5 HABILIDADES 36
2.6 SUPERVISÃO 38
2.7 JULGAMENTO E CETICISMO PROFISSIONAIS 39
2.7.1. Risco de fraude 40
2.8 CONTROLE E ASSEGURAÇÃO DE QUALIDADE 41
2.9 MATERIALIDADE 47
2.10 DOCUMENTAÇÃO 48

3 SELEÇÃO DE TEMAS 52
3.1 PROCESSO DE SELEÇÃO 52
3.2 INTEGRAÇÃO COM O PLANEJAMENTO ESTRATÉGICO 53
3.3 CRITÉRIOS DE SELEÇÃO 54
3.4 LEVANTAMENTO 56
3.4.1. Levantamento de escopo amplo 57
3.4.2. Levantamento de escopo restrito 57

3.5 FORMULAÇÃO DA PROPOSTA DE AUDITORIA 59

4 PLANEJAMENTO 60
4.1 ATIVIDADES DO PLANEJAMENTO 60
8
4.2 ANÁLISE PRELIMINAR DO OBJETO DE AUDITORIA 63
4.3 ESTRATÉGIA GLOBAL DE AUDITORIA 69
4.4 DEFINIÇÃO DA ABORDAGEM DE AUDITORIA 70
4.4.1. Enfoque integrado de governo 72

4.5 DEFINIÇÃO DO ESCOPO DA AUDITORIA 74


4.6 DEFINIÇÃO DO OBJETIVO E DAS QUESTÕES DE AUDITORIA 75
4.6.1. Tipos de questão de auditoria 78

4.7 DEFINIÇÃO DOS CRITÉRIOS DE AUDITORIA 83


4.8 MATRIZ DE PLANEJAMENTO 85
4.8.1. Validação da matriz de planejamento 91
4.9 ELABORAÇÃO DE INSTRUMENTOS DE COLETA
DE DADOS E TESTE-PILOTO 93
4.10 PLANO DE AUDITORIA 94

5 EXECUÇÃO 95
5.1 DESENVOLVIMENTO DOS TRABALHOS DE CAMPO 95
5.2 ACHADO DE AUDITORIA 97
5.3 EVIDÊNCIAS 100
5.4 TÉCNICAS DE COLETA DE DADOS 104
5.4.1. Revisão documental 104
5.4.2. Entrevista 105
5.4.3. Aplicação de questionários 106
5.4.4. Observação direta 107
5.4.5. Grupo focal 108
5.5 TÉCNICAS DE ANÁLISE DE DADOS 109
5.5.1.
Estatística descritiva 111
5.5.2. Regressão 111
5.5.3. Análise de conteúdo 112
5.5.4. Triangulação 112
5.5.5. Cruzamento eletrônico de dados 113

5.6 MATRIZ DE ACHADOS 113


5.6.1. Validação da matriz de achados 117

6 RELATÓRIO E DIVULGAÇÃO 118


6.1 ORIENTAÇÕES GERAIS PARA ELABORAÇÃO DO RELATÓRIO 120
6.2 REQUISITOS DO RELATÓRIO 122 9
6.3 ESTILO DE REDAÇÃO 124
6.4 COMPONENTES DO RELATÓRIO 126
6.4.1. Elementos pré-textuais 127
6.4.2. Introdução 131
6.4.3. Visão geral 132
6.4.4. Capítulos principais 132
6.4.5. Conclusão 135
6.4.6. Proposta de encaminhamento 135
6.4.7. Elementos pós-textuais 137

6.5 COMENTÁRIOS DOS GESTORES E ANÁLISE DA EQUIPE 141


6.6 DIVULGAÇÃO 142

7 MONITORAMENTO 144
7.1 FORMAS DE MONITORAMENTO 146
7.2 SISTEMÁTICA DE MONITORAMENTO 147

REFERÊNCIAS 150

APÊNDICE A - PRINCIPAIS ESTRATÉGIAS METODOLÓGICAS


UTILIZADAS EM AUDITORIA OPERACIONAL 159

LISTA DE ILUSTRAÇÕES 165

LISTA DE SIGLAS 166


10
1 INTRODUÇÃO

1. No XX Congresso Internacional de Entidades Fiscalizadoras


Superiores (Incosai, na sigla em inglês), em 2010, foram aprovadas as
Normas Internacionais das Entidades Fiscalizadoras Superiores (ISSAI,
na sigla em inglês) para os três tipos de auditoria do setor público
(operacional1, financeira e de conformidade).

2. É importante que o Tribunal de Contas da União (TCU) dispo-


nha de um manual alinhado às ISSAI e que, ao mesmo tempo, possa
interpretá-las no contexto das normas internas, incluindo as Normas
11
de Auditoria do TCU (NAT), e fornecer orientações adicionais que pos-
sibilitem aos auditores alinhar suas práticas de auditoria às normas
profissionais internacionalmente aceitas.

3. Cabe esclarecer que o Instituto Rui Barbosa2 (IRB), do qual o


TCU faz parte, vem internalizando as ISSAI por intermédio da publica-
ção das Normas Brasileiras de Auditoria do Setor Público (NBASP) des-
de 2015. As NBASP realizam a convergência das ISSAI ao contexto dos
tribunais de contas brasileiros ou são tradução direta dessas normas.
Como a norma profissional para auditoria operacional, NBASP 3000,
é tradução da ISSAI 3000, mantendo os números de parágrafos, o
manual não faz referência às duas simultaneamente, adotando a ISSAI
3000 como fonte principal.

4. Ao longo do manual, são especificadas as condutas e práticas


que devem ser adotadas pelo auditor, no exercício de suas atividades,
e que se compatibilizam com o seu papel, o qual deve ser visto de for-
ma abrangente, abarcando desde as atribuições dos dirigentes da En-
tidade Fiscalizadora Superior (EFS), dos encarregados de supervisionar
os trabalhos, até as dos membros das equipes de auditoria.

1
Em inglês, performance audit. No TCU, chamada de auditoria operacional. Em outros países, tam-
bém é conhecida como auditoria de gestão, de desempenho, operativa, value for money.
2
O Instituto Rui Barbosa – IRB é uma associação civil criadas pelos Tribunais de Contas do Brasil
em 1973 com o objetivo de auxiliar os Tribunais no desenvolvimento e aperfeiçoamento das ati-
vidades dos Tribunais de Contas (https://irbcontas.org.br/sobre-o-irb/, acesso em 21/10/2020).
5. O manual também contribui para a realização de auditorias
que integram a estratégia de avaliação de resultados de políticas e pro-
gramas públicos, cujo produto é o relatório anual que deve ser enviado
ao Congresso Nacional sobre a qualidade da implementação e o alcan-
ce de metas e objetivos dos programas e ações governamentais. Esse
relatório visa subsidiar a discussão da lei orçamentária pela Comissão
Mista de Planos, Orçamentos Públicos e Fiscalização (CMO).

6. Este manual é composto por 7 capítulos. Esta introdução re-


sume a estrutura de normas da Organização das Entidades Fiscaliza-
doras Superiores (Intosai, na sigla em inglês), a definição de auditoria
operacional e seus principais conceitos, uma breve descrição do ciclo
de auditoria operacional e de seus elementos. O capítulo 2 apresenta
os requisitos gerais para auditoria operacional estabelecidos nas ISSAI,
que devem ser observados ao longo de todo seu processo. O capítulo
3 trata do processo de seleção de temas de auditoria. O capítulo 4
contém os conceitos e atividades referentes ao planejamento de uma
auditoria operacional. O capítulo 5 trata da fase de execução da audi-
12
toria. O capítulo 6 contém orientações gerais, atributos e componentes
do relatório de auditoria, estabelece requisitos para sua divulgação e
explica a relevância dessa fase para a efetividade do controle. Final-
mente, o capítulo 7 trata do monitoramento.

7. Os requisitos profissionais constantes na ISSAI 3000 estão


destacados em caixas de texto no manual e guiam o desenvolvimento
do conteúdo. As NAT e demais regulamentos internos encontram-se
referenciados ao longo do texto.

1.1 ESTRUTURA DE NORMAS DA INTOSAI


8. A Estrutura de Pronunciamentos Profissionais da Intosai
(IFPP, na sigla em inglês) sobre auditoria foi aprovada em setembro
de 2019. A IFPP é formada por três categorias de pronunciamentos
profissionais, organizados e numerados segundo seu propósito e status
na estrutura, conforme apresentado na figura 1. Os pronunciamentos
estão disponíveis em www.issai.org, com link para o Portal do TCU,
onde parte deles estão traduzidos para o português.
Figura 1 - Estrutura de pronunciamentos profissionais da Intosai

PRINCÍPIOS DA INTOSAI
INTOSAI-P

Princípios fundadores da Intosai-P 1-9


Princípios basilares da Intosai-P 10-99

NORMAS DA INTOSAI
Norma de
Princípios fundamentais da Auditoria competência
do Setor Público ISSAI 100-129 profissional
(COMP)
Requisitos organizacionais para EFS ISSAI 130-199

Auditoria Auditoria Auditoria de Outros COMP


ISSAI

Operacional Conformidade trabalhos 700 - 799


Princípios de
AF ISSAI Princípios de Princípios de ISSAI 600-699
200-299 AO ISSAI AC ISSAI COMP
300-399 400-499 ISSAI 6000-
6499 7000 - 7499
Normas de
AF ISSAI Normas de Normas de
2000-2899 AO ISSAI AC ISSAI
3000-3899 4000-4899

13
ORIENTAÇÕES DA INTOSAI
Orientação de
Orientação organizacional para EFS ISSAI 1900-1999 competência
profissional
COMP
Orientação Orientação Orientação Outros
suplementar suplementar suplementar trabalhos GUID
GUID

de AF de AO GUID de AC 6500 - 6999 Orientação


3900 - 3999 suplementar
de competên-
Orientação para objetos de cia profissional
auditoria específicos GUID 5000-5999 COMP 7500
Outras orientações GUID 9000-9999 7999

Fonte: Traduzido de https://www.issai.org/professional-pronouncements/.

9. A primeira categoria abrange os princípios fundadores e os


basilares da Intosai, chamados INTOSAI-P. Os princípios fundadores
têm importância histórica, por constituírem o documento de fundação
da Intosai. São princípios informativos para governos e parlamentos,
assim como para as Entidades Fiscalizadoras Superiores (EFS) e para
o público em geral, e podem ser usados como referência no estabe-
lecimento de mandatos nacionais para as EFS. Os princípios basilares
apoiam os princípios fundadores, esclarecendo o papel das EFS na so-
ciedade, bem como os pré-requisitos de alto nível para o seu bom
funcionamento e para a conduta profissional.
10. A segunda categoria corresponde às ISSAI, que têm por objetivo:

a. garantir a qualidade das auditorias realizadas;


b. fortalecer a credibilidade dos relatórios de auditoria para os
usuários;
c. aumentar a transparência do processo de auditoria;
d. especificar a responsabilidade do auditor em relação às outras
partes envolvidas;
e. definir os diferentes tipos de auditoria e o conjunto de conceitos
relacionados que proporciona uma linguagem comum para a
auditoria do setor público.

11. As ISSAI são baseadas em um conjunto de princípios e con-


ceitos que definem a auditoria do setor público e os diferentes tipos de
trabalhos apoiados pelas ISSAI.

12. As orientações da Intosai (GUID) são desenvolvidas para apoiar


as EFS e os auditores a aplicar as ISSAI na prática ao realizarem auditorias
14
financeiras, operacionais ou de conformidade e ao auditarem objetos de
auditoria específicos.

1.2 DEFINIÇÃO DE AUDITORIA OPERACIONAL


13. A auditoria operacional é o exame independente, objetivo e
confiável que analisa se empreendimentos, sistemas, operações, progra-
mas, atividades ou organizações do governo estão funcionando de acordo
com os princípios de economicidade, eficiência, eficácia e efetividade3 e se
há espaço para aperfeiçoamento (ISSAI 3000/17).

1.3 PRINCIPAIS CONCEITOS EM AUDITORIA OPERACIONAL


14. As auditorias operacionais podem examinar, em um mesmo
trabalho, uma ou mais das principais dimensões de desempenho (econo-
micidade, eficiência, eficácia e efetividade – os quatro Es). O diagrama a
seguir ilustra essas dimensões e suas inter-relações:

3
A definição de auditoria operacional na ISSAI 3000/17 usa o termo em inglês effectiveness, que abran-
ge dois conceitos diferentes em língua portuguesa: eficácia (conceito relacionado ao grau de alcance das
metas programadas em termos de produtos) e efetividade (conceito relacionado aos impactos).
Figura 2 - Diagrama das principais dimensões de
desempenho em auditoria operacional

EFEITOS

IMPACTOS
Nível 1: Fatores
Natureza, NECESSIDADES Externos
Sociedade
RESULTADOS

Nível 2:
Intervenção,
Política OBJETIVOS INSUMOS ATIVIDADES PRODUTOS
pública

Nível 3: Eficiência
Economicidade
Avaliação Eficácia
Operacional Efetividade
15
Fonte: Adaptado do Manual de Auditoria de Resultados do Tribunal de Contas Europeu
(TCE, 2017, p.18).

15. Para um melhor entendimento das principais dimensões de


desempenho avaliadas em uma auditoria operacional, é necessário
que alguns termos mencionados na Figura 2 sejam conceituados (TCE,
2017, p.18):

a. Necessidades são os problemas, as dificuldades ou as


demandas do conjunto da sociedade ou de alguns grupos
específicos reconhecidos como destinatários legítimos de
bens e serviços públicos, que a intervenção pública procura
resolver ou superar.
b. Objetivos são as enunciações iniciais dos efeitos que se
pretendem obter com a intervenção.
c. Insumos são os bens e serviços empregados na produção de
outros bens e serviços que serão entregues a outras organizações
ou diretamente ao público alvo de uma intervenção.
d. Atividades são procedimentos utilizados para converter
recursos em produtos. O conceito abrange igualmente
a comunicação de informações de gestão e a respectiva
utilização pelos gestores.
e. Produtos são bens ou serviços obtidos por meio da
conversão de insumos e que serão entregues como
realização da intervenção pública.
f. Resultados são alterações ou efeitos imediatos experimentados
pelos destinatários diretos da intervenção pública.
g. Impactos são consequências socioeconómicas de longo
prazo que podem ser observadas após um determinado
período posterior à participação na intervenção e que
podem afetar os destinatários diretos da intervenção ou
os destinatários indiretos não inseridos na intervenção,
que tenham sido por ela beneficiados ou prejudicados.
h. Efeito é a alteração que resulta da execução da intervenção
e que está normalmente relacionada com os seus objetivos.
Os efeitos incluem os resultados e os impactos. Podem ser
esperados ou não, positivos ou negativos (por exemplo, uma
nova estrada que atrai investidores para uma região, mas que
causa níveis de poluição inaceitáveis nas zonas que atravessa).

16. Em administração pública, valor público são os produtos


e resultados gerados, preservados ou entregues pelas atividades de
uma organização que representem respostas efetivas e úteis às neces-
16
sidades ou às demandas de interesse público e modifiquem aspectos
do conjunto da sociedade ou de alguns grupos específicos reconheci-
dos como destinatários legítimos de bens e serviços públicos (BRASIL,
2017e). Comparando essa definição com a Figura 2, observa-se que
valor público abrange produtos, resultados e impactos socioeconômi-
cos, isto é, o que é entregue pela intervenção pública e seus efeitos.

1.3.1. ECONOMICIDADE

17. A economicidade é a minimização dos custos dos recursos


utilizados na consecução de uma atividade, sem comprometimento dos
padrões de qualidade (GUID 3910/38). Os recursos usados devem estar
disponíveis tempestivamente, em quantidade suficiente, na qualidade
apropriada e com o melhor preço (ISSAI 300/11). Refere-se à capacida-
de de uma organização gerir adequadamente os recursos financeiros
colocados à sua disposição.

18. O exame da economicidade poderá abranger a verificação de


práticas gerenciais, sistemas de gerenciamento, benchmarking de proces-
sos de compra e outros procedimentos afetos à auditoria operacional,
enquanto o exame estrito da legalidade de procedimentos de licitação e
da fidedignidade de documentos deverão ser objeto de auditoria de con-
formidade. Na prática, poderá haver alguma superposição entre auditoria
de conformidade e auditoria operacional. Nesses casos, a classificação do
tipo de uma auditoria específica dependerá de seu objetivo primordial.
1.3.2. EFICIÊNCIA

19. A eficiência é definida como a relação entre os produtos (bens


e serviços) gerados por uma atividade e os custos dos insumos empre-
gados para produzi-los, em um determinado período, mantidos os pa-
drões de qualidade (GUID 3910/39). Essa dimensão refere-se ao esforço
do processo de transformação de insumos em produtos. Pode ser exa-
minada sob duas perspectivas: minimização do custo total ou dos meios
necessários para obter a mesma quantidade e qualidade de produto; ou
otimização da combinação de insumos para maximizar o produto quando
o gasto total está previamente fixado (COHEN; FRANCO, 1993).

20. A eficiência é um conceito relativo. Isso significa que em


uma auditoria sobre eficiência é preciso algum tipo de comparação.
Auditorias orientadas para eficiência podem também examinar os pro-
cessos, desde os insumos até o produto, para expor as deficiências
nesses processos ou na sua implementação (GUID 3910/41).

17
1.3.3. EFICÁCIA

21. A eficácia é definida como o grau de alcance das metas pro-


gramadas (bens e serviços) em um determinado período, independen-
temente dos custos implicados (COHEN; FRANCO, 1993). O conceito de
eficácia diz respeito à capacidade da gestão de cumprir objetivos ime-
diatos, traduzidos em metas de produção ou de atendimento, ou seja,
a capacidade de prover bens ou serviços de acordo com o estabelecido
no planejamento das ações.

22. É importante observar que a análise de eficácia deve conside-


rar os critérios adotados para fixação da meta a ser alcançada. Uma meta
subestimada pode levar a conclusões equivocadas a respeito da eficácia
do programa ou da atividade sob exame. Além disso, fatores externos
como restrições orçamentárias podem comprometer o alcance das metas
planejadas e devem ser levados em conta durante a análise da eficácia.

1.3.4. EFETIVIDADE

23. A efetividade diz respeito ao alcance dos resultados preten-


didos, a médio e longo prazo. Refere-se à relação entre os resultados
de uma intervenção ou programa, em termos de efeitos sobre a po-
pulação-alvo (impactos observados), e os objetivos pretendidos (im-
pactos esperados), traduzidos pelos objetivos finalísticos da interven-
ção. Trata-se de verificar a ocorrência de mudanças na população-alvo
que se poderia razoavelmente atribuir às ações do programa avaliado
(COHEN; FRANCO, 1993).

24. Portanto, examinar a efetividade de uma intervenção go-


vernamental significa ir além do cumprimento de objetivos imediatos
ou específicos, em geral consubstanciados em metas de produção ou
de atendimento (exame da eficácia da gestão). Trata-se de verificar
se os resultados observados foram realmente causados pelas ações
desenvolvidas e não por outros fatores (GUID 3910/42). A avaliação
da efetividade pressupõe que bens e/ou serviços foram ofertados de
acordo com o previsto. O exame da efetividade ou avaliação de impac-
to requer tratamento metodológico específico que busca estabelecer
a relação de causalidade entre as variáveis do programa e os efeitos
observados, comparando-os com uma estimativa do que aconteceria
caso o programa não existisse.

25. É possível, em uma auditoria operacional, priorizar apenas


18
um dos quatro Es. Porém, não é recomendável examinar aspectos de
economicidade, eficiência, eficácia ou efetividade de atividades em to-
tal isolamento. Por exemplo, olhar para a economicidade sem consi-
derar também, pelo menos sucintamente, o resultado de uma política
pode levar a intervenções baratas, porém não efetivas. Inversamente,
em uma auditoria de efetividade, o auditor pode também querer consi-
derar aspectos de economicidade, eficiência e eficácia (GUID 3910/47).

1.3.5. EQUIDADE

26. O exame da equidade, que pode ser derivado da dimensão


de efetividade da política pública, baseia-se no princípio que reconhe-
ce a diferença entre os indivíduos e a necessidade de tratamento di-
ferenciado. Segundo Rawls (1995 apud COHEN; FRANCO, 1993, p. 25),
“para proporcionar uma autêntica igualdade de oportunidades a socie-
dade deve atender mais aos nascidos com menos dotes e aos nasci-
dos em setores socialmente menos favorecidos”. O tratamento desigual
é justo quando é benéfico ao indivíduo mais carente - desigualdade
justa (RAWLS, 1995 apud MEDEIROS, 1999). Promover a equidade é
garantir as condições para que todos tenham acesso ao exercício de
seus direitos civis (liberdade de expressão, de acesso à informação,
de associação, de voto, igualdade entre gêneros), políticos e sociais
(saúde, educação, moradia, segurança). Portanto, as políticas públicas
de proteção e de desenvolvimento social têm papel fundamental na
construção da equidade.

27. O exame da equidade poderá envolver, por exemplo, a in-


vestigação dos critérios de alocação de recursos vis-à-vis a distribuição
espacial, o perfil socioeconômico ou de gênero da população-alvo; as
estratégias adotadas pelo gestor público para adequar a oferta de ser-
viços ou benefícios às diferentes necessidades do público-alvo.

1.3.6. EXEMPLO DE APLICAÇÃO

28. A aplicação dos conceitos de economia, eficiência, eficácia,


efetividade e equidade pode ser entendida, de maneira simplificada,
por meio do exemplo de um programa de vacinação contra sarampo.
Se o gerente do programa adquiriu as vacinas mais baratas (mantendo
os padrões de qualidade, o prazo de entrega e os outros requisitos
estabelecidos), pode-se dizer que ele agiu de forma econômica.
19
29. Suponha que os principais custos da vacinação sejam o pa-
gamento dos enfermeiros vacinadores e as vacinas. Suponha também
que os custos unitários desses insumos sejam os mesmos em dife-
rentes municípios. O município A, com dez enfermeiros, vacinou cem
crianças em uma semana e o município B (com condições similares ao
município A), também com dez enfermeiros, vacinou 120 crianças em
uma semana. Pode-se dizer que o programa de vacinação do municí-
pio B foi mais eficiente, porque seu custo de vacinação por criança foi
menor, considerando que todos trabalharam com a mesma qualidade.

30. Se o município A tinha a meta de vacinar duzentas crianças


em um mês e a meta foi alcançada, isso significa que o município foi
eficaz. Se, nos próximos anos, diminuiu a incidência de sarampo entre
as crianças do município A, o programa foi efetivo. Se o programa in-
cluiu ação para alcançar crianças que habitam em áreas onde o acesso
ao serviço de vacinação é difícil, pode-se dizer que o gestor do progra-
ma buscou agir de acordo com o conceito de equidade.

1.3.7. OUTRAS DIMENSÕES DE DESEMPENHO

31. Além das quatro dimensões de desempenho examinadas,


outras, a elas relacionadas, poderão ser explicitadas em razão de sua
relevância para a delimitação do escopo das auditorias operacionais.
Aspectos como qualidade dos serviços, grau de adequação dos re-
sultados dos programas às necessidades do público-alvo (geração de
valor público), equidade na distribuição de bens e serviços, podem
ser tratados em auditorias operacionais com o objetivo de subsidiar a
accountability de desempenho da ação governamental.

1.4 CARACTERÍSTICAS DA AUDITORIA OPERACIONAL


32. As auditorias operacionais possuem características próprias
que as distinguem dos outros tipos de auditoria. Ao contrário das au-
ditorias de conformidade e financeiras, que adotam padrões relativa-
mente fixos, as auditorias operacionais, devido à variedade e comple-
xidade das questões tratadas, possuem maior flexibilidade na escolha
de temas, objetos de auditoria, métodos de trabalho e forma de comu-
nicar as conclusões de auditoria. Empregam ampla seleção de métodos
de avaliação e investigação de diferentes áreas do conhecimento, em
especial das ciências sociais. Além disso, esse tipo de auditoria requer
20
do auditor flexibilidade, imaginação e capacidade analítica.

33. Nas auditorias financeiras e de conformidade, quando são


trabalhos de certificação, as conclusões assumem a forma de opinião
concisa e de formato padronizado sobre demonstrativos financeiros
e sobre a conformidade das transações com leis e regulamentos, ou
sobre temas como controles internos, entre outros. Entretanto, nor-
malmente não se espera que auditores operacionais apresentem uma
opinião geral, comparável à opinião padronizada dos trabalhos de cer-
tificação, sobre se a organização ou programa auditado alcançou eco-
nomicidade, eficácia, eficiência e efetividade (ISSAI 300/21).

34. Os relatórios de auditoria operacional podem variar consi-


deravelmente em escopo e natureza, informando, por exemplo, sobre
a adequada aplicação dos recursos, sobre o impacto de políticas e
programas e propondo mudanças destinadas a aperfeiçoar a gestão.
Pela sua natureza, as auditorias operacionais são mais abertas a julga-
mentos e interpretações e seus relatórios, consequentemente, são mais
analíticos e argumentativos.

35. Devido aos diferentes objetivos dos três tipos de auditoria,


são necessárias diferentes abordagens para realizá-las. O Quadro 1 en-
fatiza aspectos distintivos de cada tipo de auditoria, de forma a possi-
bilitar uma melhor compreensão de suas peculiaridades.
Quadro 1 - Características das auditorias de
conformidade, operacional e financeira

Auditoria Auditoria de
Característica Auditoria financeira
operacional conformidade

Materialidade,
Economia,
Conformidade com demonstrações
Conceitos-chave eficiência, eficácia,
leis e regulamentos financeiras livres de
efetividade
erros materiais

Aumentar o grau
Verificar se o gestor
Contribuir para de confiança nas
atuou de acordo
Objetivo a melhoria da demonstrações por
com normas
gestão pública parte dos usuários
aplicáveis
previstos

Expressar opinião
Verificar se há
quanto a estarem as
discrepância
Avaliar o informações financeiras
Papel do auditor entre a situação
desempenho livres de distorções
encontrada e a lei
relevantes devido a
ou norma
fraude ou erro 21

Principais
áreas de Ciências sociais,
Direito Contabilidade
conhecimento análise de políticas
do auditor

Normas, que
Normas
incluem leis e Estrutura de relatório
legais, boas
regulamentos, financeiro aplicável
práticas, valores
Critérios resoluções, (normas contábeis)
profissionais,
políticas, códigos, e marco regulatório
modelos,
termos acordados aplicável
experiências
ou princípios gerais

Atividades, Demonstrações
Atividades
Funcionamento transações, financeiras de acordo
executadas da
esperado do informações com a estrutura de
melhor maneira
objeto auditado aderentes às relatório financeiro
possível
normas aplicáveis aplicável

Flexível, Conformidade com Conformidade com


Perfil do gestor
empreendedor procedimentos procedimentos

Fonte: elaboração própria com base em Barzelay (1997), IDI (2016, p. 36), ISSAI 200 e 400.
36. Também é possível conduzir auditorias combinando, em um
mesmo trabalho, aspectos operacionais, financeiros e de conformidade
(ISSAI 100/23). No TCU essas auditorias são denominadas auditorias
integradas. Nesses trabalhos, o objetivo primário da auditoria deverá
orientar quais normas serão aplicadas (ISSAI 3000/16).

1.5 CICLO DE AUDITORIA OPERACIONAL


37. De forma ampla, a auditoria do setor público pode ser en-
tendida como um processo sobre o qual atuam diversos fatores, con-
forme ilustrado na Figura 3.

38. Os insumos do processo de auditoria, isto é, suas entradas,


ou aquilo que será utilizado para produzir os resultados, são essencial-
mente informações. Na figura 3, o objeto da auditoria é apresentado
como um elemento pré-definido, como ocorre normalmente no pro-
cesso de trabalho do TCU. Em auditoria operacional, frequentemente o
22
tema da auditoria é pré-definido, mas é necessário delimitar melhor o
objeto na fase de planejamento.

39. Os requisitos são as disposições normativas em geral quanto


à auditoria, tais como as normas de auditoria dos órgãos regulamen-
tadores, leis e normas que regulam o funcionamento das organizações
envolvidas e do objeto de auditoria, padrões de trabalho estabelecidos
pela entidade de auditoria e controle, bem como o objetivo e escopo
de cada trabalho de auditoria em particular, quando são pré-definidos.

40. Os recursos necessários para a auditoria são os recursos


materiais, tecnológicos e humanos para realizar o trabalho, incluindo
as competências técnicas em termos de conhecimento, habilidades e
atitudes dos auditores e demais profissionais que concorrem para a
produção do resultado da auditoria.

41. Os produtos da auditoria são documentados no relatório da


auditoria. São os achados, as avaliações, as opiniões e conclusões e as
recomendações e determinações propostas.

42. Os usuários da auditoria do setor público abrangem os re-


latores e colegiados dos tribunais de contas, quem solicitou a audito-
ria, podendo ser o Legislativo ou o próprio auditado, os órgãos ou as
pessoas que compõem a gestão superior do auditado, os dirigentes de
órgãos supervisores e, em última instância, a sociedade.
Figura 3 - Diagrama conceitual da auditoria do setor público

REQUISITOS

Leis e Normas e Objetivo e Procedimen-


normas padrões de escopo da tos, inclusive
sobre o auditoria auditoria controle de
objeto qualidade
Informações
Resultados
Sobre o
Achados da
Fontes de informação

objeto da
auditoria
auditoria

Usuários
Sobre
Planejamento Execução Relatório Monitoramento Conclusões
critérios
da auditoria

Sobre
Proposta
situações ou
de ações
condições
corretivas

Auditores Colaboradores Competências Instalações/


sistemas/soﬞwares...

RECURSOS
23

Fonte: Adaptado de (BRASIL, 2011a).

43. Alterando o nível de análise, é possível examinar em mais


detalhe o ciclo da auditoria, em particular o ciclo da auditoria operacio-
nal, como visto na Figura 4.

Figura 4 - Ciclo de auditoria operacional

Seleção de
temas
Monitoramento
Planejamento

Divulgação Execução

Apreciação Relatório
Comentário
do gestor
Fonte: Adaptado de NAO (1997). Imagens Freepik
44. Sinteticamente, o ciclo de auditoria operacional se inicia
com a seleção dos temas. Após a definição de um tema específico,
deve-se proceder ao planejamento para definição de uma estratégia
global e elaboração do plano de auditoria4, que tem por finalidade
detalhar os objetivos do trabalho, as questões a serem investigadas, os
procedimentos a serem desenvolvidos e os resultados esperados com
a realização da auditoria. Na fase de execução, realiza-se a coleta dos
dados e informações e sua análise. A seguir, desenvolve-se o relatório
preliminar, que é enviado ao gestor para comentários. Após a análise
dos comentários do gestor pela equipe de auditoria, efetuam-se as
alterações necessárias (se for o caso), obtendo-se o relatório final, que
é submetido à apreciação do ministro-relator e do plenário.

45. Depois de apreciado, o relatório de auditoria é divulgado


amplamente, para chegar às mais diversas partes interessadas e au-
mentar a chance de implementação das deliberações do TCU, na forma
de recomendações e determinações. A etapa de monitoramento des-
tina-se a acompanhar as providências adotadas pelo auditado em res-
24
posta às deliberações proferidas, de modo que os efeitos pretendidos
possam ser alcançados, assim como a aferir os benefícios decorrentes
de sua implementação.

46. É importante mencionar que as etapas são apresentadas


no ciclo de forma subsequente para facilitar a visualização. Na práti-
ca, pode haver superposições. Por exemplo, o relatório de auditoria
pode (e deve) começar a ser estruturado no início do planejamento,
mediante um esboço baseado na hierarquia dos objetivos de auditoria
formulados (questão fundamental, questões, subquestões e hipóteses
de auditoria. Ver item 4.6), obtendo-se, assim, uma noção clara da dire-
ção do trabalho, projetando-se as conclusões possíveis a que se pode
chegar com a sua realização.

4
Os documentos principais que compõem o planejamento são a estratégia global de auditoria e
o plano de auditoria. O programa de auditoria (NAT, 96-97) é parte do plano de auditoria, detalha
os procedimentos e é sintetizado na matriz de planejamento.
1.6 ELEMENTOS DE AUDITORIA OPERACIONAL

Requisitos

O auditor deve identificar explicitamente os usuários previstos e as partes res-


ponsáveis da auditoria e, ao longo dela, considerar a implicação dos papéis des-
sas partes, a fim de conduzir a auditoria de maneira apropriada (ISSAI 3000/25).

O auditor deve identificar o objeto da auditoria operacional (ISSAI 3000/29).

47. São elementos da auditoria operacional o auditor, a parte


responsável, os usuários previstos, os critérios para avaliar o objeto
de auditoria e a informação resultante da avaliação do objeto (ISSAI
100/24). Esses elementos apresentam aspectos peculiares nos diferen-
tes tipos de auditoria.

48. Para as ISSAI, o auditor é o titular da EFS e as pessoas a


25
quem é delegada a tarefa de conduzir auditorias (ISSAI 100/25). Essa
definição decorre dos diferentes modelos institucionais das EFS no
mundo. No modelo de controladoria geral, os relatórios são assinados
apenas pelo controlador geral, que assume toda a responsabilidade
pelo trabalho. Nos tribunais de contas, os auditores são aqueles que
conduzem as auditorias, com responsabilidades de supervisão atribuí-
das aos níveis gerenciais. Dessa forma, as normas devem ser interpre-
tadas de acordo com esses desenhos institucionais, os agentes envol-
vidos e as suas competências.

49. Usuários previstos são as pessoas ou organizações


para quem o auditor elabora o relatório de auditoria. Os poderes
executivo e legislativo, as entidades governamentais, pessoas
ou entidades interessadas no relatório e o público em geral são
exemplos de usuários previstos (ISSAI 100/25, ISSAI 3000/26).

50. Em auditoria operacional, o papel de uma parte responsável


pode ser compartilhado por uma variedade de indivíduos ou entida-
des, cada uma com certas responsabilidades por um aspecto diferente
do objeto. A parte responsável pode incluir responsáveis pelo objeto
auditado, mas pode também referir-se às pessoas responsáveis por
implementar as deliberações proferidas pelo Tribunal e efetuar as mu-
danças requeridas. O auditado também pode ser um usuário previsto,
mas normalmente não será o único (ISSAI 3000/27).
51. O objeto de auditoria refere-se à questão “o que é auditado”
e a sua delimitação chama-se escopo. Os objetos de auditoria opera-
cional podem ser programas específicos, empreendimentos, sistemas,
entidades ou fundos e podem incluir atividades ou situações existentes,
incluindo causas e efeitos (ISSAI 3000/30). O objeto da auditoria ope-
racional é determinado pelo objetivo e especificado nas questões de
auditoria (ISSAI 300/19). O objeto de auditoria deve ser identificável
e passível de avaliação consistente baseada em critérios, bem como
permitir a obtenção de evidências suficientes e apropriadas para fun-
damentar as conclusões de auditoria (ISSAI 100/26).

52. Critérios de auditoria são as referências usadas para avaliar


o objeto (ISSAI 100/27). A seção 4.7 deste manual tem mais informa-
ções sobre o tema.

53. A informação do objeto refere-se ao resultado da avaliação


ou mensuração do objeto de acordo com os critérios (ISSAI 100/28).
Em auditoria operacional, é o auditor quem mensura ou avalia o
26
objeto de acordo com os critérios e produz a informação do objeto.
Em auditoria financeira, por exemplo, a parte responsável apresenta
a informação do objeto (as demonstrações financeiras), sobre a qual
o auditor então obtém evidência de auditoria suficiente e apropriada
para proporcionar uma base razoável para expressar uma conclusão.
2 REQUISITOS GERAIS

54. As normas internacionais de auditoria da Intosai incluem


uma série de requisitos necessários para a condução de auditorias efe-
tivas e com alta qualidade. Em auditorias operacionais, esses requisitos
são apresentados na ISSAI 3000 (Norma para auditoria operacional) e
detalhados na GUID 3910 (Orientações sobre conceitos centrais para
auditoria operacional).

55. O objetivo deste capítulo é apresentar, de forma resumi-


da, os requisitos gerais para auditoria operacional estabelecidos nas
27
mencionadas ISSAI, no contexto do Tribunal. Alguns requisitos já foram
apresentados no capítulo 1 deste manual (usuários previstos, partes
responsáveis, objeto), outros serão abordados no capítulo 4 (objetivo,
abordagem e critérios de auditoria).

2.1 INDEPENDÊNCIA E ÉTICA


Requisitos

O auditor deve cumprir os procedimentos para independência e ética da EFS,


os quais, por sua vez, devem cumprir as ISSAI sobre independência e ética
(ISSAI 3000/21).

O auditor deve ter o cuidado de manter-se independente, de modo que os


resultados e as conclusões da auditoria sejam imparciais e assim sejam vistos
pelos usuários previstos (ISSAI 3000/23).

56. Independência e ética são conceitos-chave para os audito-


res e para as EFS. Independência significa não estar sob domínio ou
influência indevida. Ética é um conjunto de princípios de conduta que
norteiam um indivíduo ou um grupo de indivíduos. Refere-se àquilo
que pertence ao bom costume. Ambos podem ser examinados no nível
institucional (EFS) e no nível pessoal (auditor).

57. A INTOSAI-P 1 (Declaração de Lima) destaca a independência,


dividindo-a em três aspectos com relação às EFS: independência, inde-
pendência financeira e independência dos membros e servidores. Estabe-
lece que a EFS deve ser independente da unidade auditada e protegida
de influências externas. Sua independência deve estar registrada na Cons-
tituição e ela deve ter os meios financeiros para realizar suas atribuições.

58. A ISSAI 10 (Declaração do México) trata especificamente de


independência e estabelece oito princípios como requisitos essenciais
para que a auditoria do setor público seja exercida de forma apropriada:

1. A existência de um marco constitucional/legal adequado e


efetivo e que seja aplicado na prática.
2. Independência dos dirigentes da EFS, incluindo segurança do
mandato e imunidade legal para exercer suas atribuições.
3. Um mandato suficientemente amplo e discricionariedade
para exercer suas funções.
4. Acesso irrestrito à informação.
5. Direito e obrigação de relatar os resultados do seu trabalho.
6. Liberdade para decidir o conteúdo e o calendário dos
relatórios de auditoria, e de publicá-los e disseminá-los.
28
7. Existência de mecanismos efetivos de monitoramento das
recomendações.
8. Autonomia financeira, gerencial e administrativa e
disponibilidade de recursos humanos, materiais e financeiros
adequados.

59. A Declaração de Lima ressalta que a independência da EFS


é inseparável da independência de seus membros, que são os respon-
sáveis por tomar decisões na instituição. Sobre os servidores, é dito que
eles não devem ser influenciados pelas entidades auditadas e ser de-
pendentes delas. Para ser independente e ser visto como tal, o auditor
deve estar livre de situações que possam prejudicar sua objetividade,
o que é reforçado pelas NAT (42-44, 56-58). Segundo a ISSAI 130/9
(Código de Ética da Intosai), independência e objetividade são valores
fundamentais e significam estar livre de circunstâncias ou influências
que comprometam, ou possam ser vistas como comprometedoras do
julgamento profissional, e agir de maneira imparcial e não enviesada.

60. A independência abrange dois aspectos: independência de


fato e independência na aparência (ISSAI 130/36). A independência de
fato é uma situação em que os indivíduos são capazes de realizar ativi-
dades sem serem afetados por relacionamentos que podem influenciar
e comprometer o julgamento profissional, permitindo que eles ajam
com integridade e exerçam objetividade e ceticismo profissional.
61. Independência na aparência é a ausência de circunstâncias
que levariam um terceiro sensato e informado, com conhecimento de
informações relevantes, a duvidar da integridade, objetividade ou ceti-
cismo profissional do auditor ou concluir que eles foram comprometidos.

62. O auditor necessita exercer sua independência durante todo


o processo da auditoria operacional para tomar decisões-chave em
diversos momentos, tais como (NAT, 48.1; GUID 3910/11):

a. escolha do tema e dos objetivos da auditoria;


b. identificação de critérios;
c. definição da abordagem metodológica;
d. obtenção e avaliação das evidências;
e. discussão dos critérios e achados com a entidade auditada;
f. elaboração das conclusões da auditoria;
g. avaliação de opiniões, dados e informações obtidos das
várias partes interessadas;
h. elaboração de relatório justo, objetivo e equilibrado.
29
63. As ameaças à independência e os mecanismos de controle
existentes devem ser considerados antes e durante a auditoria.

64. A EFS é responsável por estabelecer mecanismos de gestão


de ética que crie um ambiente que favoreça o comportamento ético
(ISSAI 130/4). Entre os principais requisitos para os Tribunais, destacam-se
a responsabilidade de promover a cultura da ética, implementar um sis-
tema de controle que identifique e análise riscos éticos para mitigá-los e
para tratar violações aos valores éticos, incluindo a proteção àqueles que
comunicarem comportamentos suspeitos (ISSAI 130/12).

65. O Código de Ética dos Servidores do TCU (BRASIL, 2009)


estabelece os princípios e normas de conduta ética aplicáveis e dispõe
sobre os direitos, deveres, vedações, relações com o fiscalizado e situ-
ações de impedimento ou suspeição. Também dispõe sobre a gestão
de ética no TCU.

66. De acordo com a GUID 3910/10, ética significa os princípios


morais de um indivíduo, que incluem independência, integridade, ob-
jetividade, competência profissional e devido zelo, confidencialidade e
comportamento profissional.
2.2 CONFIANÇA E ASSEGURAÇÃO

Requisito

O auditor deve comunicar de forma transparente o nível de asseguração dos


resultados da auditoria do objeto em relação aos critérios (ISSAI 3000/32).

67. Todo trabalho de auditoria é um tipo de serviço de assegu-


ração, o que significa que o auditor fornece informações confiáveis e
válidas a um usuário previsto sobre as atividades de uma parte respon-
sável. A função de auditoria pública pode ser interpretada, no nível ma-
cro, como um serviço prestado pelos Tribunais (auditor) que fornece ao
Poder Legislativo e à sociedade (usuários previstos) asseguração sobre
as informações financeiras e a situação de desempenho e de conformi-
dade do Poder Executivo e demais gestores (parte responsável). Como
a função legislativa consome muito do tempo do Poder Legislativo e
este não tem competência técnica para ele mesmo realizar a auditoria,
institui o Tribunal de Contas, como órgão especializado, que audita a Ad-
30
ministração Pública Federal e, particularmente com relação à auditoria
operacional, contribui para reduzir a assimetria de informação entre os
Poderes Legislativo e Executivo sobre a execução das políticas públicas.

68. Então, os relatórios de auditoria destinam-se a dar confian-


ça aos usuários previstos de que as conclusões de auditoria são confi-
áveis e válidas (GUID 3910/27-28). Para que isso ocorra, é necessário
que as conclusões sejam logicamente ligadas aos objetivos e critérios
de auditoria e sejam sustentadas por evidência suficiente e apropriada.

69. O conceito de asseguração é inseparável do conceito de


risco de auditoria. Risco de auditoria, conforme apresentado na seção
2.3 deste manual, é o risco de que o relatório de auditoria possa ser
inadequado, apresentar conclusões incorretas ou incompletas, fornecer
informações desequilibradas ou deixar de agregar valor para os usuários
(ISSAI 100/40; ISSAI 300/28). As auditorias devem gerar informações
baseadas em evidência suficiente e apropriada, e os auditores devem
executar procedimentos para reduzir o risco de auditoria (ISSAI 100/31).

70. A norma de auditoria operacional estabelece que o auditor


deve comunicar de forma transparente o nível de asseguração dos re-
sultados da auditoria do objeto em relação aos critérios. No entanto,
em auditoria operacional, não se espera que essa comunicação seja
apresentada por meio de uma opinião geral e padronizada sobre se a
entidade auditada alcançou economicidade, eficiência, eficácia e efetivi-
dade, como ocorre nas auditorias financeiras sobre a fidedignidade das
demonstrações contábeis (ISSAI 300/21). Também não se dá uma decla-
ração padronizada sobre o nível asseguração. Algumas EFS consideram
o nível de asseguração em auditoria operacional como um continuum,
porque quanto mais abrangentes forem os procedimentos de auditoria
e mais robustas forem as evidências, maior será o grau de asseguração.

71. A maneira de fornecer asseguração em auditoria operacional


é a estabelecida na ISSAI 100/32, sob o item “De outras formas”. O au-
ditor fornece aos usuários o grau de confiança necessário descrevendo
explicitamente, de uma maneira equilibrada e fundamentada, como os
achados, os critérios e as conclusões foram desenvolvidos e por que as
combinações de achados e critérios resultaram em uma determinada
conclusão geral ou recomendação. Sendo assim, é fundamental que o
relatório de auditoria explique o método e os procedimentos adotados
para desenvolver o trabalho e chegar às conclusões. O relatório de audi-
toria tem um papel importante na comunicação da asseguração, porque
ele contém todos os elementos da auditoria, a descrição do método, as
31
evidências, as limitações, os achados e as conclusões. O auditor deve
garantir que o relatório de auditoria não levará o usuário a concluir erro-
neamente com relação ao nível de asseguração apresentado.

2.3 RISCO DE AUDITORIA


Requisito

O auditor deve gerenciar ativamente o risco de auditoria para evitar o desen-


volvimento de achados, conclusões e recomendações incorretos ou incom-
pletos, fornecendo informações desequilibradas ou que não agregam valor
(ISSAI 3000/52).

72. Risco de auditoria é o risco de obter conclusões incorretas ou


incompletas, fornecendo informações desequilibradas ou deixando de
agregar valor para os usuários. Os auditores devem gerenciar ativamente
esses riscos. Os documentos de planejamento da auditoria devem indi-
car os possíveis riscos da auditoria em curso e mostrar como esses ris-
cos serão tratados (ISSAI 300/28). Para gerenciar o risco de auditoria, o
auditor precisa identificar e avaliar os riscos; desenvolver e implementar
estratégias para prevenir e mitigar esses riscos; monitorar o risco de au-
ditoria e as estratégias de mitigação durante toda a auditoria, aplicando
uma abordagem de gerenciamento do risco (GUID 3910/62).
73. A seguir, serão apresentados alguns riscos de auditoria e me-
didas para tratá-los. Estes itens foram adaptados do Manual de Auditoria
de Desempenho da Iniciativa de Desenvolvimento da Intosai (IDI, 2016).

2.3.1. CONCLUSÕES INCORRETAS OU INCOMPLETAS

74. É possível mitigar esse risco se:

a. os auditores tiverem as competências necessárias para


realizar a auditoria;
b. a equipe de auditoria, coletivamente, tiver conhecimento
adequado do objeto e das técnicas de auditoria;
c. os critérios de auditoria forem cuidadosamente escolhidos e
discutidos com o auditado;
d. as evidências forem suficientes e apropriadas;
e. a matriz de achados for validada por painel de referência;
f. o relatório preliminar for enviado ao gestor para comentários;
32
g. o controle de qualidade for exercido;
h. os recursos alocados para a auditoria (quantidade de
auditores, prazo etc.) forem compatíveis com o objetivo e
escopo da fiscalização.

2.3.2. RELATÓRIO DESEQUILIBRADO

75. Essa situação pode ocorrer quando o relatório não registra


boas práticas e esforços desenvolvidos pelos auditados e foca somente
nas deficiências e falhas. É possível mitigar o risco de ter um relatório
desequilibrado se a equipe de auditoria:

a. buscar informações de diferentes fontes;


b. mantiver um fluxo de comunicação constante e amigável com
o auditado desde o planejamento da auditoria;
c. der ao auditado a oportunidade de comentar o relatório
preliminar.

2.3.3. NÃO AGREGAÇÃO DE VALOR

76. Agregar valor em auditoria significa apresentar novos co-


nhecimentos e perspectivas, tornar a informação acessível a vários
stakeholders, propor recomendações construtivas e úteis. É possível
mitigar o risco de o relatório de auditoria não agregar valor se:
a. o tema auditado for selecionado de acordo com os critérios
de significância e auditabilidade, previstos nas normas
internacionais. A seção 3.3.3 deste manual aborda critérios
de seleção de temas de auditoria;
b. houver supervisão adequada;
c. os objetivos da auditoria forem definidos, considerando o
impacto que a auditoria poderá gerar;
d. a equipe de auditoria, durante a fase de planejamento do
trabalho, aprofundar os conhecimentos sobre o objeto auditado,
por meio de avaliação de riscos ou análise de problema;
e. a equipe de auditoria validar a matriz de planejamento em
painel de referência e discuti-la com os auditados;
f. as deliberações propostas forem lógicas, práticas, baseadas
nos achados e principalmente voltadas a resolver as causas
das deficiências de desempenho identificadas ou, se não for
possível identificá-las, mitigar seus efeitos;
g. o relatório de auditoria for amplamente divulgado.

33
2.3.4. DIFICULDADE DE ACESSO À INFORMAÇÃO
OU INFORMAÇÃO DE BAIXA QUALIDADE

77. Para mitigar esse risco, algumas medidas a adotar poderiam ser:

a. documentar, durante o planejamento, as possíveis fontes de


evidência e as técnicas de coleta de dados a usar para obter
as evidências;
b. avaliar a possibilidade e a viabilidade de obtenção de
informações e a qualidade dessas informações durante a
definição do escopo da auditoria;
c. avaliar a qualidade dos controles internos aplicados ao objeto
auditado;
d. obter evidências de distintas fontes;
e. registrar no relatório de auditoria possíveis limitações
referentes à obtenção e à qualidade dos dados obtidos. Essa
situação pode, eventualmente, ser caracterizada como um
achado de auditoria.

2.3.5. OMISSÕES OU INFORMAÇÕES ENGANOSAS DEVIDO


A ERRO DE INTERPRETAÇÃO OU FRAUDE

78. É possível mitigar esse risco se:


a. a equipe de auditoria, coletivamente, tiver os conhecimentos
necessários para identificar lacunas e inconsistências, bem
como para avaliar a plausibilidade das explicações fornecidas;
b. as informações forem confirmadas ou refutadas com fontes
distintas;
c. as informações prestadas forem passíveis de verificação por
meio de consultas e cruzamentos de bases de dados.

2.3.6. DIFICULDADE DE ANÁLISE DOS DADOS

79. É possível mitigar esse risco se:

a. o objeto de auditoria selecionado for auditável;


b. a proposta de auditoria contiver informações sobre as
competências necessárias para a realização da auditoria;
c. a equipe de auditoria, coletivamente, tiver os conhecimentos
necessários para realizar a auditoria;
34
d. os critérios forem bem selecionados ou bem elaborados;
e. for prevista a participação de especialista
f. os procedimentos de análise de dados presentes na matriz
de planejamento forem bem detalhados.

2.3.7. DIFICULDADE DE LIDAR COM TEMAS


COMPLEXOS OU POLITICAMENTE SENSÍVEIS

80. É possível mitigar esse risco se:

a. a EFS se mantiver neutra politicamente e for percebida dessa


maneira;
b. o auditor mantiver sua independência durante todo o
trabalho;
c. a equipe de auditoria não questionar as intenções e decisões
da política;
d. houver ampla consulta a diversos stakeholders durante a
auditoria, incluindo especialistas e entidade auditada.
2.4 COMUNICAÇÃO
Requisitos

O auditor deve planejar e manter uma comunicação eficaz e adequada dos


aspectos-chave da auditoria com a entidade auditada e as partes interessa-
das relevantes durante todo o processo de auditoria (ISSAI 3000/55).

O auditor deve ter o cuidado de garantir que a comunicação com as partes


interessadas não comprometa a independência e a imparcialidade da EFS
(ISSAI 3000/59).

A EFS deve comunicar claramente as normas que foram seguidas na realiza-


ção da auditoria operacional (ISSAI 3000/61).

81. Espera-se que as auditorias operacionais contribuam para a


melhoria das atividades e serviços sob análise. Isso ocorre, geralmente,
por meio da implementação das recomendações e determinações pro-
postas no relatório. Para que aumentem as chances de implementação,
é importante que o auditado esteja convencido de que elas são
35
relevantes e agregarão valor. Esse convencimento torna-se mais
fácil quando há um diálogo eficaz entre auditor e auditado desde o
início da auditoria. A interação construtiva com a entidade auditada e
o apoio dos auditados contribuirão bastante para que a auditoria seja
efetiva e tenha impacto.

82. O estabelecimento de uma boa comunicação de mão dupla


com a entidade auditada e com as partes interessadas é importan-
te desde o início do planejamento da auditoria porque pode ajudar
no acesso a dados e informações e na obtenção de melhor visão das
perspectivas das diversas partes interessadas. Por isso, o auditor deve
comunicar ao auditado todos os aspectos-chave da auditoria em curso
(NAT, 82). Esses aspectos incluem: objeto, objetivo, questões e critérios
de auditoria, e período a ser auditado (ISSAI 3000/57).

83. Como as auditorias operacionais não são realizadas regu-


larmente sobre as mesmas entidades e há mudança periódica na ad-
ministração, pode ser que ainda não existam canais de comunicação
estabelecidos ou boa compreensão sobre a natureza desse tipo de
auditoria entre os auditados (ISSAI 300/29). Em todo caso, a equipe
de auditoria, junto com o supervisor, deve realizar reunião com os au-
ditados no início dos trabalhos, para apresentar as principais caracte-
rísticas da auditoria operacional e os principais aspectos (objeto, ob-
jetivo, escopo) da auditoria que será realizada. Também é importante
manter a comunicação durante todo o trabalho e realizar reuniões em
momentos-chave, por exemplo: aplicação de técnicas de diagnóstico,
discussão dos critérios, apresentação das matrizes de planejamento e
de achados. Além disso, deve-se informar ao auditado que o relatório
preliminar será enviado para comentários, conforme mencionado no
capítulo 6 deste manual.

84. Os auditores devem manter boas relações profissionais com


todas as partes interessadas relevantes (entidade auditada, Congresso
Nacional, mídia, academia, cidadãos) e promover um fluxo de informa-
ções respeitoso, franco e livre (se os requisitos de confidencialidade
permitirem). Deve-se tomar cuidado para garantir que essa comunica-
ção com as partes interessadas não comprometa nem a independência
nem a imparcialidade da equipe de auditoria (ISSAI 300/29).

85. É importante que a EFS desenvolva uma estratégia de co-


municação que considere as principais partes interessadas. Além da
entidade auditada, outra parte interessada importante é o Congres-
so Nacional, que pode usar os relatórios da EFS para melhorar a
accountability e a gestão governamental. Se os relatórios forem ignora-
36
dos ou mal-entendidos, isso levará a um desperdício de recursos e até
mesmo ao questionamento da credibilidade da EFS. Deve ficar claro
para todos que auditorias de desempenho têm por objetivo avaliar
economicidade, eficiência, eficácia e efetividade e não identificar frau-
des ou punir indivíduos (IDI, 2016).

86. A mídia exerce papel importante na divulgação das audito-


rias operacionais e no impacto causado por elas. Aumenta a probabili-
dade de a mídia contribuir para a efetividade se a EFS estabelecer es-
tratégicas de comunicação específicas e de relacionamento e trabalhar
os meios de comunicação para garantir que as informações publicadas
sejam corretas e precisas.

2.5 HABILIDADES

Requisito

A EFS deve garantir que a equipe de auditoria possua, coletivamente, a com-


petência profissional necessária para realizar a auditoria (ISSAI 3000/63).

87. A norma de auditoria estabelece que a competência profis-


sional é um atributo coletivo (NAT, 48.2, 52). Isso significa que auditoria
é um trabalho de equipe, não sendo recomendável sua realização por
um único auditor.
88. Competência é um valor ético fundamental que abrange re-
quisitos que devem ser cumpridos pelo Tribunal e pelos auditores (ISSAI
130/50). O Tribunal deve designar equipes que coletivamente possuam
as competências necessárias para a auditoria, deve oferecer oportunida-
des de treinamento, suporte técnico e supervisão, bem como oferecer
ferramentas de capacitação e compartilhamento de informações. Por sua
vez, os auditores, além de cumprirem as normas profissionais aplicáveis,
devem manter e desenvolver seus conhecimentos e habilidades para
acompanhar os desenvolvimentos em seu ambiente profissional, a fim de
desempenhar seu trabalho da melhor maneira possível (ISSAI 130/51).

89. A competência profissional em auditoria operacional inclui


conhecimento em uma série de temas, como: projetos e metodologia
de pesquisa, ciências sociais, políticas públicas, administração pública,
técnicas de investigação e avaliação quantitativa e qualitativa, técnicas
de coleta e análise de dados (ISSAI 300/30).

90. Também é fundamental que os integrantes da equipe te-


37
nham habilidades pessoais, tais como: capacidade de trabalhar em
equipe, capacidade analítica, capacidade de escrita e de comunicação,
criatividade e receptividade em relação a distintos argumentos, capa-
cidade de negociação (ISSAI 300/30).

91. Para uma auditoria específica, a equipe necessita de bom


entendimento das organizações, dos programas e das funções gover-
namentais relacionados ao objeto da auditoria. Dependendo do tema,
pode ser necessário conhecimento mais especializado, como, por
exemplo, estatística ou tecnologia da informação.

92. Como o espectro de temas para a auditoria operacional


é muito amplo, é recomendável, e quase sempre necessário, que a
equipe de auditoria procure especialistas para obter informações es-
pecíficas e em profundidade sobre o tema da auditoria. Se for firmada
alguma parceria ou contratado algum especialista para complementar
o conhecimento da equipe de auditoria, essa pessoa deverá cumprir
os critérios de ética, independência e confidencialidade a que a equipe
está sujeita. Ressalte-se que a responsabilidade final pelo relatório de
auditoria e suas conclusões são da equipe (NAT, 120-122).
2.6 SUPERVISÃO
Requisito

A EFS deve garantir que o trabalho dos auditores de todos os níveis e em


todas as fases da auditoria seja adequadamente supervisionado durante o
processo de auditoria (ISSAI 3000/66).

93. A EFS deve garantir que o trabalho dos auditores seja super-
visionado em todas as fases da auditoria (NAT, 73). Supervisionar signi-
fica fornecer orientação e direção à equipe de auditoria. O supervisor
deve ter competência e conhecimentos em metodologia de auditoria,
planejamento e monitoramento dos trabalhos, gestão de projetos, pen-
samento estratégico, visão prospectiva e resolução de problemas. O ní-
vel de supervisão do trabalho pode variar de acordo com a experiência
da equipe e a complexidade do objeto auditado (ISSAI 3000/66-67).

94. A supervisão é essencial para garantir o alcance dos obje-


tivos da auditoria com qualidade. É um dos elementos do controle de
38
qualidade (seção 2.8). A supervisão dos trabalhos deve procurar asse-
gurar que (NAT, 74-75):

a. os objetivos da auditoria sejam alcançados;


b. a auditoria seja executada de acordo com as normas
internacionais de auditoria da Intosai e os padrões e normas
técnicas adotados pelo TCU;
c. o plano de auditoria seja cumprido;
d. as competências necessárias para a execução da auditoria
sejam de domínio da equipe, possam ser desenvolvidas ou
incorporadas mediante requisição ou contratação de serviços;
e. os membros da equipe tenham compreensão clara e
consistente do plano de auditoria;
f. os achados e as conclusões da auditoria estejam baseados
em informações confiáveis e em evidências válidas, confiáveis,
relevantes e suficientes;
g. a auditoria seja documentada de maneira suficientemente
completa e detalhada;
h. as conclusões respondam aos objetivos da auditoria;
i. os recursos necessários à execução da auditoria estejam
disponíveis, como serviços técnicos, equipamento e meios de
deslocamento.
2.7 JULGAMENTO E CETICISMO PROFISSIONAIS
Requisitos

O auditor deve exercer julgamento e ceticismo profissionais e analisar as


questões a partir de diferentes perspectivas, mantendo uma atitude aberta e
objetiva em relação aos vários pontos de vista e argumentos (ISSAI 3000/68).

O auditor deve avaliar o risco de fraude ao planejar a auditoria e manter-se alerta


à possibilidade de fraude durante todo o processo de auditoria (ISSAI 3000/73).

O auditor deve manter um alto padrão de comportamento profissional (ISSAI


3000/75).

O auditor deve estar disposto a inovar durante todo o processo de auditoria


(ISSAI 3000/77).

95. Considerando que as evidências em auditoria são de na-


tureza mais persuasiva que conclusiva, é necessário um significativo
grau de julgamento e interpretação durante os trabalhos (NAT, 48.3).
Os auditores precisam ser criativos, reflexivos, flexíveis, engenhosos e
39
práticos na coleta, interpretação e análise dos dados. Além disso, de-
vem manter alto padrão de comportamento profissional durante toda
a auditoria, e trabalhar com devido zelo5 e objetividade (ISSAI 300/31).

96. Julgamento profissional refere-se à aplicação de conheci-


mento coletivo, habilidades e experiência ao processo de auditoria. En-
volve conduzir a auditoria com cuidado e aplicar de forma diligente as
normas profissionais e os princípios éticos relevantes (ISSAI 3000/70).
Julgamento profissional não significa expressar opinião sem fundamen-
to ou chegar a conclusões sem base ou justificativa.

97. Ceticismo profissional significa que o auditor deve manter


distanciamento profissional da entidade auditada e atitude alerta e
questionadora na avaliação das evidências obtidas (ISSAI 3000/71).
Deve também fazer avaliações racionais e desconsiderar preferências
pessoais (ISSAI 300/31). Ceticismo profissional não autoriza o auditor
tratar o auditado com desconfiança, desrespeito ou indelicadeza, ou
presumir que ele é desonesto ou tem algo a esconder.

5
O devido zelo é mencionado como um dos princípios gerais de auditoria do setor público pela
ISSAI 100/37, junto com o julgamento profissional e o ceticismo profissional, no mesmo subtítulo.
A ISSAI 300/31 menciona o devido zelo no mesmo contexto que a ISSAI 100, mas não o destaca
como um dos princípios de auditoria operacional. As NAT apenas mencionam o zelo, sem defini-lo.
Devido zelo significa que o auditor deve planejar e executar auditorias de uma maneira diligente.
Os auditores devem evitar qualquer conduta que possa desacreditar seu trabalho (ISSAI 100/37).
98. Os conceitos de julgamento e ceticismo profissional se com-
plementam e seu exercício permite que o auditor seja receptivo a dife-
rentes visões e argumentos e capaz de avaliar diferentes perspectivas,
sem perder a objetividade (ISSAI 3000/72).

2.7.1. RISCO DE FRAUDE

99. A fraude é definida como um ato intencional de um ou mais


indivíduos dentre funcionários, administradores, responsáveis pela go-
vernança ou terceiros, envolvendo o uso de falsidade para obter vanta-
gem injusta ou ilegal como (GUID 3910/91):

a. conluio para concessão de vantagens e contribuições


indevidas;
b. conluio em licitações ou concessões de contratos;
c. falsificação;
d. atos desonestos;
40
e. falsa representação;
f. ocultação fraudulenta;
g. atos ilegais;
h. distorções intencionais;
i. irregularidades;
j. pagamento ou recebimento de propinas;
k. aceitação de comissões indevidas;
l. furto.

100. Diferentemente do erro, a fraude é intencional e muitas ve-


zes envolve a dissimulação deliberada dos fatos, podendo envolver um
ou mais membros da entidade auditada ou terceiros. A responsabilidade
primária pela prevenção e detecção de fraude é tanto dos responsáveis
pela governança da entidade auditada como da sua administração. A
responsabilidade do auditor é identificar e avaliar o risco de fraude onde
esse risco for significativo. O auditor também precisa determinar os pro-
cedimentos de auditoria em resposta a esses riscos (GUID 3910/92).

101. O auditor deve manter o ceticismo profissional durante a


fase de planejamento e durante toda a auditoria. Na condução de au-
ditorias, o auditor precisa manter-se consciente da possibilidade de
fraude relacionada ao objeto e, se for necessário, realizar procedimen-
tos para identificar seus indícios. Para isso, a equipe poderá utilizar os
procedimentos de apoio à avaliação de risco de fraude e corrupção
disponibilizados pela unidade técnica especializada no Tribunal. Se o
auditor suspeitar de, ou encontrar fraude, deverá levar a questão ao
conhecimento do supervisor e das autoridades competentes para ado-
ção das medidas adicionais cabíveis (GUID 3910/93). Note-se, portanto,
que não faz parte do escopo da auditoria operacional auditar fraudes,
mas considerar seu impacto na auditoria que está sendo realizada.

102. O TCU dispõe dos documentos Referencial de combate à frau-


de e corrupção (BRASIL, 2017c) e do Roteiro de Ações para o Combate a
Fraude e Corrupção (BRASIL, 2018a). O propósito do Referencial é compilar
o conhecimento prático que vem sendo aplicado por organizações públicas
e privadas, dentro e fora do Brasil, no combate a fraude e corrupção.

103. O Roteiro tem por objetivo orientar os auditores sobre


como lidar com casos suspeitos de fraude e corrupção descobertos
no decorrer dos trabalhos de controle externo sob a jurisdição do TCU.
O foco do roteiro é dar orientações sobre procedimentos a adotar em
casos de identificação de fraude e corrupção.

104. Assim, o auditor deve identificar e avaliar os riscos de frau-


41
de relevantes para os objetivos da auditoria e manter-se alerta à sua
possibilidade durante todo o processo de auditoria. Se o risco for sig-
nificativo, é importante obter um bom entendimento dos sistemas de
controle interno e verificar se há indícios de irregularidades que pos-
sam prejudicar o desempenho do objeto auditado (ISSAI 3000/73-74).

2.8 CONTROLE E ASSEGURAÇÃO DE QUALIDADE


Requisito

A EFS deve estabelecer e manter um sistema para salvaguardar a qualidade, que


deve ser observado pelo auditor, a fim de garantir que todos os requisitos sejam
atendidos, dando ênfase a relatórios apropriados, equilibrados e imparciais, que
agreguem valor e respondam às questões de auditoria (ISSAI 3000/79).

105. A maneira como as auditorias operacionais são desenvol-


vidas e o grau de excelência dos relatórios produzidos podem afetar a
imagem do Tribunal. Por essa razão, é importante assegurar que todas
as atividades sejam desenvolvidas com padrões elevados de qualidade
(NAT, 48.4; NAO, 2006). O controle e a asseguração6 de qualidade são
importantes, ainda, porque possibilitam o contínuo aperfeiçoamento dos
trabalhos desenvolvidos, a partir da incorporação de lições aprendidas.
Inicialmente, é importante definir e diferenciar esses dois conceitos.

6
Em inglês, quality assurance. As NAT usam a expressão “garantia de qualidade” e outros docu-
mentos sobre o tema podem usar “avaliação de qualidade”.
106. Controle de qualidade em auditoria é o conjunto de pro-
cedimentos executados ao longo do trabalho como parte integrante
do processo de auditoria para garantir que os relatórios de auditoria
tenham alta qualidade e satisfaçam as normas e padrões profissionais
estabelecidos (BRASIL, 2017b).

107. É um processo contínuo que abrange as atividades de su-


pervisão e orientação da equipe pelo supervisor em todas as fases do
ciclo das auditorias operacionais. Envolve a orientação sobre a concep-
ção da auditoria, o método de trabalho e a análise de evidências, bem
como atividades compartilhadas pelo supervisor e a equipe, como o
acompanhamento do cronograma, revisões periódicas dos papéis de
trabalho, preenchimento de checklists de supervisão, consultas à opi-
nião de especialistas e realização de painéis de referência.

108. Asseguração de qualidade, por sua vez, é o processo de


monitoramento estabelecido pela EFS para garantir que as políticas e
procedimentos relativos ao sistema de controle de qualidade são rele-
42
vantes, adequados e funcionam efetivamente na prática (ISSAI 140/6).
Pode ser exercida por meio de revisões internas ou externas dos papéis
de trabalho e dos relatórios produzidos, após a conclusão da auditoria.

109. A asseguração de qualidade em auditoria é exercida com


os seguintes objetivos:

a. aperfeiçoar a qualidade dos relatórios com base nas lições


aprendidas;
b. identificar oportunidades de melhoria na condução de
trabalhos futuros e evitar a repetição de deficiências;
c. evidenciar boas práticas na execução dos trabalhos que
possam ser disseminadas;
d. contribuir para o desenvolvimento de competências por meio
da identificação de necessidades de treinamento;
e. identificar a necessidade de revisão ou de elaboração de
documentos técnicos que contenham orientações para a
execução das atividades;
f. suprir a administração com informações sistemáticas e
confiáveis sobre a qualidade dos trabalhos.

110. O Quadro 2 apresenta algumas diferenças entre controle de


qualidade e asseguração de qualidade.
Quadro 2 - Controle de qualidade e asseguração de qualidade em auditoria

Controle de qualidade Asseguração de qualidade

1. O que é? Envolve as políticas e pro- Processo pelo qual a EFS verifica e


cedimentos estabelecidos monitora o sistema de controle de
pela EFS para garantir que qualidade, incluindo inspeções peri-
todas as fases da auditoria ódicas nas auditorias realizadas. Essa
são conduzidas de acordo verificação é feita para garantir que o
com as ISSAI. sistema de controle de qualidade da
EFS está funcionando de forma cor-
reta e que as auditorias estão sendo
conduzidas de acordo com as ISSAI.

2. Quem faz? O supervisor da auditoria, Pessoa ou equipe não envolvida na


o coordenador e os mem- auditoria.
bros da equipe.

3. Quem é Garantir a qualidade das A pessoa ou equipe designada para


responsável? auditorias é responsabilida- a revisão.
de de todos os funcionários
da EFS e de cada integran-
te da equipe de auditoria.

4. Quando é
Durante a auditoria.
Após terminado o relatório e encerra- 43
feito? da a auditoria.

Não há conclusão, há um
acompanhamento do
O(A) revisor(a) independente conclui
5. Qual é a trabalho da equipe de
em que medida a auditoria foi reali-
conclusão? auditoria para garantir a
zada de acordo com as ISSAI.
qualidade da auditoria e a
aderência às ISSAI.

Fonte: adaptado de AFROSAI-E (2015).

111. Além da adoção dos procedimentos de controle, a promo-


ção da qualidade também pode ser realizada por meio de iniciativas
anteriores às fiscalizações, como o fornecimento de orientações sobre
a condução dos trabalhos mediante disponibilização de manuais, mo-
delos e exemplos e a capacitação das equipes de auditoria por meio
de seminários e treinamentos.

112. Outra forma efetiva de promover a qualidade das audito-


rias consiste em criar condições de trabalho que promovam o diálogo,
a delegação e a confiança mútua dentro da organização, bem como
estimulem o senso de responsabilidade dos auditores.

113. ISSAI 140 visa auxiliar as EFS a estabelecer e manter um sis-


tema de controle de qualidade que abranja todos os trabalhos da entida-
de. Para tanto, estabelece princípios chave de um sistema de controle de
qualidade, que se desdobram nos seis elementos apresentados a seguir:
a. Responsabilidades da direção pela qualidade na instituição
– A EFS deve estabelecer políticas e procedimentos para
promover uma cultura interna que reconheça a qualidade
como essencial na condução de todos os trabalhos. Essas
políticas e procedimentos devem ser estabelecidas pelo
dirigente máximo da EFS, que detém a responsabilidade final
pelo sistema de controle de qualidade.
b. Requisitos éticos relevantes – A EFS deve estabelecer
políticas e procedimentos para garantir que seus servidores
e as pessoas contratadas para conduzir trabalhos para a EFS
cumpram com os requisitos éticos relevantes.
c. Aceitação e continuidade – A EFS deve estabelecer políticas e
procedimentos para garantir que auditorias e outros trabalhos
sejam conduzidos quando a EFS: tenha competência para
realizar os trabalhos; cumpra com os requisitos éticos
relevantes; considere a integridade da entidade auditada e
como tratar os eventuais riscos à qualidade.
d. Recursos humanos – A EFS deve estabelecer políticas
44
e procedimentos para dispor de pessoal suficiente com
competência, capacidade e compromisso com os princípios
éticos para conduzir os trabalhos de acordo com as normas
relevantes e aplicáveis e publicar relatórios apropriados às
circunstâncias.
e. Desempenho das auditorias e outros trabalhos – As
políticas e procedimentos estabelecidos para assegurar
que as auditorias e outros trabalhos sejam conduzidos de
acordo com as normas profissionais, os requisitos legais
e regulatórios, e que os relatórios sejam apropriados às
circunstâncias devem incluir: temas relevantes para promover
a consistência na qualidade do trabalho desenvolvido e
responsabilidades de supervisão e revisão.
f. Monitoramento – A EFS deve estabelecer um processo
de monitoramento para garantir que as políticas e
procedimentos relativos ao sistema de controle de qualidade
sejam relevantes, adequados e efetivos. Esse processo deve:

f1) avaliar o sistema de controle de qualidade, incluindo revisão


de uma amostra de trabalhos concluídos realizados pela EFS;
f2) atribuir a responsabilidade do processo de monitoramen-
to a uma pessoa ou a um grupo de pessoas com experi-
ência e autoridade para assumir tal atribuição;
f3) requerer que os revisores sejam independentes (ou seja,
não tenham participado dos trabalhos avaliados ou do
seu controle de qualidade).
114. O monitoramento constitui-se no próprio processo de asse-
guração de qualidade. Deve abranger todos os seis elementos descri-
tos na ISSAI 140, incluindo o próprio monitoramento (IDI, 2018).

115. Entre os principais atores envolvidos no controle de quali-


dade, cabe destacar o supervisor e o coordenador da auditoria.

116. Como já mencionado na seção 2.6, a supervisão é essencial


para assegurar o alcance dos objetivos e a qualidade da auditoria, as-
sim como o desenvolvimento das equipes. O nível de supervisão pode
variar dependendo da proficiência e experiência da equipe e da com-
plexidade do objeto da auditoria (ISSAI 3000/67).

117. Compete ao supervisor orientar e revisar tecnicamente a


auditoria. A orientação é atividade proativa e abrange discutir com a
equipe o mérito da concepção do trabalho, do plano de auditoria, das
conclusões, das propostas de encaminhamento, bem como encami-
nhar a viabilização dos recursos necessários à execução da auditoria.
45
O supervisor deve revisar as matrizes de planejamento e de achados,
o plano de auditoria, demais papéis de trabalho e o relatório, conside-
rando a complexidade da auditoria.

118. Cabe ao coordenador discutir com os demais integrantes


da equipe de auditoria a definição do escopo do trabalho, da estraté-
gia metodológica e dos procedimentos e técnicas a usar (NAT, 76-77).

119. Compete ao coordenador da auditoria, ainda, realizar reu-


niões periódicas com a equipe para a discussão de problemas surgidos
durante o desenvolvimento das atividades e de adaptações necessárias
nos papéis de trabalho produzidos; reportar ao supervisor o andamen-
to dos trabalhos e com ele discutir o tratamento a ser dado a eventuais
problemas e dificuldades; revisar toda a documentação obtida duran-
te a fiscalização, inclusive as contribuições dos demais integrantes da
equipe ao relatório de auditoria; e preparar a versão final do relatório.
Além disso, o coordenador deve zelar para que:

a. os objetivos da auditoria sejam definidos considerando as


informações disponíveis sobre o desempenho do objeto
auditado;
b. critérios de auditoria apropriados sejam definidos;
c. os membros da equipe tenham investigado, documentado e
compreendido os aspectos centrais do objeto de auditoria;
d. os objetivos da auditoria estejam claros para os membros da
equipe e para os auditados;
e. o plano de auditoria contenha todas as informações
necessárias para a avaliação do trabalho planejado;
f. bom ambiente de trabalho seja mantido entre os integrantes
da equipe de auditoria e entre a equipe e os auditados;
g. o uso das diversas técnicas de auditoria siga as prescrições
contidas nos documentos técnicos correspondentes;
h. os prazos estimados sejam cumpridos, devendo propor
ao supervisor a alteração do cronograma em caso de
necessidade;
i. os membros da equipe responsabilizem-se pela execução de
tarefas condizentes com seus conhecimentos e habilidades;
j. os achados e conclusões sejam sustentados por evidências
suficientes e apropriadas.

120. O controle de qualidade nas auditorias operacionais é re-


alizado com o auxílio de determinadas técnicas e procedimentos roti-
neiros que facilitam a sua aplicação.

46
121. Entretanto, é importante ressaltar que nenhum procedimento
de controle de qualidade no nível da auditoria individual pode garantir um
relatório de alta qualidade. É igualmente importante que os auditores se-
jam competentes e estejam motivados. Por isso, mecanismos de controle
devem ser complementados por outros tipos de apoio, como treinamento
em serviço e orientação para a equipe de auditoria (GUID 3910/32).

122. As principais ferramentas de controle de qualidade são:

a. checklists de qualidade;
b. cronograma;
c. matriz de planejamento;
d. matriz de achados;
e. painéis de referência;
f. comentários dos gestores.

123. O checklist é uma lista de verificação da realização de ati-


vidades e do cumprimento de padrões de qualidade aplicáveis a ativi-
dades, papéis de trabalho e produtos da auditoria. No TCU, são usados
checklists tanto no controle quanto na asseguração de qualidade. Para
apoio aos supervisores e coordenadores de auditoria, foi desenvolvido
aplicativo que permite o preenchimento eletrônico dos checklists utili-
zados no controle de qualidade das auditorias.

124. O denominado checklist de auditoria presta-se a apoiar


o supervisor no controle dos aspectos fundamentais da qualidade do
trabalho, conforme previsto nas normas profissionais de auditoria. O
checklist de  supervisão de auditoria visa apoiar o supervisor na reali-
zação de atividades essenciais esperadas de sua atuação em qualquer
tipo de auditoria. O checklist deve ser aplicado concomitantemente à
auditoria, para facilitar o trabalho da supervisão, na medida em que
permite a verificação do cumprimento, pela equipe de auditoria, de
atividades-chave nas diversas etapas da auditoria.

125. O cronograma permite que a equipe planeje e organize


suas atividades e facilita a alocação de seus membros de acordo com
os procedimentos previstos e com o tempo disponível. Deve conter a
relação das tarefas a serem executadas, os respectivos responsáveis e
os prazos para a sua execução. Após ser acordado entre os membros
da equipe, o cronograma deve ser submetido ao supervisor, que deve-
rá utilizá-lo para acompanhar o desenvolvimento dos trabalhos.

126. A matriz de planejamento (seção 4.8), a matriz de acha-


dos (seção 5.6), os painéis de referência (seções 4.8.1 e 5.6.1) e os
47
comentários dos gestores (seção 6.5) são instrumentos de controle de
qualidade que são tratados com mais detalhes em seções específicas
deste manual.

2.9 MATERIALIDADE
Requisito

O auditor deve considerar a materialidade em todas as fases do processo de


auditoria, incluindo os aspectos financeiros, sociais e políticos do objeto, com
o objetivo de agregar tanto valor quanto seja possível (ISSAI 3000/83).

127. Materialidade pode ser definida como a importância rela-


tiva (ou significância) de um assunto dentro do contexto na qual é
considerada. Além do valor monetário, a materialidade inclui questões
de importância social e política, conformidade, transparência, gover-
nança e accountability. A materialidade pode variar ao longo do tempo
e pode depender da perspectiva dos usuários previstos e das partes
responsáveis (ISSAI 300/33, 2013; ISSAI 3000/84).

128. Os fatores qualitativos da materialidade podem incluir aspec-


tos como: se o achado é resultado de fraude; se um aspecto específico
do objeto auditado é significativo no que se refere à natureza, visibilidade
e sensibilidade; se a saúde ou segurança dos cidadãos é afetada; se o
achado se relaciona à transparência ou à accountability (GUID 3910/110).
129. Os fatores quantitativos relacionam-se à magnitude dos
achados que são expressos numericamente. É preciso considerar o
efeito agregado dos achados que individualmente sejam não signifi-
cantes (GUID 3910/113).

130. A ISSAI 100/41 considera três aspectos da materialidade (va-


lor, natureza e contexto), que devem ser considerados na auditoria. Valor
refere-se à perspectiva econômica, à melhor forma de usar os recursos
públicos. Natureza está relacionada ao mandato constitucional da audito-
ria, que permite reduzir a assimetria de informações entre o legislativo e o
executivo. Contexto refere-se a outros aspectos relacionados ao ambiente
em que cada EFS opera, voltados à aprendizagem e ao desenvolvimento
da administração pública (HEMSEN KILVIK; PAULSRUD, 2018).

131. Exemplo de materialidade, considerando o valor, poderia ser


a escolha de um tópico de auditoria baseado em gastos orçamentários.
Um exemplo do aspecto de natureza da materialidade poderia ser a
realização de auditoria nas medidas implementadas pelo Ministério da
48
Justiça para melhorar a segurança pública e prevenir ataques terroristas.
Uma das razões mais comuns para realizar auditorias é contribuir para o
aperfeiçoamento do setor público. Esse tipo de materialidade enquadra-
-se no aspecto de contexto (HEMSEN KILVIK; PAULSRUD, 2018).

132. O auditor deve considerar a materialidade ao longo de


todo o processo de auditoria, tais como: a seleção de temas, a defini-
ção de critérios, a avaliação de evidências, a documentação e o geren-
ciamento dos riscos de produzir achados ou relatórios inadequados ou
de baixo impacto (ISSAI 300/33; ISSAI 3000/83).

133. A materialidade é um dos requisitos a considerar na sele-


ção de temas de auditoria, como será visto no capítulo 3 deste manual.

2.10 DOCUMENTAÇÃO
Requisito

O auditor deve documentar a auditoria de maneira suficientemente completa


e detalhada (ISSAI 3000/86).

134. A documentação deve permitir que um auditor experiente,


sem nenhum contato prévio com a auditoria, possa posteriormente
entender a natureza, o escopo e os resultados do trabalho, e chegar às
mesmas conclusões e recomendações, além de entender o raciocínio
por trás das questões relevantes que exigiram o exercício de julgamen-
to profissional (ISSAI 100/42; ISSAI 300/34; ISSAI 3000/87; NAT, 115).

135. A documentação não deve apenas confirmar a exatidão


dos fatos, mas também garantir que o relatório seja equilibrado. Para
tanto, pode ser necessário, por exemplo, que a documentação inclua
referência a argumentos não aceitos no relatório ou com diferentes
pontos de vista (ISSAI 300/34).

136. A quantidade, tipo e conteúdo da documentação (papéis


de trabalho) serão definidos pela equipe de auditoria. Entretanto, é
necessário documentar no mínimo:

a. objetivo e escopo da auditoria;


b. cronograma de trabalho;
c. estratégia de auditoria;
d. avaliação do risco de auditoria;
49
e. plano de auditoria;
f. razões para alterações significativas no planejamento da
auditoria após essa fase;
g. metodologia;
h. limitações à condução da auditoria;
i. instrumentos de coleta de dados;
j. procedimentos executados;
k. evidências obtidas;
l. comunicações com as entidades auditadas;
m. atas de reuniões;
n. revisões de supervisores;
o. resultados das técnicas de diagnóstico aplicadas (por
exemplo, análise SWOT, Diagrama de Verificação de Risco
(DVR), análise stakeholder, mapa de processos etc.);
p. registros de questionários, entrevistas e grupos focais
realizados;
q. resultados de análises estatísticas e de banco de dados;
r. registro das análises de conteúdo;
s. sugestões obtidas nos painéis de referência;
t. comentários do gestor e sua análise;
u. matrizes de planejamento e achados;
v. versões preliminares e final do relatório.

137. Manter os papéis de trabalho organizados e documentados


é importante porque:
a. auxilia no planejamento, execução e supervisão da auditoria;
b. subsidia a elaboração do relatório e a resposta a
questionamentos do auditado ou de outros stakeholders;
c. aumenta a eficiência da auditoria;
d. auxilia na revisão da qualidade da auditoria;
e. contribui para o desenvolvimento profissional do auditor;
f. subsidia a realização de monitoramentos e de novos
trabalhos.

138. São considerados papéis de trabalho documentos prepa-


rados pelo auditor, pelo auditado ou por terceiros, como: planilhas, for-
mulários, questionários respondidos, fotografias, arquivos de dados, de
vídeo ou de áudio, ofícios, memorandos, portarias, contratos, termos
de convênios, confirmações externas, planos de auditoria e registros
de sua execução, como matrizes de planejamento e de achados (NAT,
112). O Quadro 3 apresenta algumas características de bons papéis de
trabalho. A supervisão e a asseguração da qualidade da auditoria serão
facilitadas se os papéis de trabalho apresentarem as características
50
descritas na tabela.

Quadro 3 - Características de bons papéis de trabalho

Completude e Devem dar suporte aos achados, conclusões e recomendações.


precisão

Clareza e Qualquer pessoa que os consulte deve ser capaz de entender


concisão o objetivo, a natureza, o escopo e as conclusões da auditoria
realizada, sem necessidade de explicações adicionais.

Facilidade de Sua elaboração não deve depender de procedimentos excessi-


elaboração vamente custosos e de difícil execução. Isso pode ser consegui-
do usando-se, por exemplo, formulários padronizados e tabelas
automatizadas.

Legibilidade Devem ser fáceis de entender e interpretar. Essas características


são necessárias para a elaboração do relatório e para que os
papéis de trabalho possam ser usados como evidências.

Relevância Suas informações devem restringir-se a temas que sejam mate-


rialmente importantes, pertinentes e úteis para a auditoria.

Organização Devem ser organizados segundo uma estrutura lógica, facilitan-


do a recuperação da informação.

Facilidade de Devem favorecer a revisão da qualidade da auditoria ser elabo-


revisão rados considerando as necessidades de seus usuários.

Fonte: Adaptado de PASAI Performance Audit Manual (PASAI, 2011).


139. É recomendável que a documentação inclua um sistema de
indexação e de referências cruzadas7 entre o relatório de auditoria e
os papéis de trabalho (GUID 3910/117). Esse sistema deve existir tanto
para documentos em papel como para arquivos eletrônicos.

140. A documentação de auditoria deve ser armazenada du-


rante o tempo necessário para satisfazer as exigências legais e admi-
nistrativas. Deve-se garantir a segurança, integridade, acessibilidade e
possibilidade de recuperação das informações, seja em papel, meio
eletrônico ou outras mídias. No TCU, a equipe deverá consultar a Tabe-
la de Temporalidade de Documentos de Controle Externo, que esta-
belece o período de guarda da documentação.

51

7
A indexação e a referência cruzada são boas práticas de auditoria. Na indexação, toda a docu-
mentação de suporte e papeis de trabalho, sejam eletrônicos ou impressos, devem receber na
primeira página um código alinhado com a lista/sumário desses documentos e papeis de trabalho.

A referência cruzada é o registro nos papeis de trabalho e, principalmente em versão específica


do relatório, dos códigos que identificam a documentação e os papeis de trabalho que suportam
as análises, evidências e achados

Indexação e referência cruzada devem permitir a identificação e acesso rápido a todas as evidên-
cias de auditoria em caso de questionamento, mas também para tornar mais eficiente a supervi-
são e a asseguração de qualidade.
3 SELEÇÃO DE TEMAS

Requisitos

O auditor deve selecionar temas de auditoria com base no processo de pla-


nejamento estratégico da EFS, analisando temas em potencial e realizando
pesquisa para identificar riscos e problemas de auditoria (ISSAI 3000/89).

O auditor deve selecionar temas de auditoria que sejam significativos e audi-


táveis, e consistentes com o mandato da EFS (ISSAI 3000/90).

O auditor deve conduzir o processo de seleção de temas de auditoria com o


objetivo de maximizar o impacto esperado da auditoria, tendo devidamente
52 em conta as capacidades de auditoria (ISSAI 3000/91).

141. A seleção do tema da auditoria é o primeiro estágio do


ciclo de auditoria. De acordo com as ISSAI, faz parte do planejamen-
to. A ISSAI 3000 prevê duas atividades no planejamento de auditoria:
seleção de temas e desenho da auditoria. É importante selecionar um
tema que possibilite a realização de uma auditoria que contribua para
o aperfeiçoamento da administração pública. Selecionar bem significa
escolher os temas que podem oferecer maior benefício à coletividade,
considerando as alternativas (BRASIL, 2016a).

142. No TCU, a seleção do tema ou do objeto de auditoria é rea-


lizada antes do início do trabalho. Nessa fase, nos casos em que já existe
conhecimento acumulado sobre o tema, é possível detalhar melhor a sele-
ção e chegar à definição do objeto da auditoria. Essa situação é frequente
quando já foram realizadas auditorias anteriores no tema ou em objeto
similar ou quando preliminarmente foi realizado um levantamento.

3.1 PROCESSO DE SELEÇÃO


143. O processo de seleção é necessário porque o campo de
atuação do controle externo é muito amplo, se comparado aos seus
recursos limitados. Para decidir o que auditar, é necessário estabelecer
critérios, visando orientar a aplicação de recursos e aumentar a proba-
bilidade de selecionar objetos de auditoria que tragam oportunidade
de realizar trabalhos que agreguem valor. Este capítulo trata desses
critérios e de instrumentos que podem apoiar o processo de seleção.

144. No TCU, a sistemática de seleção vigente está definida no do-


cumento técnico Orientações para Seleção de Objetos e Ações de Controle
(BRASIL, 2016a). O método de seleção empregado desenvolve-se nas se-
guintes quatro etapas: conhecimento do universo de controle; seleção de
situações-problema; seleção de objetos de controle; e seleção de linhas de
ação e de ações de controle. Situação-problema é definida como um con-
junto de condições ou circunstâncias que produzem ou podem vir a produ-
zir consequências de natureza econômica, social e ambiental que afetam a
sociedade e que se encontra no âmbito da atuação governamental.

145. Ao determinar a alocação de seus recursos, o Tribunal prio-


rizará atividades que precisam, por lei, ser completadas em certo prazo,
a exemplo do relatório e pareceres prévios sobre as contas do Governo.
Este capítulo não trata desses casos, mas dos cuidados que devem ser
adotados para priorizar as auditorias de iniciativa própria.
53

3.2 INTEGRAÇÃO COM O


PLANEJAMENTO ESTRATÉGICO

146. O processo de seleção deve estar integrado simultanea-


mente ao planejamento estratégico e ao sistema de planejamento anu-
al da EFS (ISSAI 3000/89).

147. As escolhas estratégicas do TCU abrangem diferentes pers-


pectivas, desde decisões sobre a alocação de recursos para cumprir
suas obrigações legais até decisões sobre áreas de governo que de-
vem ser examinadas prioritariamente. Assim, essas escolhas afetam a
alocação de recursos em geral, tais como a natureza do investimento
em capacitação, os tipos de ferramentas de trabalho que devem ser
desenvolvidas, o quantitativo de pessoal alocado por linha de atuação.
Além disso, a seleção de objetos específicos deve partir de perspectiva
geral do Tribunal sobre temas prioritários de auditoria.

148. Uma vez definidas as grandes áreas de atuação, levando


em consideração os objetivos do TCU, o processo de seleção de ob-
jetos de auditoria pode ser mais focado, passando-se ao exame das
informações setoriais das ações de governo em confronto com critérios
de seleção. Essa segunda etapa permitirá passar do planejamento es-
tratégico para a formulação de plano operacional.
3.3 CRITÉRIOS DE SELEÇÃO
149. Realizadas as escolhas estratégicas, o próximo passo do
processo de seleção de objetos de auditoria é definir os critérios que
serão usados para selecionar objetos específicos de auditoria.

150. Os temas de auditoria a serem selecionados devem ser


relevantes, auditáveis, consistentes com o mandato da EFS (ISSAI
3000/90). No caso do TCU, as competências e o mandato estão esta-
belecidos no artigo 71 da Constituição Federal de 1988.

151. O objeto de auditoria precisa refletir a materialidade e o ris-


co na área de auditoria. Isso é importante para agregar valor e garantir
que a auditoria seja relevante (GUID 3910/26).

152. A materialidade indica que o processo de seleção deve levar


em consideração os valores envolvidos no objeto de auditoria, assim como
a sua natureza e o seu contexto. Nem sempre os benefícios das auditorias
54
operacionais são financeiramente quantificáveis, mas o aperfeiçoamento
de processos em objetos de auditoria com alta relevância financeira tem
grande possibilidade de gerar economia ou eliminar desperdícios.

153. O volume de recursos disponíveis no orçamento é indicador


de materialidade, no aspecto quantitativo. No entanto, em ambientes orça-
mentários nos quais existe grande diferença entre o orçado, o contratado e
o pago, o exame dos valores envolvidos em cada uma dessas fases da des-
pesa pode ser necessário. Além disso, na fiscalização da área de regulação,
por exemplo, a dimensão econômica do setor no qual se insere o objeto de
auditoria, um aspecto do contexto, deve ser levada em consideração.

154. Em auditoria, os conceitos de materialidade e relevância estão


intrinsicamente relacionados. Considerar a materialidade implica direcionar
a seleção para temas relevantes, isto é, atuais, de grande valor e impor-
tância nacional e de interesse da sociedade. Alguns meios que podem ser
usados para identificar a relevância do possível objeto de auditoria são:

a. opinião de parlamentares, técnicos de institutos de pesquisa


ou das casas legislativas, figuras proeminentes na sociedade;
b. opinião de representantes da sociedade civil organizada;
c. declarações de prioridades nos planos e orçamentos públicos
como o Plano Plurianual, a Lei de Diretrizes Orçamentárias, os
planos setoriais;
d. relatos reiterados de desperdícios, erros ou desobediência a
procedimentos;
e. presença do tema na mídia.
155. Um critério que também merece destaque no processo de
seleção é o risco, entendido como evento que afete adversamente a rea-
lização dos objetivos. Objetos expostos a riscos elevados implicam maior
possibilidade de que o alcance dos objetivos seja prejudicado, podendo
influenciar negativamente o desempenho do objeto (BRASIL, 2016a).

156. Alguns exemplos de situações que podem estar associadas


à ocorrência de eventos adversos são:

a. estruturas gerenciais complexas que envolvem diferentes


organizações governamentais, de uma mesma esfera ou
de esferas de governo diferentes, e organizações não-
governamentais8;
b. problemas de estrutura, planejamento, controle;
c. falta de informações confiáveis ou atualizadas sobre o
desempenho do objeto de auditoria, como alcance de metas,
custos dos produtos, público atendido;
d. falta de clareza sobre objetivos, metas, responsabilidades,
55
processos de tomada de decisão;
e. problemas operacionais com sistemas informatizados.

157. Agregar valor refere-se a produzir novos conhecimentos e


perspectivas sobre o objeto de auditoria, bem como contribuir para
a melhoria do desempenho. As seguintes situações podem indicar a
possibilidade de a auditoria agregar valor significativo:

a. discussão sobre nova política pública ou mudança significativa


na implementação de programa ou organização de ente
governamental;
b. identificação de lacunas, incoerências, intersecções,
fragmentação, sobreposição ou duplicação de ações e/ou
competências dos atores envolvidos, por meio de visão do
governo como um todo sobre o objeto de auditoria;
c. surgimento de novas ou urgentes atividades ou mudanças
de situação;
d. escassez de auditorias anteriores ou trabalhos de outros
órgãos de pesquisa ou de controle sobre o objeto de
auditoria;
e. pouco conhecimento sobre a relação de causa e efeito entre
a ação de governo e a solução de problemas.

8
Os objetos de auditoria operacional têm cada vez mais essas características. Para lidar com essas
complexidades, pode ser necessário usar conhecimentos e ferramentas específicas, como Frag-
mentação, Superposição e Duplicação, e Enfoque Integrado de Governo. Mais informações sobre
esses temas na seção 4.4.1 deste manual.
158. A auditabilidade refere-se à viabilidade de o auditor con-
seguir concluir em relação aos objetivos da auditoria que se vai reali-
zar. No caso da auditoria operacional, concluir sobre a economicidade,
eficácia, eficiência ou efetividade do objeto auditado. Por exemplo, se
existem abordagens, metodologias e critérios de auditoria disponíveis,
se as informações requeridas estarão disponíveis e poderão ser obtidas
de forma eficiente, se a equipe de auditoria tem disponibilidade e as
competências requeridas para realizar o trabalho (ISSAI 3000/94).

159. Os critérios de seleção podem ter maior ou menor peso no


processo de escolha, conforme a conjuntura. As características do possível
objeto de auditoria devem ser examinadas em relação a cada um desses
critérios para, em conjunto, permitir a elaboração de escala de prioridades.

160. Detalhes sobre os procedimentos de seleção podem ser


encontradas no documento técnico do TCU Orientações para seleção
de objetos e ações de controle (TCU, 2016a).

56
3.4 LEVANTAMENTO
161. Para passar do planejamento estratégico para o plano opera-
cional, são necessárias informações atualizadas sobre estrutura, funções e
operações dos possíveis objetos de auditoria, que permitam a identifica-
ção de áreas com alta materialidade, que apresentem vulnerabilidades e
que tenham potencial para que a auditoria contribua para gerar melho-
rias na administração. A coleta dessas informações pode ser realizada por
procedimentos internos de iniciativa da própria unidade técnica, como a
produção de conhecimento, e por meio de levantamento, que é um tipo
de instrumento de fiscalização (BRASIL, 2015, art. 238; NAT, 71).

162. O planejamento estratégico, ao qual se vincula o processo de


seleção de temas de auditoria, pode ser baseado em identificação e análi-
se de riscos, ou, de outra forma, análise de indicadores de problemas exis-
tentes ou potenciais. Sendo assim, a identificação e avaliação de riscos tem
papel importante na definição do escopo do levantamento e na obtenção
de informações que realimentarão o planejamento estratégico do TCU.

163. O levantamento pode servir tanto como instrumento para


selecionar futuros temas para auditorias quanto para decidir se é viável
realizar auditorias específicas. Dependendo do objetivo e do conheci-
mento acumulado sobre a área em exame, o levantamento poderá ter
escopo amplo ou restrito.
3.4.1. LEVANTAMENTO DE ESCOPO AMPLO

164. O levantamento de escopo amplo tem por objetivo conhe-


cer a organização e o funcionamento das áreas que poderão ser fis-
calizadas, bem como identificar objetos e instrumentos de fiscalização
(BRASIL, 2015, art. 238, incisos I e II).

165. O levantamento de escopo amplo explora as possibilidades


de fiscalizações mediante análise do geral para o particular e em perspec-
tiva plurianual. Tendo em vista sua amplitude, ele pode identificar oportu-
nidades de realizar tanto auditorias operacionais quanto de conformidade.

166. Em geral, são colhidas informações sobre os planos seto-


riais, base legal dos programas e organizações, previsão orçamentária
e execução financeira, sistemas de informação, estruturas de monito-
ramento e avaliação, metas, planos de programas e de organizações.
Além disso, são analisados trabalhos de órgãos de pesquisa e de con-
trole sobre os possíveis objetos de auditoria.
57
167. O levantamento é oportunidade para se adquirir conhecimen-
to sistêmico sobre setores de atividade governamental. Procura-se enten-
der a articulação entre programas de governo para alcançar os objetivos
de determinada política pública, o papel das organizações públicas e pri-
vadas envolvidas, os principais desafios e dificuldades existentes.

168. Além disso, o levantamento permite atualizar informações


sobre áreas de governo, identificar novos desenvolvimentos e tendên-
cias nas políticas públicas, mudanças de prioridades, necessidade de
uso de novas abordagens e técnicas nas auditorias.

169. Por meio do levantamento, o Tribunal adquire condições


de focar melhor sua ação de fiscalização e pode criar estratégia de atu-
ação com perspectiva plurianual, que aborde de forma consistente os
principais problemas identificados. O levantamento de escopo amplo,
por sua natureza, tem custo maior do que o de escopo restrito, mas
não precisa ser realizado com frequência, porque parte das informa-
ções são estáveis e parte pode ser atualizada mediante consulta em
bases de dados ou por meio de outros métodos disponíveis.

3.4.2. LEVANTAMENTO DE ESCOPO RESTRITO

170. Em alguns casos, pode ser necessário aprofundar o levan-


tamento para estudar a viabilidade de realização da fiscalização, isto é,
examinar se o objeto de auditoria indicado é auditável, o que corres-
ponde a um dos possíveis objetivos do levantamento (BRASIL, 2015,
art. 238, inciso III).

171. Um dos motivos que pode exigir a realização do estudo


de viabilidade é a questão da oportunidade. Como o levantamento
de escopo amplo visa identificar objetos de auditoria no curto, médio
e longo prazos, mudanças de situação podem exigir a atualização de
informações e a reavaliação dos critérios de seleção. Outro motivo é
que as informações levantadas, em abordagem sistêmica, podem não
ser suficientes para decidir sobre a realização de fiscalização específica,
para a qual seriam necessárias informações mais detalhadas.

172. Em geral, o estudo de viabilidade traz informações sobre


os principais processos operacionais e produtos, de forma a esclarecer
a forma de execução das atividades ou ações. Além disso, examina-se:

a. a qualidade dos indicadores de desempenho já identificados,


58
destacando oportunidades de melhoria;
b. a disponibilidade de dados e sistemas de informações,
abordando sua confiabilidade e abrangência;
c. os relatórios gerenciais existentes e as avaliações
anteriormente efetuadas;
d. as limitações à execução da auditoria,
e. a receptividade do gestor em participar da fiscalização;
f. a necessidade de empregar habilidades especializadas na
auditoria;
g. os possíveis prejuízos aos objetivos do controle externo, caso
a fiscalização não seja realizada.

173. A conclusão do estudo de viabilidade deve conter manifesta-


ção valorativa, substantiva e convincente sobre a conveniência e a oportu-
nidade de se realizar a fiscalização. Deve abranger razões que recomen-
dam a seleção do objeto de auditoria, como o potencial de a auditoria no
tema contribuir para gerar benefícios para a sociedade e para chamar a
atenção da mídia, da sociedade civil organizada e do Legislativo.

174. Orientações mais detalhadas sobre Levantamento podem


ser encontradas no Roteiro de Levantamento (BRASIL, 2018b).

175. É importante destacar que levantamento não é auditoria.


Não cabe, portanto, planejar o levantamento, seja de escopo amplo ou
de escopo restrito, para a obtenção de evidências para sustentar acha-
dos de auditoria. As deliberações proferidas em processos de levan-
tamento não conterão determinações, salvo nos casos em que forem
detectadas irregularidades graves e urgentes que ensejem a expedição
de determinações corretivas imediatas (BRASIL, 2020a). Se durante
a realização do levantamento forem identificadas impropriedades ou
irregularidades, o fato deve ser comunicado ao supervisor do trabalho
para que, em conjunto com o titular da unidade técnica, avalie a con-
veniência e a oportunidade de aprofundar os exames mediante repre-
sentação ou inclusão da questão no escopo de outra ação de controle.

3.5 FORMULAÇÃO DA PROPOSTA DE AUDITORIA


176. Concluída a seleção dos temas que serão objeto de audito-
ria, cabe à unidade técnica do Tribunal formular a proposta de fiscaliza-
ção correspondente, que deverá integrar o Plano de Controle Externo.
Nesse processo, a unidade técnica deverá indicar claramente o objeto
de controle a ser auditado e o objetivo do trabalho (NAT, 68).
59
177. O objeto de auditoria deve ser passível de identificação e
de avaliação baseada em critérios consistentes (ISSAI 100/26; GUID
3920/20). Além disso, deverá possibilitar a coleta de evidências capa-
zes de sustentar os achados e as conclusões de auditoria.

178. O objetivo constante da proposta deverá ser claramente


definido e, por se tratar de proposta de auditoria operacional, deverá
estar relacionado às dimensões de desempenho economicidade, efici-
ência, eficácia ou efetividade (ISSAI 300/25).

179. A unidade técnica também deverá informar na proposta


de fiscalização os recursos necessários que serão alocados para que
os objetivos da auditoria possam ser alcançados nos prazos definidos,
considerando os conhecimentos, as habilidades e as competências ne-
cessários e a natureza e a complexidade de cada trabalho (NAT, 70).
Somente devem ser propostos trabalhos para os quais a unidade técni-
ca considere que existam competências, habilidades, tempo e recursos
necessários para a sua adequada execução e que esses recursos sejam
capazes de dar o devido tratamento aos riscos à qualidade que pos-
sam surgir (ISSAI 100/39 e ISSAI 140/Elemento 3).
4 PLANEJAMENTO

Requisitos

O auditor deve planejar a auditoria de forma a contribuir para uma auditoria de


alta qualidade, que será realizada de maneira econômica, eficiente, eficaz e opor-
tuna e de acordo com os princípios da boa gestão de projetos (ISSAI 3000/96).

Durante o planejamento, o auditor deve desenvolver os procedimentos a se-


rem usados para coletar evidências de auditoria suficientes e apropriadas,
que respondam ao(s) objetivos(s) e questões de auditoria (ISSAI 3000/101).

180. Para realizar uma auditoria de alta qualidade dentro do


60
prazo definido, o auditor deve considerar a auditoria operacional como
um projeto, que requer (entre outras características) planejamento, or-
ganização, gerenciamento, método e estratégias de gestão de projetos
(ISSAI 3000/97). Por constituir-se fase fundamental para o sucesso da
auditoria, é imprescindível que se disponibilize o tempo necessário ao
planejamento e que este atenda aos requisitos de qualidade (NAT, 95).

4.1 ATIVIDADES DO PLANEJAMENTO


181. A primeira atividade da auditoria deve ser a de refletir sobre o
propósito de se realizar aquele determinado trabalho, o porquê de aquela
ação ser importante para o país e para a organização auditada. A partir
disso, cabe definir os princípios norteadores do trabalho e os produtos
esperados ao final da auditoria. Tais alinhamentos, envolvendo tanto a
equipe de auditoria quanto representantes do grupo estratégico da orga-
nização e demandantes do trabalho, são necessários para que a auditoria
permaneça no foco delineado e produza os resultados almejados.

182. Considerando que as auditorias operacionais devem ser geren-


ciadas como projetos, na fase inicial do desenho da auditoria, a equipe deve
elaborar cronograma contendo as tarefas a executar, os responsáveis e o
prazo final para execução das atividades de planejamento. Esse instrumen-
to permite que a equipe organize suas atividades, facilitando a alocação de
seus membros de acordo com as tarefas necessárias e o tempo disponível.
183. Concluído o desenho da auditoria, elabora-se o cronogra-
ma contendo as tarefas e procedimentos a executar na fase de exe-
cução. Os cronogramas devem ser acordados entre os membros da
equipe e submetidos ao supervisor, que os usará no acompanhamento
dos trabalhos. Para facilitar essa tarefa, também podem ser usados
softwares específicos de acompanhamento de projetos.

184. Compete ao coordenador da equipe assegurar que o traba-


lho seja planejado corretamente e que os demais membros e os gesto-
res do objeto da auditoria estejam suficientemente informados acerca
do propósito do planejamento. É importante que o coordenador reavalie
os prazos estimados inicialmente. Se houver necessidade de readequa-
ção, o coordenador deve submeter o novo cronograma de atividades
ao supervisor. Essa proposta deve ser feita logo que a necessidade for
identificada, para que providências sejam adotadas em tempo hábil.

185. Para que a equipe forme entendimento comum sobre o


trabalho, é importante que todos os membros acompanhem o seu de-
61
senvolvimento e compartilhem as informações levantadas. Para isso,
recomenda-se a realização de reuniões periódicas, que mantenham
todos informados sobre o andamento dos trabalhos e busquem so-
lucionar impasses ou conflitos, quando necessário. Outra boa prática
é manter o registro visual das informações obtidas ou produzidas du-
rante todo o trabalho com acesso imediato para a equipe, utilizando,
assim, o princípio do pensamento visual. Utilizar o pensamento visual
significa tirar proveito da capacidade inata que as pessoas têm de ver
tanto com os olhos quanto com a mente, de forma a revelar ideias
que, de outra forma, seriam imperceptíveis, desenvolvê-las de maneira
rápida e intuitiva e depois compartilhá-las com outras pessoas de uma
maneira que elas a absorvam de maneira simples (ROAM, 2010).

186. A sala da equipe ou o ambiente de trabalho virtual passa a


funcionar, então, como o cérebro da equipe, propiciando a organização
e a sistematização das informações, o estabelecimento de inter-rela-
cionamentos (“sinapses”) entre elas, a identificação de padrões e os
insights da equipe. Essa prática facilita a gestão de conhecimento entre
os membros da equipe, por meio do compartilhamento e do consumo
dos dados e seu referenciamento, permitindo, assim, que todos tenham
o mesmo nível de compreensão a respeito do objeto tratado pela audi-
toria. A visibilidade simultânea do material permite-nos identificar pa-
drões e faz com que a síntese criativa ocorra muito mais rápido do que
quando os recursos estão escondidos em pastas, arquivos, cadernos ou
apresentações (BROWN, 2009). Esses resultados podem ser obtidos
por meio do emprego de softwares específicos que utilizam um sistema
de quadro virtual para gerenciamento de tarefas, úteis para equipes
que trabalham remotamente e que se comunicam por meio da Internet.

187. A equipe deve repassar ao supervisor, nos prazos acorda-


dos, informações a respeito das atividades concluídas e do seu impac-
to sobre os rumos da auditoria, tendo em vista os dados obtidos até
aquele ponto do planejamento. As limitações ou entraves ao cumpri-
mento dos prazos e tarefas acordados inicialmente também devem ser
informados ao supervisor dos trabalhos.

188. O estabelecimento de boas relações com os gestores, des-


de o início do trabalho, é de suma importância para o sucesso da au-
ditoria. Especial atenção deve ser dada à cuidadosa organização dos
contatos com os gestores, desde a fase de planejamento. No início des-
sa etapa, é importante uma reunião de abertura em que a equipe de
auditoria, acompanhada do supervisor, apresente os objetivos do tra-
balho para o gestor e sua equipe (NAT, 85). Se algum convidado dessa
62
reunião não puder comparecer, sua participação poderá ser virtual.

189. O objetivo desta reunião inicial, além da apresentação da


equipe de auditoria, é esclarecer sobre o tipo de auditoria que será
realizado e sua finalidade, as principais dimensões de análise (econo-
micidade, eficiência, eficácia e/ou efetividade), as etapas e os prazos
previstos para a realização do trabalho. É fundamental destacar a im-
portância da colaboração do gestor e a garantia de sua participação
em todas as fases do trabalho, assegurando-se o envio do relatório
preliminar para sua análise e comentários.

190. A atitude da equipe de auditoria deve favorecer a confian-


ça mútua e a interação produtiva ao longo de todo o trabalho, sem, en-
tretanto, descuidar da observância de limites necessários à salvaguarda
de sua independência na condução da auditoria (NAT, 54-55).

191. As principais atividades realizadas durante o planejamento


da auditoria operacional, apresentadas na Figura 5, serão tratadas nas
seções seguintes.
Figura 5 - Atividades de planejamento de auditoria operacional

Análise Abordagem orientada a problema, resultado, sistema ou uma combinação delas


preliminar

Definir objetivo e
Revisão de Elaborar questões Definir critérios de
escopo da
documentos de auditoria auditoria
auditoria

Entrevistas Matriz de planejamento


Plano de
auditoria
Análise Critérios Informação Procedi- Limitações O que a
stakeholder requerida e mentos de análise vai
fontes coleta e permiir
análise de dizer
Avaliação de dados
riscos ou
análise de Instrumento de coleta Testar instrumentos
problemas e análise de dados e revisá-los
63
Fonte: Adaptado de IDI Performance Audit Handbook (IDI, 2017).

4.2 ANÁLISE PRELIMINAR DO OBJETO DE AUDITORIA


Requisito

O auditor deve adquirir conhecimento substantivo e metodológico durante a


fase de planejamento (ISSAI 3000/98).

192. A análise preliminar objetiva a aquisição de conhecimen-


to substantivo sobre o objeto auditado. Consiste no levantamento de
informações relevantes sobre o objeto e permite analisar diferentes
desenhos de auditoria e verificar se há critérios e dados necessários
disponíveis. Também deve-se verificar se as informações ou evidências
requeridas poderão ser obtidas de forma eficiente. Vale ressaltar que
a falta de dados e informações pode ser um achado significativo e não
deve necessariamente impedir o auditor de continuar o trabalho.

193. A compreensão do objeto da auditoria permite identificar


riscos e pontos críticos existentes e é indispensável à definição do objeti-
vo, do escopo e da abordagem da auditoria. É importante assegurar que
os aspectos centrais do objeto auditado tenham sido investigados, docu-
mentados e compreendidos. A extensão e o nível de detalhamento dos
dados que serão coletados devem levar em consideração a natureza do
objeto investigado, o tempo e os recursos disponíveis para a auditoria.
194. De início, cuidadosa revisão dos documentos relacionados
ao objeto auditado deve ser realizada pela equipe de auditoria. Essa
revisão pode ser estruturada em uma parte sobre o objeto e seu con-
texto e em outra sobre o funcionamento do objeto.

195. Sobre o objeto e seu contexto:

a. objetivos (gerais ou parciais, dependendo da extensão do


trabalho);
b. política e legislação pertinentes;
c. estratégia de atuação (ações desenvolvidas, metas fixadas,
clientes atendidos, procedimentos e recursos empregados,
bens e serviços ofertados e benefícios proporcionados);
d. estrutura organizacional (linhas de subordinação e de
assessoramento e relação com as atividades desenvolvidas);
e. fontes de financiamento e principais itens de custo e despesa
(histórico da execução orçamentária);
f. situação no contexto das prioridades governamentais;
64
g. histórico (a partir da data de criação, as denominações
anteriores do objeto e mudanças na sua concepção lógica em
relação a objetivos, público-alvo e formas de implementação);
h. grupos de interesse e características do ambiente externo e
interno;
i. natureza da atuação de outros órgãos ou programas
governamentais que atuam na mesma área (linhas de
coordenação).

196. Sobre o funcionamento do objeto auditado:

a. processos gerenciais;
b. sistemas de informação e bases de dados existentes;
c. ambiente de controle;
d. restrições enfrentadas (imposições legais e limitações impostas
pela concorrência, pela tecnologia, pela escassez de recursos
ou pela necessidade de cooperar com outras entidades).

197. A equipe deve realizar investigação preliminar dos sistemas


de informação e dos controles internos e, assim como dos aspectos
legais considerados significativos no contexto da auditoria. Nas audi-
torias operacionais, o exame da confiabilidade da base informativa e
dos controles internos deve enfatizar os aspectos que possam compro-
meter a medição do desempenho do objeto de auditoria. Testes com
indicadores quantitativos (construídos pela equipe ou pré-existentes)
podem ser realizados com essa finalidade já nesse momento.
198. A avaliação dos controles internos deve ser considerada no
processo de avaliação de riscos (NAT, 72). O resultado dessa avaliação
deve ser registrado no plano de auditoria.

199. A equipe deverá realizar também levantamento de trabalhos


relevantes sobre o objeto de auditoria, identificando aspectos avaliados e
principais conclusões de relatórios de auditoria do TCU e da auditoria in-
terna, além de estudos e pesquisas de iniciativa do auditado ou de institui-
ção acadêmica conceituada, de institutos de pesquisa ou de consultorias
especializadas e devidamente reconhecidas como de excelência.

200. Entrevistas com gestores e técnicos do objeto auditado aju-


dam a clarear muitas das informações obtidas com a revisão documen-
tal. A consulta a especialistas é altamente recomendável nesta fase da
auditoria. Geralmente, esse contato possibilita a obtenção de informa-
ções relevantes, auxiliando a equipe a entender o objeto da auditoria.

201. Ainda na análise preliminar, é importante aplicar técnicas com


65
a finalidade de traçar diagnóstico a partir da interpretação sistemática das
informações coletadas e da identificação dos principais problemas relati-
vos ao desempenho do objeto selecionado. Uma das principais técnicas
de diagnóstico aplicadas em auditoria operacional é a análise stakeholder
(BRASIL, 2002b). O Quadro 4 lista essa e outras técnicas mais usadas e
os objetivos a que se propõem. O TCU disponibiliza em seu Portal docu-
mentos técnicos e vídeos sobre as principais ferramentas de diagnóstico
e análise de problemas usadas em auditoria operacional.

Quadro 4 - Técnicas mais usadas na etapa de planejamento

TÉCNICA DE Objetivo
DIAGNÓSTICO
• Identificar as forças e fraquezas do ambiente interno do objeto da
auditoria e as oportunidades e ameaças do ambiente externo.
SWOT e Diagrama
de Verificação de • Identificar possíveis áreas a investigar.
Risco (DVR)
• Identificar fatores de risco e conhecer a capacidade organizacional
(controles) para o seu gerenciamento.
• Identificar principais grupos de interesse (atores interessados).
Análise stakeholder
• Identificar opiniões e interesses conflitantes.
• Conhecer os principais objetivos de uma entidade ou
programa.

Mapa de produtos
• Representar as relações de dependência entre os produtos.
• Identificar os responsáveis pelos produtos críticos.
• Desenvolver indicadores de desempenho.
TÉCNICA DE Objetivo
DIAGNÓSTICO
• Conhecer o funcionamento de processos de trabalho.
• Identificar boas práticas.
Mapeamento de • Identificar oportunidades para racionalização e
processos aperfeiçoamento de processos de trabalho.
• Contribuir para a identificação de eventos de risco e atividades
de controle.

Diagrama de
Ishikawa (Diagrama • Identificar as possíveis causas que levam a um determinado
de Causa-Efeito ou problema.
Diagrama Espinha
de Peixe)
• Compreender os fatores que dificultam o alcance dos objetivos
Árvore de de políticas, programas ou órgãos públicos.
problemas
• Identificar causas e consequências de um problema central.
• Identificar quem é responsável pelas atividades desenvolvidas,
quem as executa, quem é consultado e quem é informado, seja
Análise RECI no âmbito limitado de uma equipe de trabalho, seja em relação
66 a um órgão, entidade ou programa.
• Orientar a formulação, a execução, o acompanhamento e a
Marco lógico avaliação de programas ou de projetos governamentais.
• Avaliar a eficiência relativa de um conjunto de unidades, como
organizações e programas (constrói uma fronteira de eficiência,
Análise envoltória identificando as unidades mais eficientes na transformação de
de dados (Data determinados insumos em certos produtos)
Envelopment
Analysis – DEA) • Identificar boas práticas, normalmente associadas às unidades
mais eficientes, que podem ser usadas como benchmark para
a melhoria do desempenho das demais.
• Identificar e ponderar os riscos inerentes às atividades
auditadas.

Matriz de • Identificar e ponderar os riscos de controle incidentes sobre a


análise de risco atividade.
• Identificar os riscos residuais mais críticos e merecedores da
atenção da auditoria.

Fonte: Elaboração própria, com base nos documentos técnicos do TCU.

202. Após a realização das atividades anteriores, um ponto im-


portante da fase de planejamento é a decisão entre realizar uma ava-
liação de risco ou uma análise de problema, conforme estabelecido
pela ISSAI 100/46.

203. No caso da avaliação de risco, as equipes de auditoria


operacional devem seguir as orientações do documento técnico perti-
nente, disponível na biblioteca digital, que também inclui modelos de
papeis de trabalho a serem elaborados (TCE, 2013c). Em linhas gerais,
o modelo considera que, ao planejar uma auditoria, a equipe deve
analisar a importância relativa dos riscos, indicando as probabilidades
de ocorrência e o possível impacto tanto quantitativo como qualitativo.
O modelo está dividido em 4 etapas:

Etapa 1: Entendimento preliminar do objeto auditado;


Etapa 2: Identificação dos riscos;
Etapa 3: Análise dos riscos;
Etapa 4: Definição do escopo e das questões de auditoria.

204. A equipe de auditoria deve considerar e avaliar o risco


de diferentes tipos de deficiências, desvios ou distorções que possam
ocorrer em relação ao objeto da auditoria. Isso é feito por meio da
realização de procedimentos que servem para entender o objeto e
seu ambiente, o que inclui os controles internos relevantes. Deve ainda
avaliar as respostas adotadas para os riscos identificados, o que inclui
avaliar o desenho e a implementação desses controles internos.

67
205. O objetivo principal desse modelo de avaliação de risco em
auditoria operacional é auxiliar na definição do escopo e das questões
de auditoria, enquanto na auditoria financeira faz-se a vinculação entre
essa avaliação de risco e os procedimentos adicionais de auditoria, isto
é, a definição da natureza e da extensão dos exames. Para realização
da avaliação de risco, o modelo preconiza que algumas técnicas sejam
empregadas, como modelo lógico, mapeamento de processos e matriz
de análise de risco.

206. Caso a equipe decida realizar análise de problema, deve


considerar as indicações existentes de problemas ou desvios em re-
lação àquilo que deveria ser. Esse processo envolve examinar vários
indicadores de problemas a fim de definir os objetivos da auditoria.

207. Técnicas de análise de problemas são ferramentas que au-


xiliam o estudo em profundidade e de forma estruturada de problemas,
fornecendo subsídios para a identificação de suas causas, suas conse-
quências, suas inter-relações, assim como possíveis soluções. No TCU, as
duas principais técnicas que estão utilizadas são o Diagrama de Ishikawa
e a Árvore de Problemas. Além dessas, podem ser usados o brainstor-
ming, a Matriz GUT (gravidade, urgência e tendência) e os Cinco Porquês.
Orientações para aplicação dessas técnicas estão disponíveis no docu-
mento Técnicas de análise de problemas para auditorias (BRASIL, 2013b).

208. O principal requisito para a aplicação das técnicas de aná-


lise de problema é a realização de uma consistente análise preliminar
do objeto de auditoria, para só em seguida definir exatamente o pro-
blema. Assim, não é possível iniciar a fase de planejamento pela apli-
cação da técnica de análise de problema, exceção feita para aquelas
precedidas de um levantamento suficientemente detalhado de modo
a problematizar o objeto de auditoria.

209. A análise de problema deve ser complementada por uma


análise que permita à equipe priorizar aqueles que podem impactar
negativamente o desempenho do objeto e o alcance de seus objetivos.
No TCU, usam-se a análise SWOT e o diagrama de verificação de riscos
para identificar as áreas de investigação na auditoria (BRASIL, 2010f).

210. Além das técnicas acima apontadas, é possível usar outras


ferramentas (algumas do Design thinking) que também auxiliam a co-
nhecer o objeto auditado e a definir o problema e as questões de audi-
toria. As fases do Design Thinking e suas ferramentas estão disponíveis
no Design Thinking Toolkit para Governo (BRASIL, 2017f).

68
211. Sempre que houver necessidade de ampliar o conheci-
mento sobre os aspectos operacionais do objeto de auditoria, reco-
menda-se a realização de visitas exploratórias, isto é, o deslocamento
da equipe de auditoria para o local (ou locais) onde as atividades se
desenvolvem, com o objetivo de colher informações preliminares. A
ausência de um claro arcabouço legal, a insuficiência de informações,
o desconhecimento sobre como se presta o serviço ou, ainda, a diver-
sidade na forma de implementação das ações são exemplos de razões
que justificam a visita exploratória na fase de planejamento.

212. Essas visitas são essenciais para o entendimento da situa-


ção social objeto da intervenção e sobre como a ação governamental
que será auditada trata as necessidades que tem por objetivo atender.
Somente conhecendo o contexto do problema é possível captar suas
causas e inteirar-se sobre variáveis que podem impactar no sucesso ou
insucesso da ação governamental examinada.

213. A visita exploratória também é útil para prevenir problemas


no decorrer da execução da auditoria, reduzir incertezas, auxiliar na defini-
ção dos critérios de auditoria, bem como permitir a obtenção de informa-
ções que subsidiarão a elaboração dos instrumentos de coleta de dados.

214. Os custos da visita exploratória devem ser considerados no


custo estimado da auditoria.
4.3 ESTRATÉGIA GLOBAL DE AUDITORIA
215. O planejamento de uma auditoria específica envolve as-
pectos estratégicos e operacionais (ISSAI 100/48), sendo os primeiros
documentados em uma estratégia de auditoria e os últimos em um
plano de auditoria (ISSAI 100/42; NAT, 94). A documentação da es-
tratégia de auditoria é uma boa prática já consolidada em auditoria
financeira (ISSAI 2300), mas ainda em desenvolvimento em auditoria
operacional. Exemplo de aplicação de prática semelhante é o Plano
Global de Auditoria do Tribunal de Contas Europeu (TCE, 2017, 3.3)

216. A estratégia global de auditoria (EGA) é o compromisso da


unidade técnica, da supervisão e da equipe com a execução da audi-
toria, seguindo o plano geral nela especificado. A EGA define o escopo,
a época e a direção da auditoria a fim de guiar os esforços da equipe
no desenvolvimento do plano de auditoria (ISSAI 2300/7). Para tanto,
a estratégia global de auditoria deve conter, no mínimo:

69
a. objetivos, escopo e abordagem de auditoria (ISSAI 100/48;
NAT, 68);
b. período de abrangência e período de realização da auditoria
(ISSAI 100/48; ISSAI 2300/8);
c. usuários previstos e partes responsáveis, seus interesses e
necessidades (ISSAI 3000/25);
d. critérios (TCE, 2017);
e. metodologia (GUID 3920/50);
f. recursos necessários (ISSAI 2300; TCE, 2017; NAT, 70);
g. riscos significativos e medidas para mitigá-los (GUID 3920/62;
NAT, 71);
h. os benefícios esperados da auditoria (TCE, 2017);
i. a determinação da materialidade (ISSAI 3000/83).

217. Ao elaborar a estratégia global de auditoria, o auditor deve ve-


rificar os objetivos de comunicação de resultados da auditoria para definir
os prazos da auditoria e a natureza das comunicações requeridas; conside-
rar fatores que sejam significativos para direcionar os esforços da equipe
na auditoria; considerar resultados de atividades preliminares para obter
conhecimento sobre o objeto; e estimar os recursos necessários para reali-
zar a auditoria, tais como os membros da equipe, competências requeridas
e a necessidade da participação de especialistas (ISSAI 2300/8).
218. É importante que a estratégia estabelecida para a auditoria
combine estratégia metodológica, métodos e técnicas de auditoria que
se adequem ao contexto, ao(s) objetivos(s), às questões, aos critérios,
às habilidades e aos recursos da equipe de auditoria, bem como à
disponibilidade de dados (GUID 3920/50).

219. Quando houver riscos significativos que afetem a auditoria,


a estratégia estabelecida deve ser capaz de mitigá-los. Para responder
adequadamente a esses riscos, o auditor pode considerar, por exem-
plo, incluir membros mais experientes na equipe; usar especialistas adi-
cionais internos e externos; ajustar a estratégia e os métodos de coleta
e análise de dados; estabelecer acordos de comunicação específicos
com a entidade auditada; estabelecer medidas específicas de controle
de qualidade (GUID 3920/62).

220. A estratégia global e o plano de auditoria são estreitamen-


te relacionados. Uma diferença entre esses dois documentos é o grau
de detalhamento. A EGA pode sofrer alterações ao longo do plane-
70
jamento, principalmente em razão da realização dos procedimentos
de avaliação de riscos ou de análise de problema, de imprevistos, de
mudanças nas condições, ou da obtenção de informação que difere
significativamente da informação disponível quando a estratégia global
foi definida inicialmente (ISSAI 2300/A15).

221. Em auditoria operacional, os critérios e objetivos passam por


processo de desenvolvimento ao longo do planejamento, em fase pos-
terior à definição da EGA. Dessa forma, para incentivar a eficiência do
planejamento, bem como a criatividade e a flexibilidade na realização da
auditoria operacional, a equipe de auditoria deve, regra geral, evitar ela-
borar a EGA excessivamente pormenorizada ou sofisticada (TCE, 2017).

222. Para saber mais sobre a aplicação da estratégia global de


auditoria, consulte o documento técnico Orientações para a definição
da estratégia global de auditoria (BRASIL, 2020b).

4.4 DEFINIÇÃO DA ABORDAGEM DE AUDITORIA


Requisito

O auditor deve escolher uma abordagem de auditoria orientada a resultado,


problema ou sistema, ou uma combinação destas (ISSAI 3000/40).
223. A abordagem de auditoria determina a natureza do exame
a ser realizado e é uma conexão importante entre os objetivos e as
questões de auditoria, os critérios e os procedimentos desenvolvidos
para a coleta de evidências (ISSAI 3000/41).

224. A abordagem orientada a resultado avalia se os objetivos do


tema auditado, em termos de produtos ou impacto, foram atingidos como
planejado ou se os programas e serviços estão funcionando como espe-
rado. Este tipo de abordagem envolve questões como: Qual é o desempe-
nho do objeto auditado? Que resultados foram atingidos? Que requisitos
foram cumpridos? Na abordagem orientada a resultados, o auditor veri-
fica o desempenho real, os resultados e impactos obtidos e os relaciona
aos critérios. Os achados, muitas vezes, assumem a forma de desvio dos
critérios e a perspectiva é, basicamente, normativa (GUID 3910/50-51).

225. A abordagem orientada a problema examina, verifica e


analisa as causas de problemas específicos ou de desvios dos crité-
rios de auditoria. Tem como ponto de partida um problema ou desvio
71
já conhecido. Neste tipo de abordagem, os critérios de auditoria têm
papel menos significativo. A tarefa principal da auditoria, neste caso, é
analisar as causas dos problemas existentes a partir de diferentes pers-
pectivas. A abordagem orientada a problema trata de questões como:
Qual é o problema? Quais são suas causas? Em que medida o gover-
no pode resolver o problema identificado? A perspectiva é analítica e
instrumental e o objetivo é fornecer informações atualizadas sobre os
problemas identificados e como lidar com eles (GUID 3910/50, 52-53).

226. A abordagem orientada a sistema examina o funciona-


mento dos sistemas de gestão, como os de gestão financeira, de ava-
liação, de controle ou de TI. Não foca diretamente na política ou nas
metas, mas no funcionamento dos sistemas como condição para o al-
cance da eficiência e efetividade das políticas. Essa abordagem pode
responder a questões como: Qual é o objetivo do sistema? Quem são
os atores responsáveis e quais as responsabilidades de cada um? Em
que medida existe um plano consistente? Os processos são avaliados
periodicamente de forma apropriada? (GUID 3910/50, 54).

227. É importante acrescentar que as auditorias operacionais tam-


bém podem ser direcionadas para o exame de atividades conduzidas de
forma coordenada por um grupo de órgãos e entidades governamentais
ou por um conjunto de programas que se interligam formando uma deter-
minada política pública, extrapolando as barreiras funcionais de uma única
organização. O Referencial para Avaliação de Governança em Políticas Pú-
blicas (TCU, 2014a) fornece subsídios para a realização de avaliações de
políticas públicas implementadas com essas características.

228. Além disso, nesses casos, pode ser necessária a aplicação


de técnicas específicas, como o enfoque integrado de governo, que
procura lidar com a crescente fragmentação dos serviços públicos, con-
forme apresentado a seguir.

4.4.1. ENFOQUE INTEGRADO DE GOVERNO

229. O enfoque integrado de governo (whole of government


approach - WoG, na sigla em inglês) é um termo usado para designar
uma forma de responder ao problema da crescente fragmentação no
setor público e nos serviços públicos e um reconhecimento de que é
necessário aumentar a integração, a coordenação e a coerência das
políticas públicas para obter maiores benefícios para a sociedade. O
72
enfoque integrado de governo pode ser usado em problemas comple-
xos ou persistentes (como pobreza, saúde deficiente, população desa-
brigada); em crises e desafios estratégicos (como mudanças climáticas,
terrorismo e epidemias); em prestação de serviços integrados a toda
a população ou a um grupo específico, como idosos, jovens (COLGAN;
KENNEDY; DOHERTY, 2014).

230. O uso do enfoque integrado de governo para analisar te-


mas ligados a políticas públicas tem sido associado a diversos benefí-
cios, tais como (COLGAN; KENNEDY; DOHERTY, 2014):

a. foco no resultado: busca permitir que departamentos e


agências governamentais alcancem resultados que não
seriam possíveis trabalhando de forma isolada;
b. expansão de limites: a implementação de políticas públicas
geralmente vai além de um único ministério, departamento
ou agência;
c. catalisador: o enfoque integrado de governo é visto como um
facilitador para que o governo lide com desafios complexos, use
conhecimento e expertise – de dentro e de fora do governo –
de forma mais efetiva e integre níveis de governo para apoiar a
prestação de serviços de forma mais eficiente e efetiva;
d. fortalecimento da prevenção: esse enfoque pode fortalecer
uma visão preventiva, fazendo com que os problemas sejam
enfrentados de maneira sistêmica, logo que aparecem, antes
que se incorporem à política pública.
231. Nas auditorias operacionais, o enfoque integrado de governo
ajuda a entender melhor as complexidades do objeto auditado e a definir
os objetivos da auditoria, especialmente nas auditorias em políticas multi-
setoriais ou nas descentralizadas em diferentes níveis de governo.

232. Para a adoção do WoG, a equipe de auditoria deve se apro-


priar do conceito de centro de governo (CG), que é uma instituição ou
grupo de instituições que presta apoio ao chefe do Poder Executivo, exa-
minando a totalidade da ação governamental com o objetivo de assegurar
coerência e coesão às diversas iniciativas governamentais (BRASIL, 2016b).

233. No atual desenho institucional do governo brasileiro, o


centro de governo não é composto por uma única estrutura, mas um
conjunto de organizações da Presidência da República, do Ministério
da Economia e o Conselho de Desenvolvimento Econômico e Social. A
multiplicidade de atores cria a necessidade de haver coordenação não
só do CG para os demais ministérios, mas entre seus componentes.

73
234. Sendo assim, propostas de deliberações para o CG devem
ser discutidas entre a unidade técnica detentora da clientela e a propo-
nente, para avaliação da oportunidade e conveniência de tratá-las no
processo de auditoria em discussão ou em outro processo da respon-
sabilidade daquela unidade (BRASIL, 2020c).

235. O Referencial do TCU para Avaliação da Governança do


Centro de Governo (BRASIL, 2016b) é importante subsídio para audi-
torias que usem o enfoque integrado de governo.

236. Outra ferramenta útil para apoiar equipes de auditoria que


examinam temas amplos onde se considera o enfoque integrado de
governo é a análise de fragmentações, sobreposições e duplicidades
nas ações de governo (GAO, 2015).

237. Fragmentação ocorre quando mais de uma entidade go-


vernamental (ou mais de uma unidade dentro da entidade) está envol-
vida na mesma área e há oportunidade de melhoria na prestação de
serviços. Sobreposição ocorre quando várias entidades governamentais
ou programas têm objetivos semelhantes, desenvolvem atividades ou
estratégias similares para alcançar esses objetivos ou têm o mesmo
público-alvo. Duplicação acontece quando duas ou mais entidades ou
programas de governo realizam as mesmas atividades ou prestam os
mesmos serviços para os mesmos beneficiários (GAO, 2015).
238. Os principais passos para ajudar auditores e criadores de
políticas a identificar e avaliar instâncias de fragmentação, sobreposi-
ção e duplicação nas políticas são os seguintes (GAO, 2015):

a. identificar fragmentação, sobreposição ou duplicidade;


b. identificar os efeitos potenciais da fragmentação,
sobreposição e duplicidade;
c. validar os efeitos, avaliar e comparar os programas;
d. identificar opções para aumentar a eficiência e reduzir (ou
gerenciar melhor) a fragmentação, sobreposição e duplicidade.

239. Auditores do TCU que já aplicaram essa ferramenta iden-


tificaram outro tipo de situação, além das três descritas. Seria a lacu-
na, que se caracteriza pela ausência de uma parte importante em um
processo, que pode ser a ausência de políticas, programas, atuação de
atores, mecanismos institucionais, atividades, benefícios, cobertura de
beneficiários (TCU, 2017a).

74
4.5 DEFINIÇÃO DO ESCOPO DA AUDITORIA
240. Escopo é a delimitação estabelecida para o trabalho e é ex-
presso pelo objetivo, pelas questões e pelos procedimentos de auditoria,
no seu conjunto (NAT, 92). O objetivo, as questões e os procedimentos
estão inter-relacionados e devem ser considerados de forma conjunta.
O escopo define os limites da auditoria. Para definir o escopo, a equipe
precisa identificar quais entidades ou qual programa em particular ou
aspecto de um programa serão incluídos na auditoria. A equipe também
deve identificar o período a ser coberto pela auditoria e, se pertinente,
os locais a serem incluídos (GUID 3920/35; 36). O escopo deve explicitar
a amplitude e a profundidade do trabalho para alcançar o objetivo da
auditoria (NAT, 133). Assim, para definir o escopo de auditoria, a equipe
deve responder às quatro perguntas da Figura 6 (IDI, 2016).

Figura 6 - Perguntas que ajudam a definir o escopo da auditoria

• Qual é o tema examinado?


O que
• Qual o tipo mais apropriado de auditoria?
Quem • Quais são as organizações auditadas?
• Quais são os locais cobertos pela auditoria?
Onde
• Qual é a amostra definida?
Quando • Qual é o período coberto pela auditoria?
Fonte: IDI, 2016.
241. De acordo com a GUID 3920/37, é boa prática discutir o
escopo da auditoria com o auditado o mais cedo possível. Em alguns
casos, também é importante explicitar o não-escopo do trabalho. Isso
pode ajudar a reduzir mal-entendidos e falsas expectativas, não só por
parte da entidade auditada, mas também de outros stakeholders, in-
ternos e externos ao TCU.

4.6 DEFINIÇÃO DO OBJETIVO E DAS


QUESTÕES DE AUDITORIA
Requisitos

O auditor deve estabelecer uma definição clara do(s) objetivo(s), que se


relacione com os princípios da economicidade, eficiência e/ou efetividade
(ISSAI 3000/35).

O auditor deve definir o(s) objetivo(s) de auditoria de maneira suficiente-


mente detalhada para não deixar dúvidas sobre as questões que deverão 75
ser respondidas e para permitir o desenvolvimento lógico do desenho de
auditoria (ISSAI 3000/36).

Caso o(s) objetivo(s) de auditoria seja(m) formulado(s) como questões de au-


ditoria divididas em subquestões, o auditor deve garantir que estas sejam te-
maticamente relacionadas, complementares, não sobrepostas e coletivamen-
te exaustivas no tratamento da questão geral de auditoria (ISSAI 3000/37).

242. A portaria de fiscalização define o objetivo da auditoria,


a equipe responsável pelo trabalho e o período de sua realização. A
partir do objetivo inicialmente definido, e do conhecimento construído
durante a análise preliminar do objeto de auditoria, a equipe deverá
refinar o objetivo (ou objetivos) da auditoria, que se relacione com os
princípios de economicidade, eficiência, eficácia e efetividade (ISSAI
3000/35). O objetivo deve ser acompanhado de breve contextualiza-
ção do tema, esclarecimento sobre a situação-problema9 identificada
e as razões que levaram a equipe a sugerir um determinado tema e
enfoque, caso estes não tenham sido previamente definidos na delibe-
ração que determinou a realização da auditoria (BRASIL, 2016a).

9
Nas Orientações para Seleção de Objetos e Ações de Controle (BRASIL, 2016a), situação-proble-
ma é definida como um conjunto de condições ou circunstâncias que produzem ou podem vir a
produzir consequências de natureza econômica, social e ambiental que afetam a sociedade e que
se encontra no âmbito da atuação governamental.
243. O objetivo da auditoria (ou objetivos) deve ser definido de
maneira suficientemente detalhada para não deixar dúvidas sobre as
questões que deverão ser respondidas (ISSAI 3000/36). O objetivo do
trabalho deve dar informação suficiente sobre o foco da auditoria, ser
elaborado de forma a maximizar os benefícios e impactos da fiscaliza-
ção e conter termos claros e simples. A conclusão do relatório deve ser
direta e explicitamente relacionada ao objetivo de auditoria (IDI, 2016).

244. Na elaboração do objetivo, a equipe deve levar em conta


o mandato do TCU, tendo cuidado de não o exceder, e considerar as
razões de realização da auditoria, estabelecidas no planejamento es-
tratégico (PASAI, 2011, 3.15).

245. O Quadro 5 mostra alguns exemplos de objetivos de audi-


toria operacional, adaptados de auditorias realizadas pelo TCU.

Quadro 5 - Exemplos de objetivos de auditoria

76 Exemplo 1

Avaliar se está havendo pleno uso dos espaços nas unidades do Progra-
ma Proinfância, com ênfase na análise da adequação do projeto padrão
às diversidades regionais e no nível de utilização das salas de leitura e
dos laboratórios de informática. Adicionalmente, avaliar a assistência
técnica e o apoio prestados pela Secretaria de Educação Básica do MEC
aos municípios participantes.

Exemplo 2

Avaliar as atividades de preparação para a implementação da Agenda


203010, desenvolvidas pelo Centro de Governo, entre setembro de 2015
e março de 2018.

Exemplo 3

Avaliar a qualidade das construções e a infraestrutura no entorno dos


empreendimentos financiados pelo Programa Minha Casa Minha Vida,
a eficácia no alcance das metas do programa e o desenvolvimento do
trabalho técnico social junto aos beneficiários, abrangendo as ativida-
des realizadas em 2016 e 2017, nos níveis federal, estadual e municipal.

Observação: o objetivo de auditoria também pode ser formulado em for-


ma de pergunta. A questão fundamental da auditoria (NAT, 133 e 156).

Fonte: Elaboração própria a partir de auditorias do TCU.

10
A Agenda 2030 contém os dezessete Objetivos de Desenvolvimento Sustentável (ODS), que es-
tabelecem objetivos quantitativos e qualitativos nas dimensões sociais, econômicas e ambientais,
a serem atingidos pelos países-membros da ONU até 2030.
246. O objetivo de auditoria deve ser desdobrado em questões,
que podem ser divididas em subquestões.

247. A questão de auditoria é o elemento central na determina-


ção do direcionamento dos trabalhos de auditoria, das metodologias e
técnicas a adotar e dos resultados que se pretende alcançar. O auditor
deve garantir que as questões e as subquestões sejam tematicamen-
te relacionadas, complementares, não sobrepostas e coletivamente
exaustivas, de forma que esse conjunto responda ao objetivo geral da
auditoria (ISSAI 3000/37).

248. É comum que a equipe de auditoria e/ou as partes inte-


ressadas na auditoria proponham, durante a fase de planejamento, um
escopo muito extenso que dê origem a muitas questões de auditoria.
Isso pode comprometer ou até mesmo inviabilizar o trabalho. Não há
uma quantidade pré-definida de questões, depende de cada auditoria,
mas é preciso ser realista para que o trabalho seja exequível e, ao mes-
mo tempo, útil para os usuários previstos.
77
249. Ao formular as questões e, quando necessário, as subques-
tões de auditoria, a equipe está, ao mesmo tempo, estabelecendo com
clareza o foco de sua investigação, as dimensões de análise, o alcance
e os limites que deverão ser observados durante a execução dos tra-
balhos. As questões de auditoria devem ser escritas usando linguagem
imparcial, mesmo que já sejam esperados problemas relacionados ao
que se vai investigar.

250. Nesse sentido, a adequada formulação das questões é


fundamental para o sucesso da auditoria, uma vez que terá implicações
nas decisões sobre os tipos de dados que serão coletados, a forma de
coleta que será empregada, as análises que serão efetuadas e as con-
clusões que serão obtidas.

251. Na elaboração das questões de auditoria, devem-se levar


em conta os seguintes aspectos:

a. clareza e especificidade;
b. uso de termos que possam ser definidos e mensurados;
c. viabilidade investigativa (possibilidade de ser respondida);
d. articulação e coerência (o conjunto das questões elaboradas
deve ser capaz de satisfazer o objetivo de auditoria
previamente definido, isto é, de responder à questão
fundamental de auditoria).
4.6.1. TIPOS DE QUESTÃO DE AUDITORIA

252. O tipo de questão formulada terá uma relação direta com


a natureza da resposta e a metodologia a adotar.

253. Questões normativas: são aquelas que tratam de


comparações entre a situação existente e aquela estabelecida
em norma, padrão ou meta, tanto de caráter qualitativo quanto
quantitativo. A abordagem metodológica empregada nesses
casos é a comparação com critérios previamente identificados e o
desempenho observado. Aborda-se o que deveria ser e, usualmente,
são questões do tipo: O programa tem alcançado as metas previstas?
Os sistemas instalados atendem às especificações do programa?

254. Questões descritivas: são formuladas de maneira a


fornecer informações detalhadas sobre, por exemplo, condições
de implementação ou de operação de determinado programa ou
atividade, mudanças ocorridas, problemas e áreas com potencial de
78
aperfeiçoamento. São questões que buscam aprofundar aspectos
tratados de forma preliminar durante a etapa de planejamento.
Exemplo de questão descritiva: Como os executores locais estão
operacionalizando os requisitos de acesso estabelecidos pelo
programa Minha Casa Minha Vida?

255. Questões avaliativas: buscam avaliar a efetividade do objeto


de auditoria e vão além das questões descritivas e normativas para enfo-
car o que teria ocorrido caso o programa ou a atividade não tivesse sido
executada. Em outras palavras, uma questão avaliativa quer saber que
diferença fez a intervenção governamental para a solução do problema
identificado. O escopo da questão abrange também os efeitos não es-
perados, positivos ou negativos, provocados pelo programa. Exemplo
de questão avaliativa: Em que medida os efeitos observados podem ser
atribuídos ao programa? As questões avaliativas quase sempre requerem
estratégias metodológicas complexas para sua investigação, envolvendo
modelos experimentais com grupos de controle, análises estatísticas e
modelagem. Esse tipo de trabalho pode trazer resultados reveladores,
mas, em função da complexidade envolvida, exige conhecimento espe-
cializado, pode ser caro e de execução demorada.

256. Questões exploratórias: destinadas a explicar eventos, es-


clarecer os desvios em relação ao desempenho padrão ou as razões de
ocorrência de um determinado resultado. São questões do tipo: Que
fatores explicam o aumento expressivo nos gastos com pagamento dos
benefícios de auxílio-doença ao longo da última década? Nesse tipo de
questão, nem sempre são definidos critérios11 a priori, pois o objetivo
pode ser a investigação de causas e não de desvios do critério. Embora
não esteja prevista nas ISSAI, esse tipo de questão é usado em audito-
rias operacionais realizadas pelo TCU e por outras EFS.

257. Mesmo que seja aconselhável em uma auditoria operacio-


nal formular, preferencialmente, questões normativas ou avaliativas, in-
cluir questões descritivas pode ser útil, especialmente quando se está
planejando a auditoria em áreas em que falta informação sobre econo-
micidade, eficiência, eficácia ou efetividade (GUID 3920/33).

258. A formulação da questão de auditoria é um processo inte-


rativo, o qual depende, fundamentalmente, das informações obtidas na
fase de planejamento e daquilo que se quer investigar. Existem diver-
sas técnicas que podem ser utilizadas para a definição das questões de
auditoria, como as técnicas de análise de risco, diagrama de verificação
de risco e inventário de riscos; e as técnicas de análise de problemas,
como a árvore de problemas e o diagrama de Ishikawa (Quadro 4).
79
259. Tendo em vista o caráter interativo do processo de for-
mulação das questões de auditoria, é recomendável que se empregue
técnicas e procedimentos que permitam o registro e a análise das in-
formações de forma visual, de modo a permitir o envolvimento de toda
a equipe na atividade, a produção de insights e a desejável construção
colaborativa das questões de auditoria.

260. À medida que a equipe de auditoria adquire mais conhe-


cimento sobre o objeto auditado, pode ser necessário ajustar as ques-
tões, sempre documentando as modificações. Porém, isso não deve
ser feito com frequência, até porque é recomendável que as questões
sejam comunicadas à entidade auditada e mudar as questões durante
a fase de execução da auditoria pode gerar dúvidas sobre o profissio-
nalismo e a objetividade da equipe (GUID 3920/34).

261. Embora não exista um método único para se chegar às


questões de auditoria, pode-se utilizar, ainda uma abordagem estrutu-
rada para sua formulação, inspirada no método cartesiano de solução
de problemas, como descrito a seguir:

11
NAT 139. Manuais, padrões e normas mais específicos podem restringir ou estabelecer que ou-
tros elementos sejam relatados na apresentação dos achados, conforme a natureza das auditorias,
os seus objetos e as suas finalidades mais comuns.
1º passo - Descreva o objetivo da auditoria.
262. Com base no entendimento do objeto, propiciado pela
análise preliminar do objeto de auditoria, expresse, de forma clara e
objetiva, aquilo que a auditoria se propõe a realizar, a questão funda-
mental de auditoria a ser esclarecida (NAT, 133). A descrição do ob-
jetivo deve ser suficiente para nortear a concepção da auditoria. O
essencial é que o tópico mais importante seja buscado, com base na
avaliação prévia dos riscos mais significativos.

2º passo – Desdobre o objetivo em questões.

263. A equipe deve estar segura de que será possível chegar a


conclusões que respondam à questão fundamental da auditoria, cons-
tante do enunciado do seu objetivo (NAT, 156) e que o tópico escolhido
é relevante e oportuno. Também é relevante considerar se a auditoria
está focada em economicidade, eficiência ou eficácia. Em muitos casos, o
foco da auditoria pode ser um ou uma combinação de quaisquer desses
dois princípios, mas é improvável que inclua todos os três (TCE, 2017).
80
264. O objetivo deve ser desdobrado em questões que se-
jam mutuamente exclusivas e coletivamente exaustivas. Por meio de
brainstorming identifique possíveis questões que, uma vez respondidas
e consideradas no conjunto, permitam alcançar o objetivo formulado. A
seguir, estabeleça uma hierarquia de questões, como na Figura 7. Iden-
tifique o tipo de questão formulada, pois a natureza da questão terá
relação direta com a natureza da resposta e a metodologia a adotar.

Figura 7 - Hierarquia de questões e subquestões

Nível 1
Questão de auditoria
Nível 2
Subquestões de auditoria
Nível 3
Subquestões de auditoria
Nível 4

Procedimentos de auditoria

Fontes de evidência

Fonte: Tribunal de Contas Europeu (2013a, 2017).


265. Na Figura 7, o nível 1 refere-se à questão fundamental de
auditoria; o seu objetivo. A equipe precisa identificar quais são os as-
pectos relevantes (materialidade) a serem investigados para responder
essa questão fundamental com segurança razoável. O nível 2 corres-
ponde a esses aspectos relevantes, identificados por meio de avaliação
de risco ou análise de problema. Formam o escopo da auditoria.

266. O nível 3, por sua vez, trata das hipóteses de auditoria,


que precisam ser aceitas ou rejeitadas mediante procedimentos de
auditoria que levarão aos achados da auditoria. São os objetivos dos
procedimentos de auditoria que, uma vez desenvolvidos e executados
(nível 4) permitirão a obtenção de evidências apropriadas e suficientes
para fundamentar as conclusões da auditoria, ou seja, as respostas às
questões de auditoria dos níveis hierárquicos acima.

267. Não há regras rígidas sobre a conveniência de formular


subquestões de auditoria e sobre a quantidade de seus níveis. Contu-
do, as questões devem ser focadas, específicas e tratar de apenas um
81
tema. Se for necessário, subquestões devem ser formuladas para que
cada uma delas seja o mais simples possível e, no conjunto, abranjam o
que se deseja investigar por meio da questão de auditoria. É necessário
considerar que o excesso de subquestões pode tornar a matriz exten-
sa, repetitiva e confusa. Sendo assim, deve ser adotada a solução mais
adequada a cada auditoria. Também é importante ressaltar que nem
todas as questões são desdobradas com o mesmo número de níveis.
Várias situações são possíveis. Por exemplo, se a auditoria tiver 4 ques-
tões, a questão 1 poderia ser subdividida até o nível 3, a questão 2 até
o nível 2, a questão 3 até o nível 4 e a questão 4 não ter subquestões.

268. As subquestões facilitam a organização das informações


do plano de auditoria por linha da matriz de planejamento, permitindo
ao leitor acompanhar a lógica do desenho da auditoria. No nível mais
baixo, as questões devem ser específicas, de forma que seja possível
estabelecer procedimentos de auditoria. Esse propósito também pode
ser alcançado por meio da última coluna da matriz de planejamento (o
que a análise vai permitir dizer).

269. Para assegurar que as subquestões sejam mutuamente ex-


clusivas e coletivamente exaustivas, é preciso seguir uma estrutura lógi-
ca que pode ser, por exemplo, decompor a questão de acordo com um
dos três princípios: por ordem, estrutura ou classe (TCE, 2013a, 2017).
O Quadro 6 apresenta os princípios que podem ser considerados na
divisão das questões.
Quadro 6 - Princípios para decompor a questão de auditoria

Por ordem

Cronológica Ordem do tempo: primeiro a ocorrer, segundo a ocorrer etc.


desempenho por diferentes anos, ou sequencial (um evento tem
que vir antes do outro).

Entradas, pro- Ordenação considerando causa e efeito, com entradas, proces-


cessos, saídas sos e saídas.

Pela estrutura

Nível Organiza- Por divisão, unidade, níveis, instituições, serviços.


cional ou função

Geográfica Ordenação por localização, como países, regiões.

Demográfica Divisão da população em subconjuntos, como idade gênero,


tipos de empregados, nível de escolaridade.

82 Estrutura finan- Por componentes de estrutura financeira.


ceira

Pela classe

Indicadores de Os indicadores de desempenho relevantes, como custos, calen-


desempenho dário, desempenho técnico.

Fatores de su- Os fatores de sucesso relevantes para o programa.


cesso

Prioridades As principais prioridades da política pública ou programa, como


objetivo primário da política, objetivo secundário da política,
objetivo terciário da política.

Fonte: Tribunal de Contas Europeu (2013a).

3º passo – Teste as questões.

270. Revise as questões e verifique se elas são mutuamente ex-


clusivas e coletivamente exaustivas. Identifique as questões de difícil
resposta e considere como as dificuldades podem ser contornadas.
Confronte as questões com os recursos disponíveis para a realização
da auditoria, definidos em termos de custo, prazos de execução e de
pessoal. Avalie ainda as competências da equipe, vis-à-vis às necessá-
rias para execução da auditoria.
4º passo – Elimine as questões não essenciais.
271. Descarte questões desprovidas de potencial para melhorar
o desempenho ou que não tenham solução viável. Os critérios para a
escolha de determinada questão são a relevância das conclusões que
poderão ser alcançadas e a viabilidade da estratégia metodológica re-
querida para respondê-la de forma satisfatória. Priorize as questões
e decida quais devem ser estudadas. Lembre-se de que as questões
devem ser sucintas e sem ambiguidades.

5º passo – Elabore a matriz de planejamento.

272. Quando a equipe de auditoria chega a um conjunto de


questões e subquestões totalmente desenvolvido, o próximo passo é
pensar nos elementos seguintes do plano da auditoria, que levarão à
elaboração da matriz de planejamento:

a. Que critérios são aplicáveis?


b. Que evidências devem ser coletadas? Como serão coletadas?
83
c. Quais são boas fontes de evidência?
d. Como essas evidências serão analisadas?
e. Quais as possíveis conclusões da análise das evidências
obtidas?

273. Após essas considerações, ainda pode ser necessário des-


cartar questões ou subquestões que foram consideradas essenciais.
Isso pode ocorrer, por exemplo, se a equipe concluir que a obtenção
de evidências é inviável com o prazo e os recursos disponíveis. Nesse
caso, descarta-se a questão (ou subquestão), ou muda-se o prazo e os
recursos para adequar ao escopo da auditoria.

4.7 DEFINIÇÃO DOS CRITÉRIOS DE AUDITORIA

Requisitos

O auditor deve estabelecer critérios apropriados, que correspondam ao(s)


objetivo(s) e questões de auditoria e sejam relacionados com os princípios de
economicidade, eficiência e/ou efetividade (ISSAI 3000/45).

O auditor deve, como parte do planejamento e/ou da condução da auditoria,


discutir os critérios de auditoria com a entidade auditada (ISSAI 3000/49).
274. Após definir o objetivo e as questões de auditoria, a equi-
pe deverá especificar os critérios de auditoria e elaborar a matriz de
planejamento.

275. Ainda na fase de planejamento, a equipe deve definir os


critérios de auditoria, que são as referências usadas para avaliar o
objeto de auditoria (ISSAI 3000/46), de acordo com os princípios de
economicidade, eficiência, eficácia e efetividade. Representam o esta-
do ideal ou desejável daquilo que se examina e oferecem o contexto
para avaliar as evidências e compreender os achados. Da comparação
entre o critério e a situação encontrada (condição) são derivados os
achados de auditoria. Portanto, o critério representa a expectativa ra-
zoável e fundamentada do que “deveria ser”, as melhores práticas e
benchmarks com os quais o desempenho pode ser comparado.

276. Os critérios de auditoria precisam fornecer uma base apro-


priada e razoável para a avaliação dos objetivos da auditoria e devem
ser relevantes, compreensíveis, completos, confiáveis e objetivos no
84
contexto do objeto, do (s) objetivo (s) e/ou das questões de auditoria
(GUID 3910/56).

277. Os critérios de auditoria podem ser qualitativos ou quanti-


tativos, gerais ou específicos, focando naquilo que é esperado ou na-
quilo que poderia ser (dadas melhores condições) ou que deveria ser
em conformidade com leis, regulamentos ou objetivos (GUID 3910/57).

278. Em algumas auditorias, nem sempre é possível definir e


explicitar os critérios a priori. A escolha do critério é mais flexível e fre-
quentemente contém elementos de julgamento profissional. Diversas
fontes, além da legislação, podem ser usadas para identificar critérios
de auditoria, incluindo regulamentações, normas, princípios e melhores
práticas, referenciais de mensuração de desempenho e políticas e pro-
cedimentos organizacionais (GUID 3910/57). Algumas possíveis fontes
de critérios de auditoria são:

a. leis e regulamentos que regem o funcionamento do objeto


auditado;
b. decisões tomadas pelo Poder Legislativo ou Executivo;
c. referências a comparações históricas e comparações com a
melhor prática;
d. normas e valores profissionais;
e. indicadores-chave de desempenho estabelecidos pela
entidade auditada ou pela Administração;
f. opinião predominante entre especialistas independentes;
g. critérios usados em auditorias similares ou por outras EFS;
h. organizações que realizem atividades semelhantes ou tenham
programas similares;
i. bibliografia especializada.

279. Critérios podem ser mais facilmente definidos sempre que


os objetivos estabelecidos pelo legislador ou pelo Poder Executivo se-
jam claros, precisos e relevantes. Quando estes forem vagos ou con-
flitantes, a equipe de auditoria deve interpretá-los ou reelaborá-los,
tornando-os mais operacionais e mensuráveis.

280. Os critérios de auditoria são estabelecidos pela equipe de


auditoria. Porém, eles devem ser discutidos com a entidade auditada (e
possivelmente com outras partes interessadas), durante a fase de pla-
nejamento da auditoria. Discutir os critérios de auditoria com a entidade
auditada serve para garantir que haja uma compreensão comum e com-
partilhada de quais critérios serão usados como referências na avaliação
85
da entidade auditada. A aceitação dos critérios por parte da entidade
auditada facilitará a implementação das recomendações propostas no
relatório de auditoria. Por isso, é importante definir claramente os crité-
rios em relação aos quais a entidade será avaliada (GUID 3910/60).

4.8 MATRIZ DE PLANEJAMENTO


281. Uma vez definidos o objetivo e as questões de auditoria, a
equipe deverá elaborar a matriz de planejamento (NAT, 94). Trata-se de
quadro-resumo das informações relevantes do planejamento de uma
auditoria. O propósito da matriz de planejamento é auxiliar a elaboração
conceitual do trabalho e orientar a equipe na fase de execução. É uma
ferramenta de auditoria que torna o planejamento mais sistemático e
dirigido, facilitando a comunicação de decisões sobre metodologia e au-
xiliando a condução dos trabalhos de campo. A matriz de planejamento
é um instrumento flexível e seu conteúdo pode ser atualizado ou modifi-
cado pela equipe à medida que o trabalho de auditoria progride.

282. A matriz é também o principal instrumento de apoio à ela-


boração do plano de auditoria, pois contém as informações essenciais
que o definem. Daí a importância da discussão amadurecida da matriz
antes de elaborar o plano de auditoria.
283. O Quadro 7 apresenta o modelo de matriz de planejamen-
to para auditorias operacionais adotado pelo TCU.

Quadro 7 - Modelo de matriz de planejamento


Objeto da auditoria: Escrever qual é o objeto auditado - entidades, programas, atividades
Objetivo geral da auditoria: Expressar, de forma clara e objetiva, aquilo que motivou a auditoria.
Questões e subquestões de auditoria: A matriz de planejamento deve ser preenchida para cada
questão de auditoria (ou subquestão, se houver).

O que a
Procedimentos Procedimentos
Informações Fontes de análise vai
Critérios de coleta de de análise de Limitações
requeridas informação permitir
dados dados
dizer

Padrão Informações Fontes Técnicas de Técnicas que Limitações Conclu-


usado para necessárias de cada coleta de serão usadas quanto: sões,
determinar para item de dados que na análise - à estratégia novas
se o objeto responder à informação. serão usadas e de dados e metodológica informa-
auditado questão de descriçao dos descrição dos adotada; ções ou
atinge, auditoria. respectivos respectivos achados
excede ou procedimentos. procedimentos. - ao acesso a que po-
está aquém pessoas e infor- dem ser
86 do desem- mações; obtidos a
penho es- - às condições partir da
perado. operacionais de análise
Inclui as realização do das infor-
fontes dos trabalho. mações
critérios. - à qualidade coletadas
das informações para res-
ponder a
questão.

Fonte: adaptado de GAO (2012).

284. Embora os elementos da matriz de planejamento sejam apre-


sentados sequencialmente, a definição das questões de auditoria, a esco-
lha das estratégias metodológicas apropriadas, assim como os resultados
a que se quer chegar com a análise proposta (o que a análise vai permi-
tir dizer) não precisa, necessariamente, seguir uma ordem pré-definida e
pode acontecer simultaneamente, confrontando-se essas informações de
maneira a assegurar a consistência lógica do planejamento da auditoria.

285. As estratégias metodológicas escolhidas definem a for-


ma geral do desenho investigativo a ser empregado na auditoria. Es-
sas estratégias não são necessariamente identificadas explicitamente
na matriz de planejamento, mas se revelam a partir do preenchimento
das diversas colunas da matriz. Entre as estratégias metodológicas mais
empregadas em auditoria operacional estão a pesquisa documental, o
estudo de caso e a pesquisa (survey). O Apêndice A apresenta uma des-
crição resumida de estratégias metodológicas que podem ser adotadas.
286. Uma boa prática que pode ser utilizada é elaborar a ma-
triz de planejamento em duas etapas: na primeira, deve-se definir tão
somente as questões e subquestões de auditoria e preencher a coluna
“o que a análise vai permitir dizer”, de modo a dar suporte à discussão
com o supervisor quanto à suficiência do escopo. Na segunda etapa, a
partir dos resultados das discussões e das orientações do supervisor,
deve-se complementar a matriz, definindo as demais colunas. É im-
portante considerar que são as hipóteses inseridas na coluna “o que a
análise vai permitir dizer” que determinam as informações requeridas,
as fontes de informação e assim sucessivamente (BRASIL, 2019a).

287. Outra boa prática no preenchimento da matriz de planeja-


mento é relacionar as diversas colunas entre si, por meio da utilização de
códigos, que podem ser letras ou números. Por exemplo, atribui-se um
código a cada informação na coluna “Informações requeridas”, que será
repetido na coluna seguinte no item correspondente à fonte daquela
informação, no procedimento de coleta da informação requerida e assim
sucessivamente até a coluna “O que a análise vai permitir dizer”. A rela-
87
ção entre os itens da matriz por meio de código deve ser realizada para
facilitar sua leitura e permitir que se trace o caminho desde a informação
a ser coletada até a conclusão que essa informação respaldará.

288. A matriz de planejamento sistematiza e detalha os proce-


dimentos previstos para a execução do trabalho, portanto, auxilia na
identificação de falhas e lapsos no planejamento das atividades. Na
medida em que organiza os elementos da metodologia em colunas
específicas, evidencia se as informações requeridas são suficientes para
responder à questão proposta. Permite verificar, ainda, se essas infor-
mações podem ser supridas pelas fontes de informação listadas e se
estão coerentes com a estratégia metodológica e com os métodos de
coleta e de análise de dados definidos. A matriz de planejamento deve
ser revisada nos seguintes pontos:

a. O objetivo da auditoria foi devidamente explicitado?


b. As questões de auditoria estão claramente formuladas?
c. Existe uma relação clara e satisfatória entre as questões de
auditoria e o problema a ser investigado?
d. A estratégia metodológica, os métodos de coleta e análise
de dados são adequados para responder às questões
formuladas?
e. As limitações foram identificadas?
f. As conclusões esperadas do trabalho de auditoria (“o
que a análise vai permitir dizer”) são consistentes com a
metodologia proposta e respondem à questão de auditoria?
289. As seções seguintes discorrem sobre as colunas da matriz
de planejamento as quais ainda não foram tratadas anteriormente.

Informações Requeridas

290. Essa coluna da matriz de planejamento deverá conter as


informações necessárias para responder à questão de auditoria. Infor-
mação requerida e fonte de informação são dois elementos distintos.
Por exemplo, se a equipe de auditoria quer saber a frequência de reu-
niões de um determinado conselho, as fontes de informações poderão
ser as atas de reuniões. As informações requeridas poderão ser as da-
tas em que as reuniões ocorreram.

291. Em alguns casos, pode ser necessário, para determinar a


informação necessária, definir os termos-chave usados na questão. Por
exemplo, ao formular uma questão envolvendo o impacto de uma inicia-
tiva governamental voltada para a melhoria do nível de ensino, deve-se
definir o que se entende por “melhoria do nível de ensino”. Traduzir
88
conceitos abstratos em variáveis mensuráveis é importante para que se
possa especificar com clareza o tipo de informação a ser coletada.

292. É importante considerar que as informações requeridas co-


letadas ou o resultado de sua análise irão se constituir nas evidências que
deverão sustentar os achados de auditoria. Por isso, ao definir as informa-
ções requeridas e planejar os procedimentos de análise, o auditor deverá
ter em mente os requisitos que as evidências precisam satisfazer para
cumprir bem esse papel, conforme indicado na seção 5.3. Nesse processo,
com o propósito de construir achados robustos e argumentações convin-
centes, é importante que o auditor preveja a coleta de informações que
possam evidenciar não somente a situação encontrada, mas também suas
causas e efeitos. A equipe deve planejar a obtenção de evidências de dife-
rentes tipos de forma a fortalecer as conclusões da auditoria.

Fontes de Informação

293. Deve-se identificar a fonte específica para cada tipo de in-


formação. Exemplos de fontes de informação:

a. documentação legal e institucional que dá suporte ao objeto


de auditoria;
b. legislação orçamentária (PPA, LDO e LOA);
c. missão declarada, planos estratégicos e relatórios de gestão;
d. pronunciamentos feitos e decisões tomadas pelas autoridades
competentes;
e. organogramas, diretrizes internas e manuais operacionais;
f. atas de reuniões;
g. sistemas de informação gerenciais;
h. bases de dados informatizadas;
i. sistemas de informação da administração pública (SIAFI,
SIGPlan, SIDOR, SIASG, SEI);
j. bibliografia especializada;
k. gestores;
l. especialistas;
m. beneficiários de programas governamentais;
n. relatórios e estudos produzidos por fonte credenciada;
o. mídia especializada.

294. Cuidado especial deve ser dedicado ao uso de revistas,


jornais e outras publicações jornalísticas, bem como informações da
internet que, embora possam oferecer informações de caráter geral
e indicar a relevância de determinado tema, não são submetidas a
revisões qualificadas, próprias de publicações científicas. Outras publi-
89
cações, mesmo de caráter oficial, devem ser interpretadas com reserva
ante à possibilidade de apresentarem fatos seletivamente, de maneira
a dar sustentação a determinado ponto de vista (LEE; LINGS, 2008).

Procedimentos de coleta de dados

295. Em auditorias operacionais, as principais técnicas de coleta


de dados usadas são: entrevista, pesquisa e revisão documental. Essas
e outras técnicas estão descritas na seção 5.4 deste manual. É impor-
tante detalhar suficientemente, na matriz de planejamento, os proce-
dimentos que serão usados. Por exemplo, se for feita uma entrevista,
dizer quem será entrevistado (cargo ou função). Se for feito estudo de
caso, qual ou quais as localidades serão visitadas. Toda essa definição
deve ser feita na fase de planejamento. A fase de execução é destinada
à coleta e análise de informações e evidências.

Procedimentos de análise de dados

296. Em auditorias operacionais, as principais técnicas de aná-


lise de dados usadas são: estatística descritiva e análise de conteúdo.
Essas e outras técnicas estão descritas na seção 5.5 deste manual. Os
procedimentos a serem utilizados devem ser suficientemente detalha-
dos para que não haja dúvidas sobre como a análise deverá ser desen-
volvida. A análise dependerá do tipo e da extensão dos dados coleta-
dos, que deverão ser definidos durante o planejamento da auditoria.
Limitações
297. Nessa coluna da matriz de planejamento, a equipe de audi-
toria deve especificar as limitações inerentes à estratégia metodológica
adotada, às características das informações que se pretende coletar e
às condições operacionais de realização dos trabalhos (NAT, 135).

298. Quanto à estratégia metodológica, deve-se considerar que


não há estratégia ótima ou ideal, mas apenas aquela que, dadas as cir-
cunstâncias, melhor se adapta à questão que se pretende investigar.
Uma vez que sempre haverá algum tipo de limitação sobre o que pode
ser concluído a partir de determinada metodologia proposta, o melhor
a fazer é identificar tais restrições. A equipe de auditoria deve avaliar as
alternativas existentes e estar preparada para defender suas escolhas.

299. Assim, ao se optar por uma estratégia metodológica, é in-


dispensável apontar as limitações que lhe são inerentes, seja do ponto
de vista de sua capacidade de levar a conclusões sobre as questões
de auditoria, seja em relação às possibilidades de generalização dos
90
resultados do trabalho.

300. Quanto às informações que se pretende utilizar na análise, é


importante mencionar que tipo de dificuldade se espera encontrar, tanto
em relação ao acesso aos dados, como em relação à sua qualidade e con-
fiabilidade. Qualquer problema relativo à utilização de dados existentes e às
suas possíveis limitações também deve constar da matriz de planejamento.

301. As limitações quanto à obtenção de informações não de-


vem decorrer de meras suposições, mas devem ser definidas com base
no que foi apurado durante a análise preliminar do objeto auditado.

302. A equipe deve indicar a alternativa a ser adotada para mi-


nimizar os riscos decorrentes das limitações identificadas.

O que a análise vai permitir dizer

303. Essa coluna da matriz de planejamento registra como a


análise dos dados responderá à questão de auditoria. O propósito des-
sa informação é esclarecer quais conclusões ou resultados pretende-se
alcançar por meio dos procedimentos de auditoria. Está relacionado
com a coluna anterior, pois o que se espera obter da análise está, na-
turalmente, condicionado pelas limitações previamente identificadas.

304. Assim, deve-se considerar, por exemplo: se as conclusões


alcançadas permitirão responder integralmente às questões de audi-
toria; se será possível fazer afirmações conclusivas sobre o objeto da
auditoria; e se as conclusões limitar-se-ão aos casos examinados ou
se será possível generalizá-las. Esses esclarecimentos são necessários
para que se tenha noção, já na fase de planejamento, do que se pode
esperar do esforço que será empreendido pela equipe e dos recursos
que serão alocados no desenvolvimento do trabalho.

4.8.1. VALIDAÇÃO DA MATRIZ DE PLANEJAMENTO

305. O processo de validação da matriz de planejamento é um


dos procedimentos de controle de qualidade usados no TCU. A valida-
ção abrange duas etapas. A primeira, após a revisão do supervisor, é
a submissão da matriz a um painel de referência, com o objetivo de
colher críticas e sugestões para seu aprimoramento. Esse processo de
validação tem por objetivos:

a. conferir a lógica da auditoria e o rigor da metodologia usada,


91
mediante questionamento das fontes de informação, da
estratégia metodológica e do método de análise a ser usado,
em confronto com os objetivos da auditoria;
b. orientar e aconselhar a equipe de auditoria sobre a
abordagem a ser adotada;
c. obter opiniões especializadas e independentes sobre a
concepção da auditoria;
d. colaborar para o aprimoramento da auditoria e alertar a
equipe sobre falhas no seu desenvolvimento/concepção;
e. verificar a presença de benefícios potenciais significativos.

306. A composição do painel, a ser organizado pela equipe de


auditoria, deve favorecer o debate e refletir diferentes pontos de vista
sobre o tema da auditoria. O painel poderá contar com a participação
de: especialistas, representantes da academia ou centros de pesquisa,
consultores técnicos do Congresso, representantes do controle interno
e dos órgãos de planejamento e orçamento, representante do gabinete
do Ministro-Relator, auditores com experiência em auditoria operacio-
nal, auditores com reconhecida experiência no tema, representantes de
organizações do terceiro setor (quando for o caso). Em resumo, deve-
-se convidar para o painel as pessoas que puderem fazer críticas cons-
trutivas e sugestões à matriz de planejamento e ao plano de auditoria.

307. O gestor poderá participar do painel de referência sempre


que a equipe e o supervisor entenderem que a sua presença não tra-
rá prejuízo aos objetivos do painel. Deve-se avaliar se a presença do
gestor poderá inibir os outros participantes do painel, ou se o gestor
poderá mostrar-se muito defensivo e reativo ao ver a apresentação da
proposta de auditoria e escutar os comentários dos demais participan-
tes. Se a equipe considerar que esses riscos existem, o planejamento
da auditoria deverá ser discutido com o gestor, separadamente, na
segunda etapa de validação.

308. Desde 2018, o TCU tem realizado painéis de referência no


formato de oficina de construção colaborativa, com o uso de técnicas
de design thinking, obtendo bons resultados. Nas oficinas de constru-
ção colaborativa, a primeira parte do evento compreende a apresen-
tação do conceito de auditoria operacional, do contexto e do objetivo
do trabalho, assim como da referida matriz. Na segunda parte, os par-
ticipantes indicarão pontos positivos, fragilidades e oportunidades de
aperfeiçoamento de cada uma das questões da matriz, de forma escri-
ta (de preferência em post-its). Num terceiro momento, grupos hetero-
gêneos de participantes (de modo a assegurar diferentes repertórios
e visões sobre o tema) deverão debater e aprofundar a discussão de
92
cada questão de auditoria, finalizando com a apresentação dos princi-
pais pontos identificados. A última parte do painel é reservada à troca
de ideias sobre alguns tópicos apontados e a considerações finais.

309. O modelo de oficina ajuda a estruturar a discussão, organi-


zar as ideias e aumentar a objetividade na obtenção de contribuições
dos participantes, garantindo maior volume de opiniões a respeito de
todas as questões da matriz e menor tempo dispendido para tanto.
Além disso, faz com que o trabalho ganhe em qualidade e a equipe de
auditoria tenha mais segurança com relação aos rumos selecionados
para sua realização, tendo em vista o amplo debate realizado. Outra
vantagem diz respeito ao sentimento gerado entre os participantes de
que contribuíram para o aprimoramento da ação do TCU, uma vez que
suas opiniões serão consideradas na auditoria.

310. Outro papel, não menos importante, desempenhado pelo


painel de referência é o de fortalecimento do controle social, ao possi-
bilitar que atores relevantes participem da discussão do planejamento
da auditoria e possam ser esclarecidos sobre a natureza da fiscalização
exercida pelo TCU, gerando expectativa sobre os resultados do traba-
lho e fortalecendo a imagem institucional.

311. Após o painel de referência, a equipe de auditoria analisará


as contribuições recebidas e incluirá na matriz de planejamento aque-
las que considerar pertinentes.
312. Se os gestores do objeto auditado não tiverem participado
do painel de referência, a segunda etapa do processo de validação da
matriz de planejamento consiste na sua apresentação a esses gestores,
depois dos ajustes necessários em função do resultado das discussões
do painel de referência. Essa etapa pode ocorrer no mesmo formato
de oficina de construção colaborativa. A finalidade desse procedimento
é apresentar o resultado da etapa de planejamento, realizada com a
participação do gestor, visando obter seu comprometimento com os
objetivos e a condução da auditoria. Além disso, a apresentação para
os gestores também objetiva dar a oportunidade à equipe de ouvir do
gestor sugestões de aperfeiçoamento do trabalho planejado.

313. Informações mais detalhadas sobre painel de referência


podem ser encontradas no documento técnico do TCU Painel de refe-
rência em auditorias (BRASIL, 2013a).

4.9 ELABORAÇÃO DE INSTRUMENTOS DE 93


COLETA DE DADOS E TESTE-PILOTO

314. Uma vez definida e validada a matriz de planejamento,


passa-se à elaboração dos instrumentos de coleta de dados que serão
usados durante a fase de execução. Cada técnica de coleta de dados
possui um instrumento próprio, a ser desenhado de forma a garantir a
obtenção de informações que possam resultar em evidências suficien-
tes e apropriadas para responder às questões de auditoria.

315. Os instrumentos de coleta de dados devem ser testados por


meio de teste-piloto para garantir a sua consistência. A realização do tes-
te-piloto permite, ainda, conferir as premissas iniciais acerca do funcio-
namento do objeto auditado e a qualidade e a confiabilidade dos dados.

316. A equipe deve escolher para a realização do teste-piloto


um local ou aspecto do objeto da auditoria que apresente dificuldades
potenciais à condução dos trabalhos, permitindo que a equipe anteci-
pe os problemas que poderão ser enfrentados. Além disso, os dados
coletados permitirão ajustar o tamanho da amostra e assegurar que a
estratégia metodológica selecionada oferecerá resposta conclusiva às
questões de auditoria.

317. Portanto, a realização de teste-piloto é especialmente reco-


mendável no caso de auditorias que envolvem estratégias metodológi-
cas complexas, visitas a locais de difícil acesso e custos elevados, pois
aumenta as chances de que o trabalho desenvolvido alcance o nível de
qualidade desejado com o menor custo possível. Além dos instrumen-
tos de coleta de dados, a matriz de planejamento também poderá ser
ajustada a partir dos resultados do teste-piloto.

4.10 PLANO DE AUDITORIA


Requisito

Durante o planejamento, o auditor deve desenvolver os procedimentos a se-


rem usados para coletar evidências de auditoria suficientes e apropriadas,
que respondam ao(s) objetivos(s) e questões de auditoria (ISSAI 3000/101).

318. Ao final da fase de planejamento, a equipe deve preparar


o plano de auditoria, que descreve a natureza do trabalho a realizar
e os resultados que se pretende alcançar. O plano deve explicitar a
motivação para se investigar o objetivo de auditoria, segundo enfoque
94
específico e com o uso de certa metodologia (NAT, 96-97).

319. Portanto, o plano de auditoria conterá descrição sucinta


do objeto de auditoria, objetivos do trabalho, questões a investigar,
procedimentos a desenvolver e resultados esperados com a realização
da auditoria. Farão parte dos apêndices do plano: a matriz de plane-
jamento, que resume as informações centrais da auditoria; o relato do
teste piloto, se for o caso, o cronograma proposto para a condução dos
trabalhos; e a estimativa de custos. A estimativa de custos é realiza-
da com base no valor do “homem-dia-fiscalização”, valores de diárias,
passagens, suprimentos de fundos, pagamento de diárias e passagens
para colaboradores eventuais, contratação de serviços.

320. É fundamental destacar os resultados que se pretende al-


cançar com a realização da auditoria, indicando as oportunidades de
aperfeiçoamento e especificar os benefícios esperados (quantitativos
ou qualitativos).

321. Compete ao coordenador da equipe assegurar que o plano


de auditoria contenha todas as informações necessárias à correta e opor-
tuna apreciação da proposta de trabalho. A biblioteca digital do TCU dis-
ponibiliza um modelo de estrutura e exemplos de planos de auditorias.
5 EXECUÇÃO

Requisito

O auditor deve obter evidência de auditoria suficiente e apropriada para fun-


damentar os achados, chegar a conclusões em resposta ao(s) objetivo(s) e
questões de auditoria e, quando relevante e permitido pelo mandato da EFS,
formular recomendações (ISSAI 3000/106).

322. A etapa de execução consiste na obtenção de evidências


apropriadas e suficientes para respaldar os achados e conclusões da
auditoria. Nessa fase, a equipe de auditoria tem a oportunidade de
95
aprofundar o conhecimento sobre o objeto auditado.

323. As principais atividades realizadas durante a execução são:

a. desenvolvimento dos trabalhos de campo;


b. coleta e análise de dados;
c. elaboração e validação da matriz de achados.

324. Em geral, a coleta e a análise de dados não são atividades


estanques. Exceto nas pesquisas, os dados são coletados, interpretados
e analisados simultaneamente. Dependendo da metodologia adotada
no plano de auditoria, pode haver variação significativa na organização
dos trabalhos de campo e na estratégia de análise dos dados.

325. É fundamental que a equipe de auditoria analise as infor-


mações obtidas de forma imparcial e sob diversas perspectivas. É ne-
cessário aplicar julgamento profissional adequado para avaliar o que a
quantidade e a qualidade das evidências permitirão concluir sobre as
questões de auditoria (TCE, 2017).

5.1 DESENVOLVIMENTO DOS TRABALHOS DE CAMPO


326. O trabalho de campo consiste na coleta de informações e
dados definidos no planejamento de auditoria, que irão gerar as evi-
dências necessárias para embasar os achados de auditoria. O tipo de
dados a coletar e as fontes desses dados dependerão da estratégia
metodológica e dos critérios estabelecidos.

327. Durante a coleta de dados, a equipe aplica os instrumentos


desenvolvidos e testados na fase de planejamento. Os métodos de
coleta de dados mais usados em auditoria operacional são revisão do-
cumental, pesquisa bibliográfica, entrevista e questionário.

328. É importante que o auditor obtenha as melhores informa-


ções possíveis - tanto fatos quanto opiniões, argumentos e reflexões
– de diferentes fontes e busque o apoio de especialistas e outros stake-
holders que possam trazer diferentes perspectivas (GUID 3920/71). O
auditor deve buscar as evidências necessárias para responder às ques-
tões de auditoria e ter cuidado para não se desviar do foco do trabalho
nem coletar grande quantidade de informações que, muitas vezes, são
desnecessárias e irrelevantes (POLLITT et al, 2002).

96
329. Para o sucesso dos trabalhos de campo, é necessária a
realização de diversas atividades operacionais. Antes da execução da
auditoria, a equipe deve:

a. agendar visitas de estudo (se necessário), entrevistas e


grupos focais;
b. providenciar ofícios de apresentação;
c. reservar passagens e hotéis;
d. informar telefones de contato ao supervisor;
e. preparar material necessário (cópias de questionários, de
roteiros de entrevistas, de grupo focal e de observação
direta).

330. A elaboração da matriz de achados deve ser iniciada du-


rante os trabalhos de campo, à medida que os achados são identifica-
dos e evidenciados (incluindo suas causas e efeitos). Os esclarecimen-
tos que se fizerem necessários devem ser colhidos ainda em campo,
para evitar interpretações equivocadas e eventuais novas solicitações
de informações, com possível atraso no cronograma (BRASIL, 2009a).

331. Nessa etapa poderão ser solicitados documentos e infor-


mações adicionais para melhor evidenciar as percepções e informações
colhidas durante as entrevistas, grupos focais, observação direta.
332. A mesma prática de pensamento visual, mencionada no
Capítulo 4 para a elaboração da matriz de planejamento, pode ser
usada para a construir a matriz de achados. Fazendo dessa forma, é
possível organizar as informações colhidas, ter uma visão global dos
resultados do trabalho e envolver toda a equipe na atividade, obtendo
de cada integrante suas contribuições para os achados.

5.2 ACHADO DE AUDITORIA


Requisito

O auditor deve analisar as informações coletadas e garantir que os achados


de auditoria sejam colocados em perspectiva e respondam ao(s) objetivos e
questões de auditoria; reformulando o(s) objetivo(s) e as questões de audito-
ria quando necessário (ISSAI 3000/112).

333. Achado é o resultado da comparação entre a situação en-


contrada e o critério de auditoria. Contém os seguintes atributos: cri-
97
tério (o que deveria ser), condição/situação (o que é), causa (razão
do desvio com relação ao critério) e efeito (consequência da situação
encontrada) (GUID 3920/84; NAT, 103).

334. Critério de auditoria é o padrão usado para avaliar se o de-


sempenho do objeto auditado está aquém, atinge ou excede as expec-
tativas. O critério dá a base para avaliar a evidência, obter os achados
e desenvolver as conclusões (GUID 3920/38).

335. O critério pode ser quantitativo ou qualitativo, geral ou es-


pecífico. A natureza da auditoria e das questões determinará os crité-
rios mais adequados (GUID 3920/39). A seção 4.7 deste manual con-
tém mais informações sobre critério de auditoria.

336. Condição é a situação existente, identificada e documenta-


da durante a auditoria. Causa é a razão da diferença entre a condição
e o critério. A causa serve de base para as propostas de deliberações.
Efeito é a consequência da diferença constatada pela auditoria entre
condição e critério. O efeito indica a gravidade da situação encontrada
e determina a necessidade da ação corretiva (GAO, 2018, p. 115).

337. O Quadro 8 apresenta um exemplo de achado de auditoria.


Quadro 8 - Exemplo de achado de auditoria

Achado

Insuficiência de leitos psiquiátricos na maior parte dos estados brasileiros.

Critério

A quantidade de leitos psiquiátricos estabelecida pela Organização Mun-


dial de Saúde é de 0,43 por mil habitantes.

Condição/Situação

O Brasil tem, em média, 0,37 leitos psiquiátricos por mil habitantes.

Causas

Distribuição desigual de leitos entre os estados da federação (a região


sudeste dispõe de 0,53 leitos por mil habitantes, enquanto na região norte
o índice é 0,04).

Distribuição de leitos não atende a critérios populacionais.

98 Ausência de planos municipais e estaduais de saúde mental.

Controle social incipiente.

Efeitos

Deficiência de atendimento em locais com baixo índice de leitos.

Migração de pessoas com transtornos mentais entre municípios ou entre


estados, dificultando o planejamento da atenção à saúde.

Fonte: Relatório de Auditoria Operacional realizada no Programa Saúde Mental (TC


011.307/2004-9).

338. A identificação e evidenciação de causas deve ser um dos


pontos chave de uma auditoria, razão pela qual vale investir tempo e
esforço nesta tarefa. Essa identificação aumenta a efetividade e o grau
de contribuição do trabalho para a melhoria do desempenho da ação
governamental auditada, uma vez que os encaminhamentos do traba-
lho poderão propor o tratamento de tais causas.

339. Para auxiliar na identificação das causas do problema em


exame, cabe propor o uso da ferramenta “5 Por quês”. A(s) causa(s)-
-raiz apontada(s) por meio da utilização dessa ferramenta deverá(ão)
ser objeto de investigação em busca de evidências e de validação com
especialistas e gestores.

340. Embora seja importante buscar explicações para desvios


dos critérios, as causas devem ser apresentadas com cautela, espe-
cialmente quando a auditoria é realizada em programas sociais12. As
explicações das relações de causa e efeito devem ser sustentadas por
evidências de auditoria suficientes e apropriadas, o que pode exigir a
aplicação de técnicas analíticas avançadas que fogem ao escopo da au-
ditoria (NAT, 141). É relevante considerar os pontos de vista da entidade
auditada sobre os achados. Se tais pontos de vista não se basearem
em evidência suficiente e apropriada, o auditor não pode tomar como
certo que eles são pertinentes ou corretos. Se não forem suficiente-
mente apoiados por evidências, mas forem razoáveis de acordo com
outras fontes e com o julgamento profissional dos auditores, é possível
apresentar esses pontos de vista no relatório (GUID 3920/87, 90).

341. Os auditores também devem investigar e evidenciar os efei-


tos do achado. Sempre que possível, esses efeitos devem ser quantifica-
dos. Por exemplo, o custo de processos ineficientes ou de instalações im-
produtivas pode ser estimado. Além disso, processos ou gerenciamento
ineficientes, decisões gerenciais equivocadas e falta de controle de qua-
lidade podem resultar em atrasos, desperdício de recursos e até mesmo
99
no não atendimento dos beneficiários pela política pública, deixando as-
sim de gerar os resultados e impactos esperados. Se o efeito já ocorreu,
é importante verificar se foram tomadas providências para evitar que
ele volte a ocorrer. Se os efeitos não forem facilmente identificados, o
auditor deve tentar estimá-los e validá-los com especialistas e gestores.

342. Durante as auditorias, é possível encontrar achados com


resultados positivos. O achado com resultado positivo ocorre quando
o critério é atingido ou excedido. Ele também conterá os atributos já
mencionados (critério, condição, causa e efeito).

343. Achado com resultado positivo e boas práticas são ele-


mentos distintos. O achado com resultado positivo (atingir ou exceder
o critério) pode indicar a ocorrência de boas práticas. Não alcançar o
critério indica oportunidade de melhoria de desempenho. É importan-
te destacar que desempenho satisfatório não é desempenho perfeito,
mas é o esperado, considerando as circunstâncias com as quais o au-
ditado trabalha (GUID 3920/85).

344. Boas práticas são maneiras encontradas para atingir ou


ultrapassar a meta estabelecida. Em geral, são soluções locais que

12
NAT 141. (...) Nesse tipo de auditoria, dependendo do tipo de questão de auditoria, nem sempre
é possível identificar causas, mas o ponto crucial do relatório é a análise das evidências, que de-
vem ser apresentadas de forma lógica, articulada e com ilustrações que facilitem a compreensão
da situação encontrada.
comprovadamente funcionaram bem e levam a resultados positivos.
Por exemplo, em um programa de combate à tuberculose, pode haver
segmentos da população que não procuram a unidade de saúde para
tratamento. Se for feita busca ativa que contribua para melhorar o de-
sempenho do programa, isso pode ser considerado uma boa prática.

345. Boas práticas podem ser disseminadas para outras organi-


zações e/ou programas, desde que as situações sejam similares. Tam-
bém podem subsidiar a proposição de recomendações.

5.3 EVIDÊNCIAS
346. Evidências são informações obtidas durante a auditoria e
usadas para fundamentar os achados. O conjunto de achados irá res-
paldar as conclusões do trabalho. A equipe de auditoria deve obter evi-
dências suficientes e apropriadas para fundamentar os achados, e as-
sim chegar a conclusões para responder ao(s) objetivo(s) de auditoria
100
e propor recomendações e determinações (ISSAI 3000/106; NAT, 108).

347. Na medida em que as evidências forem sendo coletadas,


a equipe deve colocá-las na matriz de achados para que, visualmen-
te, já se verifiquem quais achados possuem evidências suficientes e
apropriadas e quais ainda necessitam ser mais bem sustentados. Para
esses, dependendo de sua relevância, a equipe de auditoria deverá
focar seus esforços, obtendo mais elementos que os corroborem. Essa
análise é fundamental para o sucesso do trabalho, pois evita o descarte
de achados importantes por falta de evidências, que poderiam ter sido
coletadas durante a execução do trabalho.

348. Suficiência mede a quantidade de evidência. O auditor


deve determinar se a quantidade de evidência obtida é suficiente para
persuadir uma pessoa que tenha conhecimento do tópico auditado de
que os achados de auditoria são plausíveis (ISSAI 3000/108).

349. Os pressupostos a seguir são úteis para avaliar a suficiência


da evidência (GUID 3920/76):

a. quanto maior o risco de auditoria, maior a quantidade e a


qualidade de evidências requeridas;
b. evidências mais robustas podem permitir que menos
evidências sejam usadas;
c. ter um grande volume de evidências de auditoria não
compensa a falta de relevância, validade ou confiabilidade;
d. mais evidência é normalmente necessária quando a entidade
auditada tem outra opinião sobre o objeto de auditoria.

350. É importante lembrar que a quantidade de evidências não


substitui a falta dos outros atributos (validade, confiabilidade, relevân-
cia). Quanto maior a materialidade do objeto auditado, o risco de au-
ditoria e o grau de sensibilidade do auditado a determinado assunto,
maior será a necessidade de evidências mais robustas.

351. Evidência apropriada se refere à qualidade. Significa que a


evidência deve ser relevante, válida e confiável (ISSAI 3000/108).

352. A evidência é relevante se for relacionada, de forma clara e


lógica, aos critérios e objetivos da auditoria. É válida se representa o que se
pretende representar. É confiável se sustentada por dados provenientes de
diversas fontes ou quando há a garantia de que serão obtidos os mesmos
101
resultados se os procedimentos forem repetidos. (ISSAI 3000/109; 110).

353. Os contrastes a seguir são úteis para avaliar se as evidên-


cias são apropriadas (GUID 3920/75):

a. a evidência documental é mais confiável do que a evidência


testemunhal, mas a confiabilidade varia dependendo da
fonte e do propósito do documento;
b. a evidência testemunhal que é corroborada por escrito é
mais confiável do que a evidência testemunhal sozinha;
c. a evidência baseada em muitas entrevistas em conjunto
é mais confiável do que a evidência baseada em uma ou
poucas entrevistas;
d. a evidência testemunhal obtida sob condições nas quais as
pessoas podem falar livremente é mais confiável do que a
evidência obtida sob circunstâncias nas quais as pessoas
podem se sentir intimidadas;
e. a evidência obtida de uma terceira parte bem informada,
credível e imparcial é mais confiável do que a evidência obtida
da administração da entidade auditada ou de outras pessoas
que tenham um interesse direto no objeto de auditoria;
f. a evidência obtida quando o controle interno é efetivo é
mais confiável do que a evidência obtida quando o controle
interno é fraco ou inexistente;
g. a evidência obtida por meio de observação direta, cálculo
e inspeção do auditor é mais confiável do que a evidência
obtida indiretamente;
h. documentos originais são mais confiáveis do que documentos
copiados.

354. Quando o objetivo da auditoria inclui a generalização dos


achados para o universo pesquisado, as soluções mais comumente
adotadas são tratamento estatístico e estudo de caso. Se o estudo de
caso é representativo, é possível generalizar os resultados, ou seja, os
achados identificados em um caso podem ser aplicados a outros casos
semelhantes em contextos similares (NAO, 1999).

355. Auditorias operacionais requerem bastante julgamento


profissional e interpretação porque as evidências, em geral, são de
natureza mais persuasiva (“leva a concluir que...”) do que conclusiva
(“certo/errado”). Por essa razão, os auditores precisem ser criativos e
flexíveis para identificar oportunidades de desenvolver abordagens de
102
auditoria inovadoras para coletar, interpretar e analisar informações
(ISSAI 3000/69, 77-78; TCE, 2017).

356. As evidências podem ser classificadas em quatro tipos


(GUID 3920/49):

a. física – são obtidas da observação direta de pessoas e eventos


ou da inspeção de locais ou objetos. Em auditoria, esse tipo
de evidência é documentado por meio de fotografias, vídeos,
mapas. Evidências físicas costumam causar grande impacto. A
fotografia de uma situação insalubre ou insegura, por exemplo,
pode ser mais convincente que uma longa descrição;
b. documental – é o tipo mais comum de evidência. Pode
estar disponível em meio físico ou eletrônico. É obtida de
informações já existentes, tais como ofícios, memorandos,
correspondências, contratos, extratos, relatórios. É necessário
avaliar a confiabilidade e a relevância dessas informações
com relação aos objetivos da auditoria;
c. testemunhal – obtida por meio de entrevistas, grupos focais,
questionários. Para que a informação testemunhal possa ser
considerada evidência, e não apenas contextualização, é preciso
corroborá-la, por meio de outras fontes que confirmem os fatos;
d. analítica – obtida por meio de análises, comparações e
interpretações de dados e informações. Este trabalho pode
envolver análise de índices, taxas, padrões e tendências
(procedimentos de revisão analítica), normalmente por meio
de processamento computacional. É o tipo de evidência mais
difícil de obter.

357. A equipe de auditoria deve avaliar se a falta de evidências


apropriadas e suficientes se deve à falha na estratégia metodológica
ou à inexistência das informações ou à incapacidade de os sistemas do
objeto de auditoria fornecê-las. No primeiro caso, pode ser necessário
modificar a estratégia metodológica ou revisar o objetivo da auditoria
e seu escopo. No segundo caso, os problemas identificados podem
configurar achados de auditoria.

358. A equipe de auditoria deve considerar que algumas evi-


dências podem apresentar problemas ou fragilidades. Os principais
referem-se a evidências:
103
a. baseadas em apenas uma fonte;
b. testemunhais não corroboradas por documento ou
observação;
c. provenientes apenas do gestor ou da equipe auditada;
d. cuja fonte é enviesada com relação ao resultado da auditoria;
e. obtidas de amostras não-representativas;
f. relacionadas a ocorrência isolada;
g. conflitantes;
h. cujo custo de obtenção não atende a critérios de custo-
benefício.

359. Existem algumas técnicas que podem contribuir para a obten-


ção de evidências mais robustas. Uma delas é a circularização, que consiste
na confirmação, junto a terceiros, de fatos e informações apresentados pelo
auditado (BRASIL, 2009a). Outra é a triangulação, que é o uso de dife-
rentes métodos de pesquisa e de coleta de dados para estudar o mesmo
assunto, com o objetivo de fortalecer as conclusões (PATTON, 1987).

360. Os diferentes tipos de evidência estão relacionados aos


métodos de coleta de dados. O auditor pode usar qualquer uma das
técnicas, ou uma combinação delas. O Quadro 9 apresenta a corres-
pondência entre os tipos de evidência e as principais técnicas de coleta
de dados usadas em auditoria operacional.
Quadro 9 - Correspondência entre tipo de
evidência e técnicas de coleta de dados

Tipo de evidência Técnica de coleta de dados

Observação direta
Física
Inspeção física

Entrevista
Testemunhal Pesquisa
Grupo focal

Revisão documental
Documental
Uso de bases de dados

Analítica* Computação, comparações, análise estatística

Fonte: adaptado de AFROSAI-E Performance Audit Handbook, 2013.


* Relaciona-se com a análise e não com a coleta de dados.

104
5.4 TÉCNICAS DE COLETA DE DADOS
361. Nos itens a seguir serão apresentadas, de forma resumida,
as principais técnicas de coleta de dados usadas em auditoria opera-
cional. Mais detalhes sobre a maioria delas podem ser encontrados nos
documentos técnicos do TCU.

362. Como já foi dito no capítulo 4, as técnicas de coleta e


análise de dados a usar na auditoria devem ser definidas na fase de
planejamento e incluídas na matriz de planejamento, nas colunas res-
pectivas. Os instrumentos de coleta também devem ser elaborados
e testados durante o planejamento. Na fase de execução, eles serão
aplicados e as informações obtidas serão analisadas.

5.4.1. REVISÃO DOCUMENTAL

363. É um dos principais métodos de coleta de dados em au-


ditoria operacional. É a revisão de documentos, arquivos, relatórios,
trabalhos acadêmicos, estudos disponíveis sobre o objeto de auditoria.
Desde o início do planejamento, a equipe de auditoria revisa os nor-
mativos e outros documentos relevantes referentes ao objeto auditado.

364. Ao optar por utilizar dados produzidos por terceiros, a equipe


deve avaliar a confiabilidade dos dados, além de outros aspectos (ex.: atu-
alidade, consistência) que podem impactar na qualidade das evidências a
serem obtidas. É fundamental levar em conta que qualquer problema re-
lativo à utilização de dados existentes e às suas possíveis limitações deve
constar do relatório de auditoria ao se apresentar as conclusões.

5.4.2. ENTREVISTA

365. A entrevista é um método de coleta de informações que


consiste em uma conversação, individual ou em grupo, com pessoas
selecionadas cuidadosamente, e cujo grau de pertinência, validade e
confiabilidade é analisado na perspectiva dos objetivos da coleta de
informações. Em resumo, uma entrevista é uma sessão de perguntas e
respostas para obter informações (BRASIL, 2010d).

366. A entrevista é amplamente usada em auditoria operacional


como técnica qualitativa de coleta de dados para obter informação em
profundidade sobre o tema da auditoria. De acordo com o objetivo de
105
cada etapa do trabalho, são aplicadas: entrevistas preparatórias; entrevis-
tas para coletar dados e informações; entrevistas para identificar atitudes
e argumentos; entrevistas para gerar e avaliar ideias e sugestões. Podem
ser usadas para confirmar fatos e corroborar dados de outras fontes ou
explorar potenciais recomendações, além de identificar boas práticas.

367. Na fase de execução da auditoria, a equipe pode realizar


entrevistas em profundidade, para obter informações mais detalhadas,
dirimir dúvidas e confirmar (ou descartar) hipóteses identificadas no
início do trabalho.

368. Realizar entrevistas não é tarefa trivial. Exige disciplina,


preparação e habilidades de comunicação. Para obter perspectiva
abrangente do objeto auditado, é importante entrevistar represen-
tantes de diferentes áreas (dentro e fora do governo), com diferentes
opiniões e pontos de vista. Os resultados das entrevistas devem ser
compilados e documentados, de forma a facilitar a análise dos dados
e a asseguração de qualidade (IDI, 2016).

369. Para a realização de entrevistas é necessário que a equipe


(IDI, 2016):

a. estude o tema da entrevista;


b. prepare um roteiro;
c. agende data, local e horário e calcule a duração da entrevista;
d. defina as tarefas para cada integrante da equipe antes da
entrevista (evite realizar entrevistas sozinho);
e. seja pontual e não estenda a entrevista além do horário
combinado;
f. seja atenta, observadora, objetiva, respeitosa, segura e
imparcial;
g. crie um clima de confiança com o entrevistado: entrevista não
é interrogatório;
h. ouça e observe atentamente, sem falar mais do que o
entrevistado;
i. seja flexível, mas tenha sempre em mente o objetivo da
entrevista;
j. seja corajosa para fazer qualquer tipo de pergunta: seja
franca e sincera, mas com habilidade;
k. pergunte como o desempenho do objeto auditado pode ser
melhorado;
l. evite fazer perguntas complexas, demonstrar conhecimento
excessivo e adotar atitudes de superioridade;
106
m. use pausas ou silêncios, no caso de respostas evasivas, para
indicar que espera informação mais completa;
n. anote os pontos mais importantes durante a entrevista;
o. documente a entrevista assim que terminá-la;
p. envie o registro da entrevista para o entrevistado confirmar,
se viável.

5.4.3. APLICAÇÃO DE QUESTIONÁRIOS

370. Questionário é o instrumento de coleta de dados usado


em pesquisas (survey). Trata-se de um formulário usado para obter
informação de forma padronizada, sobre grande número de unidades
de pesquisa.

371. O que distingue a aplicação de um questionário de uma


entrevista é que, ao aplicá-lo, mesmo presencialmente, o pesquisador
não tem possibilidade de ajustar, alterar ou adicionar novas perguntas
durante o processo de aplicação.

372. A equipe de auditoria pode realizar pesquisa com aplica-


ção de questionário para colher dados primários, não disponíveis em
bancos de dados da administração pública, ou para colher dados que
permitam testar a confiabilidade dos já disponíveis. Posteriormente,
os dados coletados são analisados, permitindo extrair evidências que
darão suporte aos achados de auditoria.
373. Em geral, a taxa de respostas está bastante relacionada à
qualidade do questionário. Para elaborar questionários, é necessário
que a equipe (BRASIL, 2010b):

a. inicie o questionário com perguntas fáceis;


b. elabore uma pergunta aberta no final do questionário, que
permita ao respondente fazer comentários gerais;
c. evite fazer muitas perguntas abertas, porque isso dificulta a
análise das respostas;
d. não elabore perguntas ambíguas e vagas;
e. limite-se a perguntas de interesse da auditoria;
f. não faça duas perguntas em uma só;
g. elabore perguntas claras, concisas, precisas e objetivas;
h. teste o questionário com colegas e especialistas;
i. teste o questionário em ambiente real.

5.4.4. OBSERVAÇÃO DIRETA


107
374. A observação direta é uma técnica de coleta de dados que
utiliza os sentidos para compreender determinados aspectos da reali-
dade. Não consiste apenas em ver e ouvir, mas também em examinar
fatos ou fenômenos que se deseja estudar. Nas auditorias, observação
direta é um método que ajuda a coletar informações sobre a forma
de funcionamento do objeto auditado. A técnica permite realizar essa
tarefa de forma sistemática e estruturada, valendo-se de roteiros para
registro das observações (BRASIL, 2010c).

375. A diferença entre as técnicas de observação direta e ins-


peção física é que enquanto esta última é aplicada para situações
estáticas (equipamentos, instalações e infraestrutura em geral) a
outra é indicada para situações dinâmicas, tais como prestação de
serviços e execução de processos (BRASIL, 2010c).

376. As vantagens da técnica de observação direta podem ser


assim resumidas (PATTON, 1987):

a. permite ao observador compreender o contexto no qual se


desenvolvem as atividades;
b. permite ao observador testemunhar os fatos, sem depender
de informações de terceiros;
c. permite que um observador treinado perceba aspectos que
escapam às pessoas rotineiramente envolvidas com o tema;
d. pode captar aspectos sobre os quais os participantes não
desejam falar numa entrevista;
e. traz para a análise as percepções do próprio observador, que,
ao serem confrontadas com as percepções dos entrevistados,
fornecem uma visão mais completa do tema estudado;
f. permite que o observador forme impressões que extrapolem
o que é possível registrar, mesmo nas mais detalhadas
anotações de campo, e que podem auxiliar na compreensão
do tema auditado e dos seus participantes.

377. Para conduzir uma observação direta é necessário que a


equipe (BRASIL, 2010c):

a. prepare um roteiro de observação;


b. estabeleça um clima de confiança com as pessoas que
estarão no ambiente;
c. escolha um horário de menor sobrecarga de trabalho e
estresse para essas pessoas;
108
d. selecione apenas atividades e fenômenos representativos e
relevantes para o objetivo da auditoria;
e. enfatize que o objetivo da observação é conhecer o processo
de trabalho e não avaliar o desempenho das pessoas
observadas;
f. não prejudique o fluxo normal do trabalho e não tente
modificar o comportamento das pessoas observadas;
g. tenha em mente que as pessoas podem agir de forma
diferente quando observadas.

5.4.5. GRUPO FOCAL

378. Grupo focal é uma técnica qualitativa de coleta de dados


a partir das interações e discussões ocorridas entre participantes de
um determinado grupo sobre tema de interesse e questões relevan-
tes. Nessa técnica, pequenos grupos de pessoas com características
comuns reúnem-se em lugar previamente definido, seguindo um guia
elaborado previamente por um facilitador e alguns assistentes, para
discutir conceitos ou avaliar problemas (BRASIL, 2013c).

379. A técnica auxilia o auditor a entender como as pessoas per-


cebem uma determinada situação. O resultado depende da participação
ativa do auditor na condução das discussões com o propósito de produ-
zir dados. Importante destacar que no grupo focal não existe o papel de
entrevistador, tampouco há interesse pela resposta individual. A técnica
procura captar a variedade de percepções e ideias de um grupo sobre
determinado tema ou situação, bem como suas razões (BRASIL, 2013c).

380. O uso da técnica pode ser apropriado em auditorias quando


o objeto auditado apresenta baixo desempenho e as razões para isso
não estão claras. Usa-se também para adquirir conhecimento acerca da
organização e do funcionamento de programas, órgãos ou entidades,
para avaliar a qualidade dos serviços e para identificar boas práticas,
ou, ainda, quando os informantes não se sentem à vontade para tratar
do tema durante uma entrevista. O grupo focal também pode ser usado
para auxiliar no desenvolvimento de outros instrumentos de coleta de
dados, como questionários e roteiros de observação, ao permitir identifi-
car itens a serem perguntados ou observados (BRASIL, 2013c).

381. Para conduzir grupos focais, é necessário que a equipe


(BRASIL, 2013c):

a. prepare um roteiro (geralmente se usam perguntas abertas)


109
e o teste antes de aplicá-lo;
b. selecione os participantes cuidadosamente. O grupo deve ser
homogêneo, inclusive hierarquicamente, com experiências
similares no tópico a ser discutido;
c. controle o tempo. O grupo focal não deve durar mais de duas
horas;
d. seja flexível, objetivo, respeitoso, imparcial, seguro, e tenha
senso de humor;
e. favoreça a participação de todos, modere o debate, valorize
a diversidade de opiniões;
f. peça permissão para gravar a sessão. A gravação será
bastante útil para analisar os dados;
g. anote os pontos-chave.

5.5 TÉCNICAS DE ANÁLISE DE DADOS


382. Durante os trabalhos de campo, a equipe obtém grande
quantidade de dados, que devem ser organizados, separados e ana-
lisados. Durante a análise, o auditor deve manter o foco no objetivo
e nas questões de auditoria. Isso o ajudará a organizar os dados e a
orientar a análise (GUID 3920/86, 2016). As outras informações devem
ser descartadas, para não desviar a auditoria de seu foco e para não
retardar a análise dos dados relevantes (POLLITT et al, 2002).
383. Por análise de dados, entende-se tanto a compilação (co-
dificação e tabulação) como a análise propriamente dita. A análise de
dados, quer seja quantitativa ou qualitativa, implica o exame dos re-
sultados obtidos por meio de diferentes perspectivas ou considerando
outros dados (TCE, 2017).

384. Técnicas de análise de dados são ferramentas usadas para


organizar os dados coletados e investigar as relações que se pretende
estabelecer entre as variáveis selecionadas para responder às questões
de auditoria. A especificação da técnica e os procedimentos que serão
usados na análise de dados são parte fundamental do plano de auditoria
e devem, portanto, constar da matriz de planejamento. Essas ferramen-
tas têm correspondência com as técnicas adotadas na coleta de dados.

385. Para a análise dos dados coletados, são usadas ferramentas e


técnicas adequadas. A definição do método dependerá da estratégia me-
todológica adotada. Várias técnicas de análise de dados podem ser usa-
das em auditorias operacionais. São exemplos de técnicas quantitativas de
110
análise de dados: estatística descritiva, regressão, tabulação de frequências,
análise multivariada, análise de envoltória de dados. O documento técnico
Técnicas de amostragem para auditorias (BRASIL, 2002a) contém orienta-
ções úteis para o uso de amostragem em auditoria operacional (que não
foi abordada neste manual) e para análise quantitativa de dados.

386. Algumas técnicas qualitativas de análise de dados são: análi-


se de conteúdo, triangulação, interpretações alternativas, casos negativos.

387. Geralmente, a análise de dados é um procedimento inte-


rativo, isto é, realizam-se análises iniciais na fase de planejamento e, à
medida que a auditoria progride, as análises são refinadas. O estágio
final da análise de dados consiste em combinar os resultados obtidos
de diferentes fontes. O auditor deve trabalhar de forma cuidadosa e
sistemática na interpretação dos dados e informações coletados. É fun-
damental que o auditor adote abordagem crítica e mantenha objeti-
vidade com relação às informações disponíveis. Ao mesmo tempo, ele
deve ser receptivo a diferentes argumentos e pontos de vista.

388. Conforme já mencionado no capítulo 4, é recomendável


manter o registro visual das informações obtidas ou produzidas duran-
te todo o trabalho. Essa prática facilitará o compartilhamento e a aná-
lise de tais informações na medida em que será possível organizá-las,
agrupá-las e construir relacionamentos entre elas. Esse procedimento
também permitirá à equipe enxergar padrões entre as informações e, a
partir daí, obter insights e tirar importantes conclusões que subsidiarão
as propostas de encaminhamento da auditoria. Além disso, favorecerá
o compartilhamento desse processo com o supervisor e demais pesso-
as envolvidas no trabalho.

389. Toda a análise de dados deve ser documentada em papéis


de trabalhos, independentemente de seu resultado. Dessa forma, é
possível reduzir o tamanho da parte textual dos relatórios de auditoria,
tornando-os mais objetivos, concisos e convidativos à leitura.

390. O processo de análise deve ser executado pela equipe,


com a participação do supervisor, e pode também ser realizado com
a consulta a outros auditores experientes, especialistas e gestores. À
medida que as informações são estruturadas, comparadas, confron-
tadas, discutidas com atores internos e externos, o relatório deve ser
rascunhado, avaliado e reescrito. Discussões com gestores e especia-
listas, para confirmar dados, desenvolver argumentos e propostas de
recomendação são valiosas nesse estágio da auditoria (GUID 3920/86).
111
391. Nos itens a seguir serão apresentadas, de forma resumida, as
principais técnicas usadas para analisar dados em auditoria operacional.

5.5.1. ESTATÍSTICA DESCRITIVA

392. A estatística descritiva é uma técnica quantitativa de aná-


lise de dados. Há três dimensões básicas em distribuição de dados
que podem ser úteis em auditorias: tendência central (média, mediana,
moda, quartis etc.), dispersão (variância, desvio-padrão etc.) e formato
dos dados (distribuição normal etc.).

393. A estatística descritiva pode ser útil, por exemplo, para ava-
liar o desempenho de determinada variável com relação ao critério,
para avaliar riscos e para avaliar se a amostra é representativa da po-
pulação (IDI, 2016).

5.5.2. REGRESSÃO

394. A regressão também é uma técnica quantitativa de análise


de dados, que avalia o grau de correlação entre variáveis. Pode ser
usada para (IDI, 2016):
a. testar se há correlação entre variáveis;
b. identificar relações entre variáveis que podem impactar o
resultado das atividades em análise;
c. identificar dados que desviam dos valores esperados;
d. fazer predições sobre valores futuros;
e. apontar situações de risco.

5.5.3. ANÁLISE DE CONTEÚDO

395. Técnica qualitativa de análise sistemática de informação


textual, organizada de forma padronizada, que permite realizar infe-
rência sobre seu conteúdo.

396. Existem vários tipos de análise de conteúdo. O mais usado


é a análise de categorias. Ela é feita por meio da classificação de tre-
chos do conteúdo analisado em diferentes categorias de análise.

112
397. A análise de conteúdo tem três etapas: pré-análise, explo-
ração do material e tratamento dos resultados. Na pré-análise, os da-
dos são organizados e os procedimentos de análise são estabelecidos.
Na segunda fase, são executadas a codificação, a quebra da informa-
ção e a enumeração. Na terceira fase, os resultados são interpretados
(BARDIN, 1970).

398. Em auditoria operacional, a análise de conteúdo pode ser


usada para analisar transcrições de entrevistas, de grupos focais e do-
cumentos, como relatórios e descrição de política pública.

399. Recomenda-se usar software adequado em caso de existir


grande quantidade de material a ser analisado.

5.5.4. TRIANGULAÇÃO

400. Técnica qualitativa que consiste no uso de diferentes mé-


todos de pesquisa e/ou de coleta de dados para estudar a mesma
questão, com o objetivo de fortalecer as conclusões finais, podendo
assumir as formas a seguir indicadas:

a. coletar dados de diferentes fontes sobre a mesma questão;


b. empregar diferentes entrevistadores e pesquisadores de
campo para evitar vieses na coleta de dados;
c. usar múltiplos métodos de pesquisa para estudar a mesma
questão;
d. usar teorias diferentes para interpretar os dados coletados.

5.5.5. CRUZAMENTO ELETRÔNICO DE DADOS

401. A técnica é desenvolvida por meio da comparação auto-


mática de registros extraídos de bases de dados distintas, obtidas de
órgãos e entidades da administração pública. Normalmente, o cruza-
mento é realizado com o auxílio de um software específico, como o
Audit Command Language (ACL) (BRASIL, 2011a).

402. Para que a técnica ser operacionalizada, os arquivos de


dados comparados precisam conter pelo menos um campo em co-
mum. A comparação de registros pode permitir a identificação de in-
consistências e irregularidades. Por exemplo, em um programa social,
a partir do cruzamento de informações de diferentes bancos de dados
113
da administração pública, pode-se identificar beneficiários que não
preenchem os requisitos de elegibilidade definidos pelo programa.

5.6 MATRIZ DE ACHADOS


403. Os achados e informações obtidas durante a execução da
auditoria, bem como as propostas de recomendações e determinações,
são registradas na matriz de achados (NAT, 98).

404. A matriz de achados é instrumento útil para subsidiar e


nortear a elaboração do relatório de auditoria, porque permite reunir,
de forma estruturada, os principais elementos que constituirão os capí-
tulos centrais do relatório. A matriz propicia compreensão homogênea
dos achados e seus elementos constitutivos pelos integrantes da equi-
pe de auditoria e demais interessados.

405. Conforme já mencionado anteriormente, deve-se começar


a preencher a matriz de achados durante os trabalhos de campo, à
medida que os achados forem sendo identificados, de preferência de
forma visual.

406. Os itens que compõem a matriz de achados são apresen-


tados no Quadro 10.
Quadro 10 - Modelo de matriz de achados

Questão de auditoria (repetir a questão da matriz de planejamento).

Achado
Benefícios
Boas práticas Encaminhamento
Situação Evidências e esperados
Critério Causas Efeitos
encontrada análises

Achados de Padrão usado Resultado da São as razões Consequências Ações Recomendações Melhorias que
maior relevância, para determinar aplicação dos da diferença relacionadas às identificadas que e determinações se esperam
identificadas na se o objeto métodos de entre a situação causas e aos comprovadamente propostas para alcançar com a
fase de execução. auditado atinge, análise de dados encontrada e o correspondentes levam a bom tratar as causas implementação
Condição. excede ou e seu emprego critério. Podem achados. desempenho. das deficiências das
está aquém do na produção de ser relacionadas à Pode ser uma Essas ações de desempenho recomendações e
desempenho evidências. De operacionalização medida da rele- poderão subsidiar identificadas ou, determinações.
esperado. forma sucinta, ou à concepção vância do achado. a proposta de se não for possível Os benefícios
devem ser do objeto da recomendações e identificá-las, mitigar podem ser quan-
indicadas as auditoria, ou à determinações. seus efeitos. titativos e qualita-
técnicas usadas fatores fora da tivos. Sempre que
para tratar as competência ou possível, quantifi-
informações da influência do cá-los.
coletadas durante gestor.
a execução e
os resultados
obtidos.

Fonte: elaboração própria.


114
Situação encontrada
407. A situação encontrada é a condição identificada e docu-
mentada durante a fase de execução da auditoria (BRASIL, 2017b).
Traduz o grau de alcance dos critérios de auditoria.

408. Durante a execução da auditoria, as situações encontradas


são comparadas com os critérios, previamente selecionados e identi-
ficados pela equipe para derivação dos achados, devidamente respal-
dados pelas evidências.

Critério

409. O critério de auditoria representa a referência utilizada


para avaliar o objeto auditado e a condição encontrada (seção 4.7).
Indica o estado requerido ou desejado do objeto em relação às dimen-
sões de desempenho avaliadas. Normalmente, envolvem a legislação,
regulamentos jurisprudência e entendimento doutrinário (NAT, 103).
Em auditorias operacionais, a escolha do critério é mais flexível do que
115
nos outros tipos de auditoria, podendo envolver referenciais aceitos
para o objeto sob análise, como padrões, boas práticas e valores pro-
fissionais. A coluna deverá informar, brevemente, em que aspectos o
critério de auditoria não foi contemplado.

Evidências e análises

410. As análises desenvolvidas e as evidências obtidas durante


a etapa de execução do trabalho que sustentam a situação encontrada
devem ser informadas na coluna. São essas informações que esclare-
cem como a equipe de auditoria chegou à situação encontrada.

Causas

411. Além de caracterizar a situação encontrada, a equipe deve


identificar as causas do desempenho observado.

412. A identificação das causas requer evidências e análises robus-


tas, que também devem ser informadas nesta coluna. A causa (ou causas)
do achado de auditoria é (são) a base para as propostas de deliberações.
Deve-se considerar, ainda, a possibilidade de as causas identificadas esta-
rem fora da competência do auditado. Como as deliberações devem ser
direcionadas a quem tem de fato meios para resolver o problema identi-
ficado, pode ser que o destinatário das deliberações não seja o gestor de
uma das organizações diretamente envolvidas na auditoria. Nesse caso, é
importante estabelecer comunicação com o destinatário das deliberações
e colher seus comentários sobre o relatório preliminar de auditoria.
Efeitos
413. Sempre que possível, deve-se mensurar o efeito associado
ao achado de auditoria. Por exemplo, no caso de processos antieconômi-
cos, aquisições mal planejadas ou equipamentos improdutivos, os efeitos
podem ser estimados em valores monetários, e o relatório deve registrar
o grau de precisão da estimativa ou a descrição do método usado. Já os
efeitos decorrentes de procedimentos ineficientes, recursos ociosos ou ge-
renciamento deficiente podem ser dimensionados em termos de descum-
primento de prazos e de desperdício de recursos físicos. Os efeitos qua-
litativos também devem ser mencionados, como decisões inadequadas
ou má qualidade do bem ou serviço oferecido. A coluna também deverá
apresentar os dados e as análises que sustentam os efeitos apontados.

Boas práticas

414. Boas práticas são soluções encontradas para atingir ou ul-


trapassar a meta estabelecida (seção 5.2). Em geral, são soluções locais
que comprovadamente funcionaram bem e levam a resultados positivos.
116
Encaminhamento

415. As propostas que visem à melhoria do desempenho adminis-


trativo ou operacional são um dos aspectos mais importantes das auditorias
operacionais. Conquanto os aperfeiçoamentos requeridos, e não os meios
para alcançá-los, constituam o objetivo das deliberações, convém indicar
os aspectos que devem ser examinados pelo gestor na busca de soluções.

416. Para facilitar a proposição das recomendações e determi-


nações, é importante rever as colunas “Causas” e “Efeitos” da matriz de
achados. As recomendações e determinações devem buscar soluções
que eliminem causas, mitiguem efeitos e incorporem boas práticas, de
forma coerente com o conteúdo das colunas correspondentes da matriz
de achados. Ao formular proposta de deliberação, a equipe deve consi-
derar o custo da implementação e a economia de recursos ou os ganhos
decorrentes, pois o custo não deve superar os benefícios esperados.

417. É importante destacar os aspectos mais relevantes e evitar


quantidade excessiva de deliberações, que pode desviar o foco do ges-
tor da implementação de providências que corrijam as principais defici-
ências do objeto auditado. Também poderá dificultar o monitoramento
das deliberações e levar a custo-benefício inadequado. Nesse sentido, a
equipe deverá propor deliberações em consonância com os regulamen-
tos do Tribunal sobre o tema (BRASIL, 2020c). O capítulo 7 deste manual
abordará o monitoramento das deliberações em auditoria operacional.
Benefícios esperados
418. Os benefícios potenciais esperados em decorrência da im-
plementação das medidas propostas pela equipe de auditoria devem ser
informados na última coluna da matriz de achados (NAT, 154). São esses
que, em última análise, justificam a realização das auditorias operacionais.

419. Os benefícios devem ser estimados junto aos gestores,


ainda durante a auditoria. Podem ser benefícios financeiros, como re-
dução de despesas, aumento de receitas, eliminação de desperdícios.
Também é possível estimar benefícios não financeiros, tais como: me-
lhorias organizacionais, aperfeiçoamento de controles internos, melho-
ria de condições sociais, aperfeiçoamento de leis e regulamentos. No
caso de estimativas, a equipe deve registrar seu grau de precisão.

420. Sempre que possível, esses benefícios devem ser mensu-


rados. As dificuldades para quantificar os benefícios potenciais variam
segundo o tipo de benefício. Entretanto, em muitos casos, os benefícios
financeiros podem ser estimados com razoável segurança. A coluna
117
também deverá apresentar os dados e as análises que sustentam os
benefícios apontados.

5.6.1. VALIDAÇÃO DA MATRIZ DE ACHADOS

421. Após a elaboração da matriz de achados, sua validação é


feita por meio da realização do segundo painel de referência, seme-
lhante ao painel realizado para discutir a matriz de planejamento.

422. O objetivo principal deste painel é verificar a coerência da


matriz apresentada. Nessa ocasião, os participantes são convidados a
discutir com a equipe as principais conclusões da auditoria, a sufici-
ência e qualidade das evidências coletadas, a adequação das análises
realizadas e a pertinência das propostas de encaminhamento.

423. Após o painel, a matriz de achados deverá ser validada


com os gestores na reunião de encerramento com os responsáveis
(NAT, 86), a exemplo do procedimento adotado na validação da matriz
de planejamento.

424. Informações mais detalhadas sobre painel de referência


podem ser encontradas no documento técnico do TCU Painel de refe-
rência em auditorias (BRASIL, 2013a).
6 RELATÓRIO E DIVULGAÇÃO

Requisitos

O auditor deve fornecer relatórios de auditoria que sejam a) completos, b) con-


vincentes, c) tempestivos, d) de fácil leitura, e e) equilibrados (ISSAI 3000/116).

O auditor deve identificar os critérios de auditoria e suas fontes, no relatório


de auditoria (ISSAI 3000/122).

O auditor deve garantir que os achados de auditoria concluam claramente


sobre o(s) objetivo(s) e/ou as questões de auditoria, ou explicar por que isso
não foi possível (ISSAI 3000/124).
118
O auditor deve fornecer recomendações construtivas que sejam capazes de
contribuir significativamente para sanar as deficiências ou problemas identifi-
cados pela auditoria, sempre que relevante e permitido pelo mandato da EFS
(ISSAI 3000/126).

425. O relatório é o instrumento formal e técnico por intermédio


do qual a equipe comunica o objetivo e as questões de auditoria, o
escopo e suas limitações, o método usado, os achados de auditoria, as
conclusões e a proposta de encaminhamento (NAT, 124).

426. O relatório é o principal produto da auditoria, por meio do


qual o governo, o Congresso Nacional e a sociedade vão avaliar o desem-
penho do objeto auditado. A comunicação dos resultados da auditoria
deve reportar à sociedade sobre o desempenho da administração pública,
contribuindo para a responsabilização dos agentes públicos pelos resulta-
dos da ação de governo, mediante controle parlamentar e controle social.
Apesar disso, é possível elaborar outros instrumentos de divulgação da
auditoria, conforme o público que se deseja alcançar (seção 6.5).

427. O objetivo deste capítulo é estabelecer padrões e apresen-


tar diretrizes para elaboração de relatórios de auditoria operacional,
que favoreçam a racionalização do processo. Além disso, pode-se usar,
no que couber, o disposto nas Orientações para elaboração de docu-
mentos técnicos (TCU, 2010e).
428. A demonstração da qualidade do trabalho depende da
forma como as questões de auditoria são tratadas nos relatórios. Im-
porta que as informações sejam organizadas e dispostas com rigor téc-
nico, com apropriado grau de detalhamento e que os principais pontos
sejam destacados. O trabalho de organizar as informações, mantendo
o sentido e a coesão, e de buscar a melhor forma de relatar e ilustrar
pode ser muito facilitado se a auditoria for desenvolvida, desde o início,
usando os princípios do pensamento visual, conforme sugerido neste
manual. O desenvolvimento do texto deve guardar coerência com a se-
quência lógica dos argumentos, formando um todo coeso, convincente,
claro e visualmente atrativo. Portanto, ser capaz de escrever relatórios
de qualidade é competência essencial dos profissionais que realizam
auditorias operacionais.

429. A Figura 8 mostra a lógica conceitual que deve orientar a


elaboração dos relatórios de auditoria operacional.

Figura 8 - Lógica conceitual do relatório de auditoria operacional


119

Objetivo Questão Critério Evidências Achado Conclusão Encaminhamento

Achados devem A conclusão


relacionar-se às deve responder Aborda
questões de claramente ao
auditoria objetivo da
auditoria
Causas do mau
desempenho

Fonte: Adaptado do Manual de Auditoria Operacional da IDI (IDI, 2017).


6.1 ORIENTAÇÕES GERAIS PARA
ELABORAÇÃO DO RELATÓRIO

430. A elaboração do relatório de auditoria deve seguir as se-


guintes orientações gerais:

a. ser conduzida como processo contínuo;


b. considerar a perspectiva do leitor;
c. basear-se na matriz de achados.

431. A elaboração do relatório deve ser vista como um processo


contínuo de formulação, teste e revisão de ideias sobre o objeto da
auditoria. A equipe de auditoria deve começar a escrever o relatório já
no início da etapa de planejamento, quando deve ser elaborada a visão
geral preliminar do objeto (NAT, 89). A estrutura, a visão geral e algu-
mas informações preliminares já podem ser incluídas no arquivo que
dará origem ao relatório. À medida que o trabalho progride, o relatório
120
preliminar de auditoria toma forma.

432. Ao longo da auditoria, a análise de dados e informações


envolve ponderar argumentos e afirmações, consultar especialistas, fa-
zer comparações e análises. Notas e observações são organizadas de
forma estruturada (na matriz de achados) e, à medida que discussões
internas e externas progridem, o texto é rascunhado, avaliado e rees-
crito, detalhes são conferidos e conclusões discutidas. Como trabalho
coletivo, devem ser estabelecidos prazos para a entrega de trechos
intermediários pelos responsáveis pela redação do relatório.

433. Ao longo de todas as fases da auditoria, a ênfase deve es-


tar na produção do relatório final. Por um lado, de nada adianta realizar
um excelente trabalho de planejamento e execução das auditorias, se
o relatório não for capaz de comunicar sua mensagem de forma efe-
tiva. Por outro, não é possível elaborar um relatório de qualidade se o
plano de auditoria não for consistente ou se as evidências coletadas
não forem robustas. Questões como o benefício potencial da auditoria,
possíveis recomendações e determinações, bem como a argumentação
convincente sobre as conclusões devem ser consideradas ao longo de
todas as etapas da auditoria.

434. Para que os relatórios sejam úteis e acessíveis é impor-


tante que levem em consideração a perspectiva dos leitores. Inicial-
mente, os relatórios de auditoria operacional terão tramitação interna,
direcionados, principalmente, ao relator da matéria. Além disso, visam
comunicar informações sobre desempenho a formuladores de políti-
cas, gestores, outros órgãos de controle e de avaliação. Documentos
complementares ao relatório, como sumários executivos, notas para a
imprensa e apresentação de slides, têm público mais amplo e obede-
cem a orientações específicas.

435. Tendo em vista a grande quantidade de informações ob-


tidas durante a auditoria, é importante que, antes de iniciar a redação
dos capítulos principais do relatório, a equipe destine tempo para pla-
nejá-lo. Esse momento demandará que a equipe tome decisões sobre
quais são os pontos de maior relevância do trabalho, considerando os
objetivos da auditoria e o valor que possam agregar à resolução do
problema auditado.

436. O instrumento usado pelo TCU para organização dos prin-


cipais elementos do relatório é a matriz de achados (seção 5.6). A ma-
triz é base para discussão sobre a estrutura do texto entre os integran-
tes da equipe de auditoria, bem como para discussão com o supervisor
121
do trabalho e para apresentação em painel de referência.

437. O fato de que a redação do relatório normalmente é com-


partilhada pelos integrantes da equipe de auditoria reforça a necessida-
de de se dispor de instrumento que apoie a elaboração do relatório. É
natural que cada integrante da equipe tenha um estilo próprio de redigir.
Por isso, torna-se necessário que todos discutam previamente a estru-
tura e a forma de apresentação das informações e que seja feita revisão
por uma pessoa com vistas a uniformizar forma e estilo.

438. O uso de imagens em qualquer parte do relatório merece


esclarecimentos. É importante verificar se as imagens são adequadas
para divulgação pública. Por exemplo, a imagem não pode revelar se-
gredo de negócio, retratar local de acesso restrito, focar a fisionomia
de pessoas, permitindo sua identificação. As imagens devem ser de
propriedade do TCU ou de livre distribuição, de preferência produzi-
das pela equipe durante a auditoria. Em razão da necessidade de res-
peito ao direito autoral, não devem ser usadas imagens copiadas da
Internet, salvo aquelas retiradas de bancos de imagem públicos, com
expressa autorização de uso irrestrito. Em qualquer caso, é necessária
a indicação da fonte.

439. A aderência às orientações e aos padrões de elaboração,


bem como a construção de entendimentos comuns por meio de dis-
cussões durante a auditoria, diminui a possibilidade de os textos pro-
duzidos ficarem muito díspares. É desejável que a equipe se mantenha
mobilizada até que tenha sido finalizada a redação do relatório prelimi-
nar, realizando nesse período a revisão cruzada dos textos elaborados.
Esses cuidados tornarão mais eficiente o trabalho final do coordenador
da equipe, a quem cabe conferir ao trabalho unidade de forma e estilo.

6.2 REQUISITOS DO RELATÓRIO


440. A ISSAI 3000/116 estabelece que os relatórios de audito-
ria operacional devem ser completos, convincentes, tempestivos, de
fácil leitura e equilibrados. No TCU, devem-se observar os requisitos
de completude, clareza, concisão, convicção, exatidão, relevância, tem-
pestividade e objetividade (NAT, 129). O significado de cada um desses
requisitos é apresentado a seguir.

441. Completude – Para ser completo, o relatório de audito-


ria operacional deve incluir todas as informações e argumentos ne-
cessários para abordar os objetivos e as questões de auditoria, e ser
122
suficientemente detalhado para oferecer uma compreensão do obje-
to, dos achados e das conclusões da auditoria. (ISSAI 3000/117; NAT,
129-IV). É muito importante que o relatório contenha evidências sufi-
cientes e apropriadas para embasar os achados e as conclusões (GUID
3920/114). As relações entre objetivos, critérios, achados e conclusões
precisam ser verificáveis, bem como expressas de forma clara e com-
pleta. A seção 6.4 deste manual apresenta o conteúdo mínimo do rela-
tório de auditoria operacional.

442. Clareza – Ter clareza significa produzir texto que seja de


fácil compreensão para o leitor informado. É mais provável que um
relatório de auditoria aumente seu impacto se for de fácil leitura (GUID
3920/119; NAT, 129-I). Devem ser incluídas todas as informações e ar-
gumentos necessários para abordar os objetivos e questões de audito-
ria, de forma suficientemente detalhada para oferecer uma compreen-
são do objeto, dos achados e das conclusões (ISSAI 3000/117).

443. Deve-se também apresentar os dados de diversas manei-


ras, incluindo gráficos, diagramas, mapas, fotografias, caixas de texto.
Orientações sobre apresentação de dados são encontradas no docu-
mento Técnicas de Apresentação de Dados (BRASIL, 2010a).

444. Concisão – Ser conciso significa produzir texto que não


seja mais extenso do que o necessário para transmitir a mensagem e
fundamentar as conclusões. Por concisão, deve-se dar preferência a
citações indiretas no lugar de longas transcrições de textos originais,
resumindo-se as informações que se deseja transmitir. A análise de
temas muito complexos pode requerer relatórios mais longos, mas re-
latórios completos e ao mesmo tempo concisos são mais úteis ao leitor
e têm maior probabilidade de serem lidos. O padrão é que o relatório
de auditoria deve se limitar a trinta páginas, da introdução à proposta
de encaminhamento, exceto quando estiverem presentes achados de
alta complexidade ou em grande número (NAT, 129-III).

445. Convicção – Para ser convincente, o relatório de auditoria


operacional deve ser logicamente estruturado e apresentar clara rela-
ção entre objetivos, questões, critérios, achados, conclusões, recomen-
dações e determinações de auditoria. Os achados devem ser apresen-
tados de maneira persuasiva articulando-se as conclusões e propostas
de forma que elas decorram logicamente ou analiticamente dos fatos e
argumentos apresentados (ISSAI 3000/118 e GUID 3920/115).

446. Ser convincente também significa expor os achados e as


conclusões com firmeza, evitando expressões que transmitam inseguran-
123
ça e dúvida para o leitor (NAT, 129-II). A informação apresentada deve
convencer os leitores sobre a validade dos achados, a razoabilidade das
conclusões e os benefícios decorrentes da implementação das propostas.

447. O relatório deve ser convincente de modo que as delibe-


rações do Tribunal ganhem apoio dos atores capazes de influenciar na
gestão do objeto auditado, sejam implementadas e gerem melhorias
de desempenho em benefício da sociedade.

448. Exatidão – Exatidão exige que evidências, achados e con-


clusões sejam corretamente apresentados. A exatidão assegura que
o relatado é crível e confiável (ISSAI 3000/118; NAT, 129-V). Também
deve ser baseado em fatos e conter, de maneira clara, as fontes, mé-
todos e pressupostos (GUID 3920/115). Uma imprecisão no relatório
pode lançar dúvida sobre a validade de todo o trabalho e desviar a
atenção de pontos importantes. Exatidão também significa que sejam
descritos corretamente o escopo e a metodologia, bem como apresen-
tados os achados e as conclusões de forma consistente com o escopo
da auditoria. Além disso, o relatório deve informar sobre a qualidade
dos dados e o grau de precisão das estimativas, de modo que fiquem
claras as limitações encontradas e as inconsistências observadas.

449. Relevância – expor apenas o que tem importância, consi-


derando os objetivos da auditoria, e que possa agregar valor. Devem-
-se evitar longos trechos descritivos que não acrescentam informação
necessária à fundamentação dos argumentos. Os relatos não precisam
incluir todas as situações encontradas, cujo registro fica preservado nos
papéis de trabalho (NAT, 129-VI).

450. Tempestividade – Para agregar valor, o relatório deve for-


necer informações relevantes e a tempo de responder às necessidades
dos usuários previstos (GUID 3920/117; NAT 129-VII). O relatório de
auditoria deve ser emitido no prazo previsto, sem comprometer a qua-
lidade, e conter informação atualizada para que possa subsidiar órgãos
auditados, Poder Legislativo, formuladores de políticas e demais atores
interessados, no aperfeiçoamento de suas atividades.

451. Objetividade – Significa que o relatório deve ser imparcial,


equilibrado e neutro, em termos de conteúdo e tom. As auditorias de-
vem dar uma visão equilibrada do tema, apresentando não apenas
deficiências, mas também, quando for o caso, achados com resultados
positivos e boas práticas. Os achados devem ser formulados de modo
construtivo e equilibrado (TCE, 2017). O auditor deve estar atento ao
risco de exagero e ênfase excessiva no desempenho deficiente (ISSAI
124
3000/121; NAT, 129-VIII).

452. Durante a condução da auditoria, há alguns aspectos da


objetividade que podem se refletir no relatório. Por exemplo: a es-
tratégia metodológica definida para a auditoria deve assegurar que
a seleção dos fatos investigados e apresentados no relatório não seja
enviesada; os fatos devem ser registrados de acordo com a sua re-
levância para o escopo da auditoria. Fatos relevantes não devem ser
excluídos, nem pequenas falhas devem ser exageradas; a apresentação
de fragilidades e achados críticos deve ocorrer de modo que induza a
correção, bem como aperfeiçoe sistemas e diretrizes internas. Explica-
ções, principalmente do auditado, devem ser buscadas e analisadas
criticamente (GUID 3920/124).

6.3 ESTILO DE REDAÇÃO


453. A equipe deve adotar algumas características de redação
para garantir que o relatório seja elaborado de acordo com os requisi-
tos aplicáveis (Quadro 11).
Quadro 11 - Características de redação para
elaboração do relatório de auditoria

ȋȋ Apresente evidências e articule argumentos de forma lógica.


ȋȋ Crie coesão textual por meio do sequenciamento lógico das ideias e do
uso de conectivos adequados.
ȋȋ Apresente fatos de forma precisa.
ȋȋ Distinga fatos de opiniões.
ȋȋ Use linguagem isenta de qualquer conotação tendenciosa ou ambígua.
ȋȋ Prefira usar a ordem direta (sujeito, verbo, objeto e complementos),
evitando orações intercaladas, parêntesis e travessões.
ȋȋ Use linguagem impessoal.
ȋȋ Complemente o texto com figuras, fotografias, gráficos, diagramas,
mapas, caixas de texto e tabelas.
ȋȋ Apresente exemplos.
ȋȋ Use frases curtas. 125
ȋȋ Defina termos técnicos.
ȋȋ Evite o uso de sinônimos para designar as mesmas coisas. Diferentemente
de um texto literário, no relatório devem-se usar os mesmos termos do
início ao fim.
ȋȋ Evite abreviaturas e jargões.
ȋȋ Defina o significado das siglas na lista correspondente e use o nome
por extenso na primeira vez em que aparecerem no texto.
ȋȋ Evite termos eruditos e expressões em outros idiomas que tenham
equivalente em português.
ȋȋ Observe o paralelismo, em especial ao relacionar elementos em itens.

Fonte: elaboração própria.

454. Na redação dos relatórios, devem ser evitadas orações in-


tercaladas, parênteses e travessões, bem como períodos longos que
se estendem por diversas linhas. Esse cuidado facilita a compreensão
e torna a leitura mais acessível e agradável. Do mesmo modo, não
é recomendável construir longos trechos descritivos que não acres-
centem informação útil à fundamentação dos argumentos. Os relatos
não precisam incluir todas as situações encontradas, cujo registro fica
preservado nos papéis de trabalho. Deve-se dar maior importância aos
pontos centrais da argumentação. A observância dessas recomenda-
ções é fundamental para que o relatório não fique muito longo.
455. Quando se fizer referência a outra parte do mesmo docu-
mento, deve-se mencionar o número do parágrafo, figura ou tabela. A
citação da página ou o uso de expressões como “a seguir” ou “anterior”
para referir-se a tabelas e figuras pode ensejar confusão para o leitor,
bem como prejudicar o trabalho posterior de editoração do texto para
eventual publicação, logo não devem ser empregados.

6.4 COMPONENTES DO RELATÓRIO


456. O relatório de auditoria divide-se em elementos pré-tex-
tuais, texto e elementos pós-textuais. Os elementos pré-textuais são:
capa, folha de rosto, resumo e sumário. O texto compõe-se de: intro-
dução; visão geral; capítulos principais; conclusão e proposta de enca-
minhamento. Os elementos pós-textuais são: apêndices; anexos; refe-
rências e glossário (ABNT, 2011).

457. O texto deve ser dividido em capítulos, e estes, em subtí-


126
tulos. Os parágrafos do texto devem ser numerados sequencialmente,
a partir da introdução, sem desdobramento por número de capítulo.
A numeração dos subtítulos é constituída pelo número do capítulo a
que pertence, seguido de ponto e do número que lhe foi atribuído na
sequência do assunto (ABNT, 2003).

458. O Quadro 12 apresenta a estrutura do relatório de audito-


ria operacional adotado pelo TCU. Os itens descritos no quadro não de-
vem constituir subtítulos dos capítulos principais, pois apenas indicam
o conteúdo que deve ser incluído nos capítulos.

Quadro 12 - Estrutura do relatório de auditoria operacional

Elementos pré-textuais

ȋȋ Capa, folha de rosto, resumo e sumário


Introdução
ȋȋ Identificação simplificada do objeto de auditoria
ȋȋ Antecedentes da auditoria
ȋȋ Objetivos e escopo da auditoria
ȋȋ Critérios e suas fontes
ȋȋ Métodos usados para coleta e análise de dados
Visão geral

ȋȋ Objetivos do objeto auditado


ȋȋ Histórico
ȋȋ Responsáveis
ȋȋ Principais produtos
ȋȋ Beneficiários
ȋȋ Aspectos orçamentários
ȋȋ Metas e indicadores de desempenho
ȋȋ Sistemas de controle
Primeiro capítulo principal
ȋȋ Objetivo do capítulo
ȋȋ Contextualização específica para o capítulo
ȋȋ Descrição do conteúdo do capítulo
Subtítulo (normalmente, cada achado corresponde a um subtítulo)
ȋȋ Parágrafo inicial de impacto, com descrição concisa da situação encontrada
ȋȋ Parágrafos seguintes incluindo, de forma narrativa, os seguintes com-
127
ponentes: situação encontrada, critérios, evidências e sua análise, cau-
sas, efeitos e riscos decorrentes da manutenção da situação encontra-
da, boas práticas, propostas sobre o subtítulo, benefícios esperados
ȋȋ (...)
ȋȋ Conclusão do capítulo ao seu final
Segundo capítulo principal
ȋȋ (...)
ȋȋ Conclusão do capítulo
Conclusão

Proposta de encaminhamento

Elementos pós-textuais
ȋȋ Referências, glossário, apêndices, anexo, lista de ilustrações, lista de
tabelas, lista de siglas.

Observação: Não crie subtítulos para indicar o conteúdo dos parágrafos.


Fonte: elaboração própria.

6.4.1. ELEMENTOS PRÉ-TEXTUAIS

459. A capa, a folha de rosto, o resumo e o sumário são elemen-


tos pré-textuais obrigatórios. Esses elementos devem ser apresentados
no relatório na sequência que se segue.
Capa
460. A capa é um elemento externo que contém elementos in-
dispensáveis à identificação do relatório, além de ser importante para
a definição de uma identidade gráfica institucional. Esse elemento deve
ser padronizado, mas o padrão pode variar após um certo período, me-
dido em anos, para que sejam introduzidos aperfeiçoamentos visando
a modernização, o aumento da atratividade ou o aperfeiçoamento na
transmissão da informação.

461. Sendo assim, este manual limita-se a estabelecer elementos


básicos, remetendo a definição do padrão a ser seguido ao modelo ele-
trônico disponível na biblioteca digital do TCU. A capa deve apresentar o
logotipo do TCU de modo destacado, o tipo da auditoria (operacional), o
nome do órgão ou programa objeto de análise, local, mês e ano.

462. A capa deve ser ilustrada com fotos ou elementos gráficos.


No caso de foto, deve-se preferir a utilização das tiradas pela equipe
durante a auditoria por transmitirem uma imagem mais fiel da realidade,
128
além de evitar problemas quanto a direitos de utilização de imagens.

Folha de rosto

463. A folha de rosto, cujo modelo está disponível na bibliote-


ca digital do TCU, deverá conter os elementos necessários para identi-
ficação do relatório, ou seja:

a. Número dos autos do processo;


b. Nome do relator;
c. Nome da unidade técnica responsável;
d. Nome, cargo e CPF dos responsáveis;
e. Vinculação ministerial
f. Vinculação no TCU;
g. Ato de designação da equipe;
h. Número de registro no Fiscalis;
i. Objetivo da auditoria;
j. Período abrangido pela auditoria;
k. Período de realização da auditoria;
l. Identificação dos membros da equipe de auditoria e do
supervisor.
Resumo

464. O resumo é a apresentação concisa dos pontos relevantes


do relatório. Sua finalidade é dar ao leitor uma visão geral e sintética
dos assuntos tratados, de modo que o leitor possa obter um quadro
geral compreensível dos principais achados e propostas de deliberação.
Deve fornecer elementos capazes de permitir ao leitor, interno e externo,
decidir sobre a conveniência e a necessidade de se consultar o relatório
e ao mesmo tempo o prepara para a leitura completa.

465. Portanto, o resumo deve conter descrição concisa dos ele-


mentos-chave do relatório, descartando-se ideias secundárias, porme-
nores, exemplos e notas explicativas. O resumo serve de base à elabo-
ração de documentos de divulgação, após apreciação da matéria pelo
Tribunal, em especial a ficha síntese (BRASIL, 2017d).

466. O resumo é composto pelas seguintes seções e segue a


mesma estrutura da ficha síntese (parágrafo 532).

O que o TCU fiscalizou?

467. Nessa seção, apresente o objetivo da auditoria de modo


conciso. Em seguida, explique a motivação para a realização da auditoria.
129
A motivação pode se referir a problemas de desempenho identificados,
a relevância do objeto em termos de recursos despendidos ou de con-
tribuição para a solução de problemas sociais, associados ou não a uma
requisição do Congresso Nacional para se realizar a auditoria ou a uma
determinação legal. Apresente apenas a informação suficiente sobre o
contexto e as organizações envolvidas com o objeto auditado para que
o leitor entenda os achados e deliberações. Apresente o período que
foi examinado, onde e quando a auditoria foi realizada. Encerre a seção
resumindo a metodologia usada para chegar aos achados.

O que o TCU encontrou?

468. Sintetize os principais achados de modo que fique evi-


dente o alcance dos objetivos da auditoria e as respostas às questões
de auditoria, acrescentando apenas a informação de apoio necessá-
ria para que as respostas sejam convincentes. Encerre a seção com a
síntese dos comentários mais significativos dos gestores ou fatos que
sejam importantes para que o resumo seja equilibrado.

Qual é a proposta de encaminhamento?

469. Resuma as principais deliberações propostas, garantindo


demonstrar que elas decorrem logicamente dos achados e conclusões
contidos na seção anterior. Complemente apresentando os benefícios
esperados, caso as deliberações sejam implementadas.
Quais os próximos passos?
470. Descreva as providências que serão adotadas para moni-
torar a implementação das deliberações a exemplo da realização de
novas ações de controle e a entrega do relatório a comissões do Con-
gresso Nacional para subsidiar medidas legislativas.

471. A extensão de cada seção do resumo depende do tratamento


que cada um recebeu na auditoria. Por exemplo, uma técnica nova deve
ser ressaltada na metodologia em “O que o TCU encontrou?”. A expectativa
de obtenção de economia significativa ou de melhoria relevante na qua-
lidade dos serviços, em decorrência da implementação das deliberações,
pode ser destacada na seção “Qual é a proposta de encaminhamento?”.

472. No total, o resumo não deve ultrapassar duas páginas, já


incluindo ilustrações (gráficos, fotos, diagramas, tabelas), se for o caso
e se o espaço permitir. Para ser sintético e significativo, o resumo não
pode ser constituído de recortes do texto do relatório, mas transmitir as
principais informações e mensagens. Para elaborar o resumo, deve ser
130
feita, inicialmente, a leitura completa do relatório, a fim de se obter a
compreensão global do texto. Em seguida, deve-se identificar as partes
do relatório que serão abordadas no resumo. É importante verificar a
progressão temática e lógica, desenvolver a redação em períodos coe-
rentes e usar o TCU como o sujeito da realização da auditoria.

473. A equipe poderá encontrar o modelo a ser aplicado aos


resumos em orientação na biblioteca digital do TCU.

Sumário

474. O sumário é elemento obrigatório e consiste na enumera-


ção das divisões, seções e outras partes do relatório, na mesma ordem
e grafia em que a matéria nele se sucede (ABNT, 2012). Os elementos
pré-textuais não devem constar no sumário.

475. As listas de ilustrações, de tabelas e o sumário devem ser


automatizados para evitar erros e ganhar eficiência na elaboração do
relatório. Por exemplo, no caso da lista de ilustrações, quando se utili-
zar o aplicativo Microsoft Word, selecionado o título da ilustração, de-
ve-se acionar na aba “Referências”, a opção “Inserir Legenda”, usando
“Figura” como rótulo. Feito isso, é possível criar a lista com a opção
“Inserir índice de ilustrações” na mesma aba “Referências”.
6.4.2. INTRODUÇÃO

476. A introdução é a parte inicial do texto e deve conter os


elementos necessários para situar o tema da auditoria. Compõe-se dos
seguintes elementos:

a. identificação simplificada do objeto de auditoria. Detalhes


devem ser apresentados no capítulo da visão geral;
b. antecedentes, que contemplam as razões que originaram
a auditoria, a decisão que a autorizou e a existência de
fiscalizações anteriores no mesmo objeto;
c. objetivos e escopo da auditoria, nos quais devem ser
claramente enunciados os objetivos gerais e específicos e as
limitações do trabalho;
d. critérios usados para concluir sobre o desempenho do
objeto auditado e suas fontes (ISSAI 3000/122). Critérios
específicos e maiores detalhes devem ser descritos no
capítulo correspondente;
131
e. métodos usados para o entendimento do objeto de auditoria, e
na coleta e na análise dos dados, de forma resumida (NAT, 134).
Os detalhes metodológicos devem ser registrados em apêndice;
f. declaração de conformidade com normas aplicáveis e de
ausência de restrições significativas;
g. organização do relatório.

477. Os relatórios de auditoria operacional devem incluir decla-


ração dos auditores de que os trabalhos foram realizados em confor-
midade com as NAT e com este manual, desde que todos os requisitos
neles previstos tenham sido observados (NAT, 130), na forma abaixo.
Igualmente, o relatório deve incluir declaração de que nenhuma restri-
ção significativa foi imposta aos exames (NAT, 132).

a. A auditoria foi conduzida de acordo com as Normas de


Auditoria do Tribunal de Contas da União (NAT) e com
o Manual de Auditoria Operacional do Tribunal, que
está alinhado às Normas Internacionais das Entidades
Fiscalizadoras Superiores (ISSAI), emitidas pela Organização
Internacional de Entidades Fiscalizadoras Superiores (Intosai).
Nenhuma restrição significativa foi imposta aos exames.

478. Quando não cumprirem todos os requisitos ou cumpri-los


com restrições ou adaptações, como nas situações em que não tiverem
ocorrido condições necessárias para conduzir a auditoria planejada, a
exemplo de restrições de acesso a informações, os auditores devem
declarar os requisitos que não foram cumpridos integralmente, as ra-
zões para tal e como isso afetou ou pode ter afetado o alcance dos ob-
jetivos e as conclusões da auditoria. Deve ser incluída também a ocor-
rência de limitações significativas ao trabalho realizado (NAT, 131-132).

479. Para tornar mais clara a lógica do relato, deverá ser acrescen-
tado um parágrafo ao final da introdução que descreva a forma de organi-
zação do relatório. Esse parágrafo deve fazer a descrição breve dos temas
tratados nos capítulos principais, ressaltando a ligação lógica entre eles.

6.4.3. VISÃO GERAL

480. Na visão geral, descrevem-se as características do objeto de


auditoria que são necessárias para a compreensão do relatório, fazendo-
-se as correlações com os objetivos da auditoria, quando for o caso (NAT,
132
136-137). A visão geral preliminar elaborada na fase de planejamento
deve ser revisada após a fase de execução para que seja incorporada
ao relatório de auditoria (NAT, 91). Os textos analíticos resultantes da
aplicação das técnicas de diagnóstico são fonte de informação impor-
tante para a redação deste capítulo. Alguns dos elementos da visão ge-
ral podem ser: objetivos, responsáveis, histórico, beneficiários, principais
produtos, relevância, indicadores de desempenho, metas, aspectos orça-
mentários, processo de tomada de decisão, sistemas de controle.

481. As informações que comporão a visão geral dependem


dos objetivos da auditoria. Além disso, por concisão, é possível apre-
sentar informações específicas nos capítulos principais, sem repeti-los
na visão geral. Da mesma forma, se necessário, pode-se registrar, em
apêndice, dados históricos ou outras informações de contextualização
não diretamente relacionadas com o objetivo da auditoria.

6.4.4. CAPÍTULOS PRINCIPAIS

482. Os capítulos principais do relatório devem ser estruturados


por questão de auditoria e devem ser ordenados, sempre que possível,
considerando a relevância dos achados. Os títulos dos capítulos não
devem ser a transcrição da questão de auditoria, mas a declaração do
tema de que vai tratar. A denominação dos subtítulos é a enunciação
dos respectivos achados. Antes do subtítulo correspondente ao primei-
ro achado, deve ser escrito um parágrafo introdutório ao capítulo, com
seu objetivo, a contextualização específica para o capítulo e a descrição
do conteúdo que será desenvolvido em seus subtítulos.

483. Os capítulos principais contêm o relato articulado e argu-


mentado sobre os achados de auditoria. Tais capítulos devem ser apre-
sentados em ordem decrescente de relevância, isto é, inicia-se pelo
tema que se revelou mais importante. O mesmo se aplica à apresenta-
ção dos achados dentro de cada capítulo, em subtítulos apresentados
em ordem decrescente de relevância. Portanto, nem sempre será man-
tida a ordem proposta no plano de auditoria. Outra forma de organizar
o texto é partir dos temas mais gerais para os mais específicos. Essa
pode ser a melhor maneira de apresentar assuntos complexos e inter-
ligados, cuja compreensão seja facilitada a partir da leitura de achados
que introduzam o contexto no qual os demais de inserem (NAT, 141).

484. A estrutura recomendada pretende abranger casos gerais


133
e mais frequentes. O Quadro 12 apresenta a sequência típica de apre-
sentação das informações. Não significa que cada elemento do relato
tenha que ser apresentado em apenas um parágrafo ou que todos os
elementos tenham que estar presentes. Como já foi anteriormente es-
clarecido neste manual, dependendo do tipo de questão de auditoria,
nem sempre é possível identificar causas ou formular propostas, por
exemplo. Além disso, a discussão das evidências pode ser extensa, in-
cluindo a apresentação de gráficos, tabelas e outras ilustrações.

485. Os subtítulos devem ser desenvolvidos na seguinte sequên-


cia, com as adaptações que se fizerem necessárias para os casos parti-
culares. Começa-se com o parágrafo inicial de impacto, com descrição
sucinta do achado, o que inclui mencionar critério, situação encontrada,
causa e efeito. Trata-se de exposição usando raciocínio dedutivo, quando
se apresenta primeiro o resultado e, depois, como se chegou a ele.

486. Em seguida, avança-se para descrição mais detalhada do


achado, com argumentos sobre a fonte do critério, apresentação de
evidências que sustentam as afirmações sobre a condição, descrição de
métodos e técnicas que permitiram identificar as causas. Daí, passa-se
à análise dos efeitos e riscos envolvidos com a manutenção das condi-
ções encontradas. Segue-se a descrição de boas práticas e o prenúncio
das propostas de encaminhamento e estimação de benefícios, caso
essas sejam implementadas.
487. Ponto crucial do relatório é a análise das evidências. As evi-
dências devem ser apresentadas de forma lógica, articulada e com ilus-
trações que facilitem a compreensão da situação encontrada. A seção
5.3 deste manual tem mais informações sobre evidência de auditoria.

488. Os leitores do relatório devem ter acesso às informações e


argumentos necessários para compreender o raciocínio que a equipe
de auditoria construiu para chegar às conclusões apresentadas. Sendo
assim, com o objetivo de tornar o relatório mais equilibrado e convin-
cente, deve-se incluir no subtítulo a posição dos gestores e a discussão
do melhor argumento contrário à opinião da equipe (NAT, 144).

489. Em auditoria operacional, a síntese dos comentários dos


gestores é incorporada no desenvolvimento dos achados, com a aná-
lise da equipe, para apresentar pontos de vista divergentes ou para
demonstrar a concordância dos gestores com a posição da equipe,
reforçando-a (NAT, 147). Comentários que foram suficientes para tor-
nar insubsistente algum achado, que corrigiram dados ou os comple-
134
mentaram são registrados no apêndice de comentários dos gestores
e análise da equipe, pois o relatório deve ser finalizado com os ajustes
necessários já feitos (NAT, 139).

490. Em seguida, se for o caso, a equipe deve formular resumi-


damente a proposta que constará do capítulo “proposta de encami-
nhamento”, sem, no entanto, enunciá-la, necessariamente, de forma
idêntica. A proposta pode basear-se em conclusões de mais de um
subtítulo. Para evitar sua repetição em vários trechos, a proposta pode
ser resumida na conclusão do capítulo.

491. Na sequência, a equipe deve quantificar ou, se não for pos-


sível ser exato, estimar os benefícios que poderão ser obtidos, caso as
propostas sejam implementadas. Por concisão, e caso seja conveniente, a
equipe poderá estimar os benefícios esperados ao final do capítulo ou na
conclusão do relatório, agrupando propostas que contribuam para a ob-
tenção do mesmo benefício e detalhar a memória de cálculo em apêndice
e no sistema do TCU de benefícios do controle (BRASIL, 2018c).

492. Os capítulos devem conter as conclusões referentes ao


ponto tratado. As conclusões são afirmativas que respondem à ques-
tão de auditoria a que se refere o capítulo e são relacionadas com o
objetivo geral da auditoria, deduzidas da análise das evidências, em
contraste com os critérios.
6.4.5. CONCLUSÃO

493. Esse capítulo deve trazer as respostas às questões de audi-


toria (NAT, 156-161). O auditor deve garantir que os achados de auditoria
concluam claramente sobre os objetivos e/ou as questões de auditoria,
ou explicar por que isso não foi possível (ISSAI 3000/124). As conclusões
do relatório são afirmações da equipe, deduzidas dos achados.

494. Conclusões são afirmações sintéticas e, como tal, inevita-


velmente omitem ou simplificam algumas das informações registradas
no corpo do relatório (NAO, 2008).

495. A conclusão deve destacar de forma equilibrada os pontos


fortes do objeto de auditoria, as principais oportunidades de melhoria de
desempenho e os possíveis benefícios esperados quantificando-os, sem-
pre que possível, em termos de economia de recursos ou de outra natu-
reza de melhoria. Devem ser relatadas as dificuldades enfrentadas pelos
gestores e suas iniciativas positivas, adotadas para superar as dificuldades.
135

6.4.6. PROPOSTA DE ENCAMINHAMENTO

496. As propostas de encaminhamento são propostas de delibe-


rações (recomendações, determinações ou ciência) que a equipe de au-
ditoria demonstra serem necessárias e que contribuirão para sanar de-
ficiências relevantes identificadas pela auditoria. Essas propostas devem
ser construtivas e capazes de contribuir significativamente para sanar as
deficiências ou problemas identificados pela auditoria (ISSAI 3000/126).

497. É importante garantir que as deliberações sejam exequí-


veis, agreguem valor e tenham relação com os objetivos da auditoria.
Também deve-se considerar o impacto gerado para implementá-las,
em termos dos recursos necessários (pessoal, orçamento etc.) e possí-
veis efeitos negativos advindos dessa implementação.

498. Nesse sentido, a Resolução-TCU 315, de 22 de abril de


2020, determina que se deve oportunizar aos destinatários das delibe-
rações a apresentação de comentários quanto às consequências prá-
ticas da implementação das medidas aventadas e eventuais alternati-
vas. No relatório, a equipe deve justificar a manutenção das propostas
preliminares, caso sejam apresentadas consequências negativas de sua
implementação ou soluções de melhor custo-benefício pelos gestores.
499. As propostas de deliberações devem ter correspondência
clara com os achados e suas causas (NAT, 163). A causa pode estar fora
da competência do gestor. Nesse caso, a proposta pode ser direciona-
da para outro órgão/entidade, hipótese na qual ela deve ser previa-
mente discutida com os destinatários e com a unidade técnica deten-
tora da clientela, se for o caso (BRASIL, 2020c). Propostas devem ser
formuladas focando “o quê” deve ser aperfeiçoado ou corrigido e não
o “como”, embora circunstâncias possam surgir que demandem a for-
mulação de propostas específicas, como aperfeiçoamento ou correção
de regulamentos (NAT, 165). Nos capítulos principais, a equipe pode
mencionar possíveis medidas que podem ser adotadas pelos gestores,
com base, por exemplo, em boas práticas.

500. As propostas orientarão a adoção de medidas por parte


dos gestores para solucionar os problemas identificados, o monitora-
mento da implementação das deliberações e a quantificação de seus
benefícios efetivos. Por essas razões, a equipe deve formular o número
estritamente necessário de propostas de deliberações.
136
501. Deve-se propor o monitoramento das recomendações ex-
pedidas em processos de auditoria operacional, o que é feito mediante
indicação na redação da proposta de encaminhamento, na forma esta-
belecida em regulamento (BRASIL, 2020c, parte IV, item 9).

502. Não há um número de recomendações e determinações


definido. Na elaboração das propostas de encaminhamento, a equipe
deverá analisar as deliberações de maior impacto e priorizá-las. É útil
usar a regra de Pareto, que diz que 80% das causas são resolvidas com
20% das deliberações. Além disso, as deliberações deverão ser agru-
padas por destinatário e por tema. Dessa forma, propostas que tiverem
relação entre si, mesmo que tenham sido mencionadas em subtítulos di-
ferentes, ficarão agrupadas, em razão da conexão com um mesmo tema.

503. Existem situações nas quais pode ser dispensada a for-


mulação de deliberações (Resolução-TCU 315/2020, art. 16). Em es-
pecial, na auditoria operacional, pode ser dispensável a formulação
de recomendações caso seja favorável a tendência de que se resolva
a situação encontrada, notadamente em decorrência de nova regu-
lamentação da matéria, de reestruturação administrativa da unidade,
do aperfeiçoamento dos controles internos ou de outros fatores que
evidenciem um contexto institucional superveniente capaz de inibir a
ocorrência de situação de desempenho insatisfatório ou de produzir os
aprimoramentos desejados da ação de governo. No caso de dispensa
de formulação de proposta de deliberação, a justificativa, devidamen-
te evidenciada, deve ser registrada na seção do relatório de auditoria
destinada ao tratamento dos achados, indicando o inciso do parágrafo
único do art. 16 da Resolução-TCU 315/2020 na qual se fundamenta.

504. As propostas deverão indicar entre parênteses os números


dos parágrafos nos quais os temas a que se referem são tratados no
relatório. A equipe deve adotar os cuidados necessários para garantir
que as deliberações sejam propostas de acordo com os requisitos apli-
cáveis em vigor no TCU (BRASIL, 2020c).

Quadro 13 - Cuidados a serem adotados para a proposição de deliberações

ȋȋ Direcione a proposta de deliberação às causas da situação encontrada


e, quando cabível, à mitigação de efeitos.

ȋȋ Avalie a exequibilidade da proposta de deliberação.


ȋȋ Diga o quê deve ser aperfeiçoado e não como fazê-lo.
ȋȋ Avalie os impactos causados pela implementação das deliberações (po- 137
sitivos e negativos).

ȋȋ Proponha apenas as poucas deliberações mais importantes para me-


lhorar o desempenho.

ȋȋ Foque em objetos que tenham alguma estabilidade frente a mudanças


de contexto ou redija a deliberação de maneira a prever mudanças.

ȋȋ Não agrupe várias deliberações em uma só.


ȋȋ Pense em como a deliberação será monitorada.

Fonte: Checklist de deliberações (TCU, 2019b); Ribeiro Filho et al. (2010).

6.4.7. ELEMENTOS PÓS-TEXTUAIS

505. Apenas as referências são um elemento pós-textual obri-


gatório. Glossário, apêndice, anexo, lista de ilustrações, lista de tabe-
las, lista de siglas são elementos opcionais (ABNT, 2011). Em auditoria
operacional, o apêndice metodológico merece atenção especial, como
será explicado adiante. Segundo as normas aplicáveis, as listas de ilus-
trações, tabelas e siglas devem ser dispostas após o resumo (ABNT,
2011). No entanto, este manual prescreve seu posicionamento ao final
do relatório para que os leitores tenham acesso mais imediato à parte
substantiva do texto, reservando os elementos opcionais para o final.
Sendo assim, os elementos pós-textuais devem ser apresentados no
relatório na sequência que se segue.
Referências

506. Referências são o conjunto padronizado de elementos


descritivos, retirados de um documento, que permite sua identificação
individual. No relatório, essa seção é a listagem das fontes bibliográ-
ficas utilizadas e citadas no texto. Para relatórios com citações este
elemento é obrigatório e deve ser elaborado conforme a ABNT (2018).

Glossário

507. Glossário é a relação, em ordem alfabética, de palavras ou


expressões técnicas de uso restrito ou de sentido obscuro, utilizadas
no relatório, acompanhadas das respectivas definições (ABNT, 2011). O
Glossário é elemento opcional e pode ser incluído para facilitar a leitura
quando o relatório trouxer palavras cujo significado é pouco conhecido,
de uso regional, ou desconhecido fora de determinada especialidade
técnica, ou científica.

138 Apêndice

508. Os apêndices são compostos por textos ou documentos


elaborados pela equipe de auditoria, a fim de complementar sua argu-
mentação apresentada no relatório, sem causar prejuízo à completude
e à coesão do texto principal (ABNT, 2011). São informações adicionais
produzidas pela equipe de auditoria, destacadas do texto para evitar a
descontinuidade da sua sequência lógica. São identificados pela pala-
vra “Apêndice”, seguida de letras maiúsculas consecutivas, travessão e
pelos respectivos títulos (ABNT, 2011).

509. Apesar de ser elemento opcional, cuja inclusão requer a


aplicação de julgamento profissional, em auditoria operacional, há dois
apêndices que são requeridos: o apêndice de comentários dos gestores
e análise da equipe e o apêndice metodológico. A seção 6.5 trata do
apêndice de comentários dos gestores e análise da equipe em separado
por ser objeto de requisitos específicos das ISSAI 3000 e por ser elabo-
rado em etapa posterior ao envio do relatório preliminar aos gestores.

510. Em auditoria operacional, é necessário aplicar certas técni-


cas para garantir o entendimento do objeto de auditoria na fase de
planejamento e variadas técnicas de coleta e análise de dados na fase
de execução. É importante registrar adequadamente os procedimen-
tos adotados, pois a asseguração em auditoria operacional é dada pela
equipe ao descrever explicitamente, de maneira equilibrada e funda-
mentada, como os critérios, os achados, e as conclusões foram desen-
volvidos e por que as combinações de achados e critérios resultaram
em uma determinada conclusão geral ou recomendação (ISSAI 100/32).

511. Em auditoria operacional é incentivada a aplicação de mé-


todos inovadores e a obtenção de evidências analíticas, as vezes apli-
cando-se técnicas que não são de domínio dos leitores. Dessa forma,
para evitar que a explicação da metodologia aplicada fique demasiada
extensa na introdução e nos capítulos principais do relatório, é neces-
sário elaborar o apêndice metodológico.

512. A equipe deve decidir cuidadosamente o nível de detalha-


mento sobre os métodos a ser usado no texto principal do relatório
e o que deve ser colocado em apêndice. Além da descrição dos mé-
todos aplicados, podem ser alocados em apêndices elementos como
formulários de questionários aplicados, roteiros de grupo focal, roteiros
de inspeção e de observação direta. Os demais papéis de trabalho
permanentes que constituam registros do trabalho executado, como
transcrições de entrevistas, requisições de auditoria e outros devem ser
139
organizados em um ou mais volumes e lançados no sistema de proces-
so eletrônico do Tribunal sob a forma de documentos.

513. No apêndice metodológico, devem ser mencionadas as li-


mitações impostas ao trabalho associadas à metodologia usada para
investigar as questões de auditoria; à confiabilidade ou à dificuldade na
obtenção de dados, assim como as limitações relacionadas ao próprio
escopo do trabalho, ou seja, as áreas e os aspectos não analisados.
Além dos detalhes sobre o entendimento do objeto, como as técnicas
de diagnóstico realizadas, e sobre a coleta e análise de dados, como os
critérios de seleção de estudos de caso e visitas de campo. A equipe
deve incluir a memória de cálculo dos efeitos dos achados e dos bene-
fícios estimados se implementadas as deliberações propostas.

514. Alternativamente, caso o volume de material seja significa-


tivo, a equipe pode incluir hiperlinks para esses documentos em área
apropriada do Portal do TCU. Essa possibilidade tem sido bem explorada
pelos levantamentos na área de governança realizados pelo TCU, que
chegam a divulgar até mesmo micro dados coletados, que podem ser
usados por outros auditores e avaliadores como fonte de informação.

Anexo

515. Os anexos constituem-se de informações adicionais não


produzidas pela equipe, que colaboram para esclarecer ou confirmar
as ideias expressas no relatório. São identificados pela palavra “Anexo”,
seguida por letras maiúsculas consecutivas, travessão e pelos respec-
tivos títulos (ABNT, 2011). Não devem ser incluídos no relatório como
anexo documentos publicados do objeto auditado; publicações de ou-
tras fontes; pedidos de informação ou respostas a pedidos de informa-
ção e transcrições de entrevistas.

Lista de ilustrações

516. Ilustração é a designação genérica de imagem, que ilustra


ou elucida o relatório. A lista de ilustrações compreende a relação de de-
senhos, esquemas, fluxogramas, fotografias, gráficos, mapas, organogra-
mas, plantas, quadros, retratos e outros. Deve ser elaborada de acordo
com a ordem apresentada no relatório, com cada item designado por
seu nome, acompanhado do respectivo número da página (ABNT, 2011).

517. Qualquer que seja o tipo de ilustração, sua identificação


aparece na parte superior, precedida da palavra designativa Figura, se-
guida de seu número de ordem de ocorrência no texto, em algarismos
140
arábicos, travessão e do respectivo título. Após a ilustração, na parte
inferior, deve ser indicada a fonte consultada, que é elemento obriga-
tório, mesmo que seja produção da equipe, quando se deve indicar
“elaboração própria”. A ilustração deve ser citada no texto do relatório
e inserida o mais próximo possível do trecho a que se refere.

Lista de tabelas

518. Tabela é uma forma não discursiva de apresentar informa-


ções das quais o dado numérico se destaca como informação central
(ABNT, 2011). A lista de tabelas é elaborada de acordo com a ordem
apresentada no relatório, de forma semelhante à lista de ilustrações. As
tabelas devem ser citadas no texto, inseridas o mais próximo possível
do trecho a que se referem e seguir o padrão do Instituto Brasileiro de
Geografia e Estatística (IBGE, 1993).

Lista de siglas

519. A sigla é o conjunto de letras iniciais dos vocábulos e/ou


números que representa um determinado nome, quando mencionada
pela primeira vez no texto, deve ser indicada entre parênteses, prece-
dida do nome completo. A lista de siglas consiste na relação alfabética
das siglas utilizadas no relatório, seguidas das palavras ou expressões
correspondentes grafadas por extenso.
6.5 COMENTÁRIOS DOS GESTORES
E ANÁLISE DA EQUIPE
Requisitos

O auditor deve dar à entidade auditada a oportunidade de comentar sobre


os achados, as conclusões e as recomendações de auditoria, antes que a EFS
emita o relatório (ISSAI 3000/129).

O auditor deve registrar a análise dos comentários da entidade auditada em


papéis de trabalho, incluindo as razões para fazer modificações no relatório
de auditoria ou para rejeitar os comentários recebidos (ISSAI 3000/130).

520. A unidade técnica deve diligenciar para que os auditados


apresentem seus comentários escritos sobre o relatório preliminar, fi-
xando prazo compatível (NAT, 144-146). A remessa do relatório cons-
titui etapa procedimental com o objetivo de permitir à equipe de au-
ditoria o aprimoramento da qualidade e da eficácia das deliberações.
Não se trata, portanto, de etapa processual ou de exercício de direito
141
de defesa (contraditório) (BRASIL, 2020c, parte V, item 10).

521. O encaminhamento da versão preliminar do relatório de


auditoria para que os gestores apresentem seus comentários contribui
para a melhoria da qualidade dos trabalhos, pois os auditados podem
analisá-lo e oferecer outra perspectiva, bem como possibilita o esclare-
cimento de pontos obscuros, a correção de informações imprecisas ou
inconsistentes, e o aperfeiçoamento das medidas propostas.

522. Em auditoria operacional, a regra é a de submeter o rela-


tório preliminar aos comentários dos gestores com todos os elementos
do relatório final, exceto, obviamente, o apêndice de comentários dos
gestores e análise da equipe (BRASIL, 2020c, parte V, item 10). A uni-
dade técnica poderá, excepcionalmente, deixar de incluir a proposta de
encaminhamento no relatório preliminar, caso seu conhecimento pelos
gestores coloque em risco o alcance dos objetivos da auditoria. Essa
situação deve estar justificada nos papéis de trabalho da auditoria.

523. Os gestores devem ser informados sobre o caráter sigiloso do


relatório preliminar. A cópia do relatório a ser encaminhada deve conter
marca d’água na diagonal de todas suas páginas com a palavra “SIGILOSO”.

524. O ofício de diligência deve, ainda, solicitar aos gestores


que encaminhem seus comentários contemplando a perspectiva dos
dirigentes e as ações corretivas que pretendem tomar, bem como ava-
liação sobre as propostas de determinação e/ou recomendação formu-
ladas, informando sobre as consequências práticas de sua implementa-
ção e eventuais alternativas (BRASIL, 2020c, parte V, item 10).

525. A equipe de auditoria deve analisar os comentários ofere-


cidos, documentando em papel de trabalho. A análise examinará indi-
vidual e detidamente os elementos trazidos pelos gestores, avaliará a
necessidade de rever pontos do relatório e/ou apresentará argumentos
para manter posições discordantes dos gestores.

526. Quando os auditados fornecerem novas informações ao apre-


sentarem seus comentários, a equipe deverá avaliá-las, segundo os padrões
aplicáveis às evidências, antes de incorporá-las ao relatório. Caso as novas
informações e argumentos dos auditados sejam importantes para esclare-
cer pontos do relatório ou sejam suficientes para alterar o entendimento da
equipe, as modificações serão feitas nos capítulos principais do relatório.
O relato sobre a posição anterior, os novos elementos apresentados e a
alteração realizada deve ser feito no Apêndice do relatório final destinado à
registrar os comentários dos gestores e a análise da equipe.
142
527. No apêndice correspondente, a equipe deve destacar os
elogios, as discordâncias e as alterações relevantes realizadas no relató-
rio preliminar em razão dos comentários dos gestores. As informações
e argumentos que não forem suficientes para alterar o entendimento
da equipe devem ser analisadas no apêndice de modo que o leitor
entenda as razões para a manutenção da posição inicial da equipe.

528. Pode ser necessário revisar os papéis de trabalho da audi-


toria, após as alterações feitas no relatório em função dos comentários
dos gestores.

6.6 DIVULGAÇÃO
Requisito

A EFS deve tornar os seus relatórios de auditoria amplamente acessíveis, conside-


rando, porém, os regulamentos sobre informações confidenciais (ISSAI 3000/133).

529. A ampla divulgação dos relatórios de auditoria promove a


credibilidade das auditorias do Tribunal. Assim, os relatórios de auditoria
precisam ser encaminhados para a entidade auditada, o órgão supervisor
no Poder Executivo, as comissões do Congresso Nacional e para outras
partes responsáveis ou com algum poder de decisão ou influência que
possam contribuir para o aperfeiçoamento do desempenho do auditado
e para a implementação das deliberações do TCU. (ISSAI 3000/134).
530. O público-alvo primário da auditoria operacional é forma-
do pelo Poder Legislativo e/ou Executivo, pelas entidades governamen-
tais e pelos cidadãos. Uma boa auditoria operacional permite que o
Poder Legislativo examine de maneira efetiva o desempenho das or-
ganizações e programas governamentais. Além disso, deve ser capaz
de influenciar os tomadores de decisão no governo a fazerem as mu-
danças que levem a melhores resultados. Além desses, há também a
sociedade em geral e outras partes interessadas, como o setor privado
e a mídia, que podem ter interesses, apesar de, possivelmente, com um
foco diferente, no resultado da auditoria operacional (ISSAI 3000/135).

531. Há quem diga que o resumo do relatório se destina aos


meios de comunicação, os capítulos principais aos gestores e o apên-
dice metodológico a outros auditores e avaliadores. Isso porque os de-
talhes sobre os procedimentos de avaliação e investigação podem não
ser do interesse do público em geral, que tem seu principal foco de
atenção nos resultados da auditoria, principalmente na avaliação sobre
o desempenho do objeto de auditado.
143
532. Sendo assim, pode ser necessário elaborar outros produtos
de divulgação com base no relatório de auditoria, conforme o público
que se deseja alcançar, como sumário executivo e notas para imprensa
e outros. No TCU, o principal desses outros produtos é a ficha síntese.
A ficha deve ser elaborada sempre que possível e deve obedecer às
orientações da Secretaria de Comunicação do Tribunal, conforme ins-
truções disponíveis na biblioteca digital (BRASIL, 2017d). Não se trata
de trabalho duplicado com a elaboração do resumo, que tem a mesma
estrutura. A diferença é que a Secom apoia a unidade técnica respon-
sável, revisa e editora a ficha síntese e faz sua divulgação.

533. A comunicação dos resultados da auditoria deve atingir


seu objetivo final de reportar à sociedade sobre o desempenho da
administração pública, permitindo a responsabilização dos agentes pú-
blicos pelos resultados da ação de governo, mediante controle parla-
mentar e controle social (INTOSAI-P 12/princípio 4).

534. A relevância da fase de divulgação em auditoria operacio-


nal torna mais importante que o relatório tenha rigor técnico, coerên-
cia, clareza, seja convincente e visualmente atrativo para o leitor. Dessa
forma, aumenta a probabilidade de que as deliberações do Tribunal
ganhem apoio dos atores capazes de influenciar na gestão do objeto
auditado, que elas sejam implementadas e gerem melhorias de de-
sempenho em benefício da sociedade.
7 MONITORAMENTO

Requisitos

O auditor deve monitorar, conforme apropriado, achados e recomendações


de auditorias anteriores e a EFS deve relatar ao Poder Legislativo, se possível,
as conclusões e os impactos de todas as ações corretivas relevantes (ISSAI
3000/136).

O auditor deve focar o monitoramento em verificar se a entidade auditada


tratou de forma adequada os problemas e se remediou a situação subjacente
após um período de tempo razoável (ISSAI 3000/139).
144
535. A publicação do relatório de auditoria operacional não cor-
responde ao fim do processo de trabalho. A identificação das oportu-
nidades de melhoria e a expedição das deliberações pertinentes pelo
Tribunal, por si só, não são insuficientes para produzir as melhorias
pretendidas. É necessário garantir a efetiva implementação das pro-
postas e solução dos problemas identificados de modo que os efeitos
desejados possam ser alcançados (GUID 3920/145). Para tanto, o mo-
nitoramento das deliberações expedidas assume importância central.

536. Monitoramento é, portanto, a análise das ações corretivas


adotadas pela entidade auditada (ou por outra parte responsável), com
base nas deliberações do TCU, com o objetivo de aferir seus efeitos (ISSAI
3000/137). O monitoramento não se restringe à verificação da implemen-
tação das deliberações, mas deve se concentrar em verificar se a entidade
auditada tratou de forma adequada os problemas e se remediou a situa-
ção subjacente após um período razoável (ISSAI 3000/139-140; NAT, 169).

537. Existem diferentes formas de monitorar as auditorias ope-


racionais. Quando designada para tal atividade, a equipe deve seguir
os normativos e orientações aplicáveis, em especial os Padrões de Mo-
nitoramento (BRASIL, 2009b) e a Resolução-TCU 315/2020 (BRASIL,
2020a)13.Aqui são apresentadas características específicas de monito-
ramento de auditorias operacionais.

13
Por ocasião da elaboração deste manual, o TCU estava implementando inovações no processo de
monitoramento, bem como soluções tecnológicas em apoio ao processo de trabalho. Em razão dessas
mudanças, esta seção remete os detalhes processuais e procedimentais aos documentos específicos.
538. O monitoramento das recomendações e determinações
tem os seguintes propósitos (GUID 3920/147):

a. identificar em que medida as entidades auditadas implemen-


taram mudanças em resposta às deliberações do Tribunal;
b. determinar os impactos que podem ser atribuídos à auditoria,
demonstrando o valor e o benefício do Tribunal;
c. avaliar o desempenho das auditorias do Tribunal;
d. subsidiar com informações a responsabilização social e
política pelo desempenho da ação pública.

539. O monitoramento aumenta a probabilidade de resolução dos


problemas de desempenho identificados pela auditoria, seja pela imple-
mentação das deliberações, seja pela adoção de outras medidas de inicia-
tiva do gestor. A expectativa de controle criada pela realização sistemática
de monitoramentos, interagindo com os gestores responsáveis, contribui
para aumentar a efetividade da auditoria. Além disso, o monitoramento
permite a retroalimentação do sistema, na medida em que fornece aos
145
gestores o feedback de que necessitam para verificar se as ações que
vêm adotando têm contribuído para o alcance dos resultados desejados.

540. É importante que o monitoramento identifique os benefícios


efetivos da auditoria para demonstrar a relevância do trabalho e, no nível
macro, do próprio Tribunal. Para se comprovar benefícios efetivos e para se
verificar o alcance de metas de desempenho do objeto auditado, a equipe
deve analisar os indicadores de desempenho existentes ou construir novos,
caso necessário, sempre em acordo com os gestores. Tal providência ganha
importância quando se considera que a gestão por resultados não está
plenamente incorporada às práticas de administração pública.

541. O monitoramento é importante para o desenvolvimento e


aprendizado interno da entidade auditada, assim como para o pró-
prio Tribunal (ISSAI 3000/137). Proporciona uma base para avaliar o
desempenho das fiscalizações do Tribunal e pode contribuir para o
melhor conhecimento e aprimoramento de suas práticas de auditoria.
Considerando isso, os relatórios de monitoramento são também uma
ferramenta de auto avaliação do Tribunal.

542. Informações confiáveis sobre o grau de implementação


das recomendações e das determinações, o impacto das auditorias e
as ações corretivas relevantes adotadas podem ajudar a demonstrar
o valor e o benefício do Tribunal (ISSAI 3000/138). As informações
apuradas nos monitoramentos são usadas para calcular o percentu-
al de implementação de deliberações e a relação custo/benefício das
auditorias, que são indicadores de desempenho da atuação das EFS.
543. As EFS da Suécia, dos Estados Unidos e o Tribunal de Contas
Europeu divulgam o percentual de implementação de suas recomenda-
ções como medida do desempenho de seu trabalho. A EFS dos Estados
Unidos informou em seu relatório de atividades de 2019 que 77% de
suas recomendações foram implementadas após 4 anos da deliberação
(GAO, 2020, p. 7, 34). O Tribunal de Contas Europeu inclui o indicador de
monitoramento das recomendações no conjunto de indicadores-chave
de desempenho para manter a gestão informada acerca dos progres-
sos efetuados para atingir os seus objetivos estratégicos, fundamentar
a tomada de decisões e fornecer às partes interessadas institucionais
informações sobre o desempenho. Com base no monitoramento reali-
zado em 2019, concluíram que 96% das recomendações formuladas no
Relatório Anual relativo a 2015 e 94% das recomendações constantes
dos relatórios especiais daquele ano foram executadas na íntegra, na
maior parte ou pelo menos em alguns aspectos (TCE, 2020, p. 53). A EFS
da Suécia afirma que o monitoramento de longo prazo (5 anos) de seus
relatórios indica que pouco mais da metade levou o governo a tomar
medidas com base neles. O monitoramento de curto prazo (3 anos) re-
146
vela que quase a metade das recomendações havia sido implementada
ou estava em implementação (RIKSREVISIONEN, 2020, p. 18).

544. O monitoramento permite ao Legislativo, à sociedade e às


demais partes interessadas acompanhar o desempenho do objeto au-
ditado e identificar as barreiras e dificuldades enfrentadas pelo gestor
para solucionar os problemas apontados. A divulgação do diagnóstico
atualizado da situação e das ações adotadas pelo gestor pode con-
tribuir para o alcance dos resultados desejados. A transparência das
informações e a atuação dos atores interessados contribui para a res-
ponsabilização política e social pelo desempenho da ação de governo
(LIMA, 2008; CENEVIVA; FARH, 2012).

7.1 FORMAS DE MONITORAMENTO


545. O monitoramento pode ser realizado de diferentes formas
(GUID 3920/152):

a. reunião com o gestor, após algum tempo da auditoria, para


verificar as ações adotadas para melhorar o desempenho e a
implementação das recomendações e determinações;
b. envio de solicitação de informações ao auditado para que
informe as ações adotadas para solucionar os problemas
apresentados no relatório de auditoria. Essa solicitação pode
incluir o plano de ação;
c. telefonemas ou visitas de campo limitadas para coletar
informações sobre as ações adotadas pela entidade auditada;
d. acompanhamento da evolução do tema auditado por meio
do legislativo, mídia e outros stakeholders, e análise para
verificar se os problemas identificados durante a auditoria
foram tratados adequadamente;
e. solicitação às equipes de auditoria financeira ou de conformidade
para que coletem, como parte de seus procedimentos,
informações sobre as ações adotadas pela entidade auditada;
f. realização de fiscalização, que gerará um relatório de
monitoramento.

546. As formas utilizadas para monitorar dependerão das prio-


ridades estabelecidas pelo Tribunal, da importância dos problemas
identificados, das ações que serão implementadas e do interesse ex-
terno no tema (GUID 3920/153). No TCU, as formas para a obtenção
de informações para o monitoramento são reguladas pelos Padrões de
Monitoramento (BRASIL, 2009b).
147

7.2 SISTEMÁTICA DE MONITORAMENTO


547. Logo após a apreciação da auditoria pelo Tribunal, a uni-
dade técnica do TCU encarregada do monitoramento deve entrar em
contato com o gestor do objeto auditado para orientá-lo sobre o moni-
toramento das deliberações proferidas. Se necessário, poderá agendar
reunião, durante a qual a equipe do TCU explicará a sistemática de
monitoramento e apresentará modelo de plano de ação, a ser entregue
em prazo acordado. É importante convidar representantes do órgão
de controle interno (sempre que oportuno), do objeto auditado e de
demais entidades envolvidas com a implementação das deliberações.

548. Reuniões adicionais entre os interessados podem ser ne-


cessárias, especialmente quando a implementação das deliberações
for complexa, demandar mais tempo de monitoramento, envolver di-
versas unidades governamentais ou quando for percebida alguma re-
sistência por parte do auditado.

549. Ao planejar o monitoramento, a equipe analisará o relatório


de auditoria, o plano de ação e outros documentos pertinentes. Na oca-
sião, deve-se destacar os indicadores de desempenho que serão aferidos
para evidenciar a possível solução de problemas identificados na auditoria
e as deliberações-chave, que seriam aquelas geradoras dos impactos con-
siderados mais importantes, em termos financeiros ou qualitativos.
550. Em seguida, enviará ao gestor a solicitação de documentos
e informações necessários para o monitoramento, fixando prazo condi-
zente com o volume e a natureza das informações solicitadas.

551. O mencionado plano de ação é um documento apresentado


pelo gestor ao TCU em prazo acordado, que detalha as ações que serão
tomadas para atender as deliberações propostas no sentido de corrigir
os problemas identificados durante a auditoria. Envolve, basicamente, um
cronograma em que são definidos responsáveis, atividades e prazos para
a implementação das deliberações. Esse instrumento norteia o processo
de monitoramento e tende a aumentar a sua efetividade. Trata-se de um
instrumento gerencial, que não deve ser objeto de proposta de delibera-
ção, exceto na hipótese excepcional prevista na Resolução-TCU 315/202014.

552. É recomendado que membro da equipe de auditoria


acompanhe a elaboração do plano, para que o documento atenda às
necessidades de monitoramento e abranja medidas satisfatórias para
solucionar os problemas identificados. Essa interação pode ser viabi-
148
lizada por meio de reuniões com os gestores. O resultado esperado
desse esforço é que as medidas previstas no plano de ação sejam exe-
quíveis e efetivas para solucionar os problemas identificados.

553. O plano de ação deve incluir campo para registro dos be-
nefícios efetivos após a implementação das deliberações, conforme o
modelo do Quadro 14. São esses que, em última análise, justificam a
realização das auditorias operacionais.

554. Cabe ressaltar que os benefícios quantificados à época da


auditoria e registrados na matriz de achados são estimados. Entretanto, o
monitoramento deve verificar os resultados efetivamente atingidos, os be-
nefícios causados pela implementação das deliberações e a memória de
cálculo de sua mensuração. Os valores apurados, a forma de mensuração
e os resultados decorrentes da implementação da deliberação devem ser
validados pelo gestor. Possíveis divergências devem ser registradas.

555. As recomendações em auditoria operacional somente de-


vem ser propostas se observada a materialidade (quantitativa e qua-
litativa) da questão. Sendo assim, as recomendações não devem ser
meras sugestões, mas proposições de natureza colaborativa que apre-
sentam ao seu destinatário oportunidades de melhoria, com a finali-

14
Por ocasião da elaboração deste manual, o TCU estava implementando inovações no processo
de monitoramento, bem como soluções tecnológicas em apoio ao processo de trabalho. Em razão
dessas mudanças, esta seção remete os detalhes processuais e procedimentais aos documentos
específicos.
dade de contribuir efetivamente para o aperfeiçoamento da gestão
(BRASIL, 2020a). Em razão de sua materialidade e do seu propósito, as
deliberações, e em particular as recomendações, em auditoria opera-
cional devem ser monitoradas15.A forma e o momento em que ocorrerá
o monitoramento devem ser registrados na seção do relatório de audi-
toria na qual é desenvolvido o achado a que se refere a recomendação.

556. A realização do monitoramento (quantidade, periodicida-


de, prazo, extensão dos exames) deverá ser adaptada às particularida-
des de cada auditoria e definida a partir do teor das deliberações do
TCU. É importante que o monitoramento não demore muito a se iniciar,
para que não se perca a expectativa de controle. Também não vale a
pena monitorar as deliberações após muito tempo, pois a experiência
demonstra que a maior parte das deliberações é implementada até
três anos após a realização da auditoria.

557. O Quadro 14, a seguir contém modelo de plano de ação a


ser enviado ao gestor do objeto auditado. Outros modelos estão dispo-
149
níveis nos Padrões de Monitoramento (BRASIL, 2009b).

Quadro 14 - Modelo de plano de ação


Número do processo e título da auditoria:
Identificação da(s) entidade(s) auditada(s):
Data:
Deliberação Ação a ser Responsável Prazo Benefícios
implementada
Citar os itens, Indicar as me- Indicar a pes- Informar Ao final do monitoramen-
subitens ou didas que serão soa ou o setor a data em to, informar os benefícios
parte dos tomadas a fim responsável que as efetivos com a imple-
itens. de dar cumpri- pela imple- medidas mentação da deliberação,
mento à delibe- mentação das estarão im- quantificando, sempre que
ração. ações. plantadas. possível.

Fonte: elaboração própria.

558. Com base nos dados e informações coletados, a equipe de


monitoramento classificará as deliberações, segundo o grau de imple-
mentação, no período verificado.

559. O monitoramento se refere apenas às deliberações diri-


gidas às organizações auditadas, não abrangendo aquelas dirigidas à
secretaria do Tribunal.

15
“Excepcionalmente, no caso de situações em que a implementação das providências imediatas
necessárias para prevenir ou corrigir irregularidade, ou remover seus efeitos, não seja factível, a
unidade técnica instrutiva poderá propor determinação, desde que devidamente fundamentadas
as razões que justifiquem a necessidade da adoção da medida e consideradas as razões apresen-
tadas pelo gestor ...” (§ 3º, art. 7º da Res. TCU 315/2020).
REFERÊNCIAS

AFROSAI-E. Performance Audit Handbook. Pretoria, 2013. Disponível em: https://


www.eurosai.org/handle404?exporturi=/export/sites/eurosai/.content/docu-
ments/AFROSAI-E-Performance-Audit-Handbook1_00.pdf. Acesso em: 22 nov. 2018.

AFROSAI-E. Quality Assurance Handbook. Pretoria, 2015.

ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT). Informação e Docu-


mentação – Numeração progressiva das seções de um documento escrito. NBR
6024. Rio de Janeiro, 2003.
150
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT). Informação e Documen-
tação – Relatório técnico e/ou científico - apresentação: NBR 10719. Rio de Ja-
neiro, 2011.

ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT). Informação e Documen-


tação – Sumário - Apresentação. NBR 6027. Rio de Janeiro, 2012.

ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT). Informação e Documen-


tação – Referências - Elaboração. NBR 6023. Rio de Janeiro, 2018.

BARDIN, L. Análise de Conteúdo. 4. ed. rev. e atual. Lisboa: Edições 70, 2009.

BARZELAY, Michael. Central Audit Institutions and Performance Auditing: A Com-


parative Analysis of Organizational Strategies in the OECD. Governance, Volume
10, Issue 3, July 1997, Pages 235-260.

BRASIL. Tribunal de Contas da União. Técnica de Auditoria: Marco Lógico. Brasília,


2001. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecnica-de-au-
ditoria-marco-logico.htm. Asso em: 29 mar. 2020.

BRASIL. Tribunal de Contas da União. Técnicas de amostragem para auditorias.


Brasília, 2002a. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecni-
cas-de-amostragem-para-auditorias.htm. Acesso em: 29 mar. 2020.
BRASIL. Tribunal de Contas da União. Técnicas de auditoria: Análise stakeholder.
Brasília, 2002b. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecni-
cas-de-auditoria-analise-stakeholder.htm. Acesso em: 29 mar. 2020.

BRASIL. Tribunal de Contas da Uniã. Mapa de Processos. Brasília, 2003. Disponível


em: https://portal.tcu.gov.br/biblioteca-digital/tecnica-de-auditoria-mapa-de-
-processo.htm. Acesso em: 29 mar. 2020.

BRASIL. Tribunal de Contas da União. Padrões de Auditoria de Conformidade.


Brasília, 2009a. Disponível em: https://portal.tcu.gov.br/controle-externo/nor-
mas-e-orientacoes/normas-de-fiscalizacao/auditoria-de-conformidade.htm.
Acesso em: 22 nov. 2018.

BRASIL. Tribunal de Contas da União. Padrões de Monitoramento. Brasília,


2009b. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/padroes-de-
-monitoramento.htm. Acesso em: 22 nov. 2018.

BRASIL. Tribunal de Contas da União. Código de Ética dos Servidores do Tribu-


151
nal de Contas da União. Brasília, 2009c. Disponível em: https://portal.tcu.gov.br/
codigo-de-etica-do-servidor.htm. Acesso em: 12 maio 2020.

BRASIL. Tribunal de Contas daUnião. Design Thinking. Toolkit para Governo. Bra-
sília, 2017f. Disponível em: https://portal.tcu.gov.br/design_thinking/index.html.
Acesso em: 27 nov. 2018.

BRASIL. Tribunal de Contas da União. Técnicas de Apresentação de Dados. Bra-


sília, 2010a. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecnicas-
-de-apresentacao-de-dados.htm. Acesso em: 20 nov. 2018.

BRASIL. Tribunal de Contas da União. Técnica de pesquisa para auditorias. Brasí-


lia, 2010b. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecnica-de-
-pesquisa-para-auditoria.htm. Acesso em: 20 nov. 2018.

BRASIL. Tribunal de Contas da União. Técnica de observação direta em auditoria.


Brasília, 2010c. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecni-
ca-de-observacao-direta-em-auditoria.htm. Acesso em: 20 nov. 2018.

BRASIL. Tribunal de Contas da União. Técnica de entrevista para auditorias. Brasília,


2010d. Disponível em: https://portal.tcu.gov.br/controle-externo/normas-e-orien-
tacoes/tecnicas-estudos-e-ferramentas-de-apoio/. Acesso em: 20 nov. 2018.

BRASIL. Tribunal de Contas da União. Orientações para elaboração de documen-


tos técnicos de controle externo. Portaria Segecex nº 28, de 7 de dezembro de
2010. Brasília, 2010e.
BRASIL. Tribunal de Contas da União. Análise SWOT e Diagrama de Verifica-
ção de Risco Aplicados em Auditoria. Brasília, 2010f. Disponível em: https://
portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A8182A158FE98E-
E0158FEF2F25843D5. Acesso em: 20 abr. 2020.

BRASIL. Tribunal de Contas da União. Auditoria Governamental. Brasília, 2011a.


Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileI-
d=8A8182A24F0A728E014F0B277355651D. Acesso em: 20 mar. 2020.

BRASIL. Tribunal de Contas da União. Normas de Auditoria do Tribunal de Contas


da União – Revisão junho 2011 (NAT). Brasília, 2011b. Disponível em: https://portal.
tcu.gov.br/biblioteca-digital/normas-de-auditoria-do-tribunal-de-contas-da-u-
niao-nat-FF8080816364D7980163CA90603F214D.htm. Acesso em: 20 nov. 2018.

BRASIL. Tribunal de Contas da União. Painel de referência em auditorias. Brasília,


2013a. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/painel-de-refe-
rencia-em-auditoria.htm. Acesso em: 27 mar. 2020.

152
BRASIL. Tribunal de Contas da União. Técnica de Análise de Problemas para Au-
ditorias. Brasília, 2013b. Disponível em: https://portal.tcu.gov.br/biblioteca-digi-
tal/tecnicas-de-analise-de-problemas.htm. Acesso em: 21 mar. 2020.

BRASIL. Tribunal de Contas da União. Técnica de grupo focal para auditorias.


Brasília, 2013c. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/tecni-
ca-de-grupo-focal-para-auditoria.htm. Acesso em 20 nov. 2018.

BRASIL. Tribunal de Contas da União. Referencial para avaliação de governança


em políticas públicas. Brasília, 2014a. Disponível em: https://portal.tcu.gov.br/
referencial-para-avaliacao-de-governanca-em-politicas-publicas.htm. Acesso
em: 4 dez. 2019.

BRASIL. Tribunal de Contas da União. Regimento Interno do Tribunal de Contas


da União. Brasília, 2015. Disponível em: https://portal.tcu.gov.br/normativos/re-
gimentos-internos/. Acesso em: 21 nov. 2018.

BRASIL. Tribunal de Contas da União. Orientações para seleção de objetos e


ações de controle. Brasília, 2016a. Disponível em: https://portal.tcu.gov.br/fisca-
lizacao-e-controle/auditoria/selecao-de-objetos-e-acoes-de-controle/. Acesso
em: 21 nov. 2018.

BRASIL. Tribunal de Contas da União. Referencial para avaliação da governança


do Centro de Governo. Brasília, 2016b. Disponível em: https://portal.tcu.gov.br/
referencial-para-avaliacao-da-governanca-do-centro-de-governo.htm. Acesso
em: 25 mar. 2020.
BRASIL. Tribunal de Contas da União. Guía para aplicación del método FSD (Frag-
mentación, Superposición, Duplicación): adaptado para la auditoría coordinada
ODS 2017. Brasília, 2017a. Disponível em: https://www.olacefs.com/wp-content/
uploads/2017/06/Gui%cc%81a-FSD-adaptado.pdf. Acesso em: 22 abr. 2020.

BRASIL. Tribunal de Contas da União. Vocabulário de Controle Externo do Tribu-


nal de Contas da União. Brasília, 2017b. Disponível em: https://portal.tcu.gov.br/
biblioteca-digital/vce-vocabulario-de-controle-externo-do-tribunal-de-contas-
-da-uniao.htm. Acesso em: 20 nov. 2018.

BRASIL. Tribunal de Contas da União. Referencial de combate a fraude e corrup-


ção: aplicável a órgãos e entidades da Administração Pública. Brasília, 2017c.
Disponível em: https://portal.tcu.gov.br/biblioteca-digital/referencial-de-com-
bate-a-fraude-e-corrupcao.htm. Acesso em: 22 mar. 2020.

BRASIL. Tribunal de Contas da União. Guia para Produção de Fichas-Síntese do


Tribunal de Contas da União: Fichas Temáticas e Fichas Fisc. Brasília, 2017d.
Disponível em: https://portal.tcu.gov.br/main.jsp?lumPageId=8A8182A24E-
153
D12B19014ED646CE5E1FC0&previewItemId=8A81881E759554320175B99B-
27634D1A&lumItemId=8A81881E759554320175B99F48C478FF. Acesso em: 22
mar. 2020.

BRASIL. Decreto no 9.203, de 22 de novembro de 2017. Dispõe sobre a política de


governança da administração pública federal direta, autárquica e fundacional.
Diário Oficial [da] República Federativa do Brasil, Poder Executivo, Brasília, DF,
23 nov. 2017e. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2015-
2018/2017/Decreto/D9203.htm. Acesso em: 13 ago. 2020.

BRASIL. Tribunal de Contas da União. Roteiro de ações para o combate a fraude


e corrupção. Brasília, 2018a. Disponível em:http://www.redecontrole.gov.br/lu-
mis/portal/file/fileDownload.jsp?fileId=8A81881E6656439E01665F0E23007B-
FD&inline=1. Acesso em: 22 mar. 2020.

BRASIL. Tribunal de Contas da União. Roteiro de Levantamento. Brasília, 2018b.


Disponível em: https://portal.tcu.gov.br/biblioteca-digital/roteiro-de-levanta-
mento.htm. Acesso em: 25 mar. 2020.

BRASIL. Tribunal de Contas da União. Orientações para Benefícios do Controle.


Portaria Segecex nº 37, de 13 de dezembro de 2018. Brasília, 2018c.

BRASIL. Tribunal de Contas da União. Orientações para Supervisão de Auditoria.


TCU, Brasília, 2019a. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/
orientacoes-para-supervisao-de-auditoria.htm Acesso em 25 mai. 2020.
BRASIL. Tribunal de Contas da União. Checklist de deliberações. TCU, Brasília,
2019b. Disponível em: https://portal.tcu.gov.br/biblioteca-digital/checklist-de-
-deliberacoes.htm. Acesso em 25 abr. 2020.

BRASIL. Tribunal de Contas da União. Resolução-TCU 315, de 22 de abril de


2020. Dispõe sobre a elaboração de deliberações que contemplem medidas
a serem tomadas pelas unidades jurisdicionadas no âmbito do Tribunal
de Contas da União. Brasília, 2020a. Disponível em: https://pesquisa.apps.
tcu.gov.br/#/documento/ato-normativo/*/TIPO%253A%2528Resolu%-
25C3%25A7%25C3%25A3o%2529%2520NUMATO%253A315%2520NU-
MANOATO%253A2020/DTRELEVANCIA%2520desc%252CNUMATOINT%-
2520desc/0/%2520. Acesso em: 27 de abril de 2020.

BRASIL. Tribunal de Contas da União. Orientações para a definição da estraté-


gia global de auditoria. Brasília, 2020b. Disponível em: https://portal.tcu.gov.br/
biblioteca-digital/orientacoes-para-definicao-da-estrategia-global-de-auditoria.
htm. Acesso em: 15 mai. 2020.

154
BRASIL. Tribunal de Contas da União. Portaria-Segecex 9, de 14 de maio de 2020,
alterada pela Portaria-Segecex 12, de 5 de agosto de 2020. Disciplina, no âmbito
da Secretaria-Geral de Controle Externo, a proposição das deliberações previstas
na Resolução-TCU nº 315, de 22 de abril de 2020. Brasília, 2020c.

BROWN, Tim. Change by Design: How Design Thinking Transforms Organizations


and Inspires Innovation. HarperCollins, 2009.

CENEVIVA, R.; FARH, M.F.S. Avaliação, informação e responsabilização no setor


público. Revista de Administração Pública, Rio de Janeiro, 46(4), p. 993-1016,
jul./ago. 2012

COHEN, E.; FRANCO, R. Avaliação de Projetos Sociais. Petrópolis: Vozes, 1993.

COLGAN, A.; KENNEDY, L. A.; DOHERTY, N. A Primer on Implementing Whole of


Government Approaches. Dublin: Centre for Effective Services, 2014

FITZ-GIBBON, Carol Taylor; MORRIS, Lynn Lyons. How to design a program evalua-
tion. 2. ed. Newbury Park: Sage, 1987.

GOVERNMENT ACCOUNTABILITY OFFICE (GAO). Case study evaluations. Washin-


gton D.C., 1990.

(GAO). Government Auditing Standards: 2018 Revision (Yellow book). Washing-


ton D.C., 2018D.C., 2012.
GOVERNMENT ACCOUNTABILITY OFFICE (GAO). Fragmentation, Overlap, and Du-
plication: an evaluation and management guide. Washington D.C., 2015.

GOVERNMENT ACCOUNTABILITY OFFICE (GAO). GAO Performance and Accounta-


bility Report 2019. Washington D.C., 2020. Disponível em: https://www.gao.gov/
assets/710/702715.pdf. Acesso em: 23 maio 2020.

HEMSEN, Å. K.; KILVIK, S.; PAULSRUD, M. Materiality: at the heart of auditing. In-
tosai journal of government auditing, jan. 2018.

INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA (IBGE). Normas de apresen-


tação tabular. Rio de Janeiro: IBGE, 1993. Disponível em: https://biblioteca.ibge.
gov.br/visualizacao/livros/liv23907.pdf. Acesso em: 20 abr. 2020.

INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Intosai). Quality


Control for SAIs (ISSAI 140). Viena, 2010. Disponível em: https://www.issai.org/
professional-pronouncements/?n=0-1000000000. Acesso em: 21 nov. 2018.

155
INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Intosai). Prin-
cípios Fundamentais de Auditoria do Setor Público (ISSAI 100). Viena, 2013a.
Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileI-
d=8A8182A15D3169CE015D56CBA59F12A3. Acesso em: 20 nov. 2018.

INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Into-


sai). Fundamental Principles of Performance Auditing (ISSAI 300). Viena,
2013b. Disponível em: https://www.issai.org/professional-pronouncement-
s/?n=0-1000000000. Acesso em: 20 nov. 2018.

INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Intosai). Code


of Ethics. (ISSAI 130). Viena, 2016a. Disponível em: https://www.issai.org/profes-
sional-pronouncements/?n=0-1000000000 Acesso em: 21 nov. 2018.

INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Intosai). Stan-


dards for Performance Auditing (ISSAI 3000). Viena, 2016b. Disponível em: ht-
tps://www.issai.org/professional-pronouncements/?n=0-1000000000. Acesso
em: 20 nov. 2018.

INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Intosai).


Guidelines on Central Concepts for Performance Auditing. (GUID 3910). Viena,
2016c. Disponível em: http://www.issai.org/en_us/site-issai/issai-framework/
4-auditing-guidelines.htm. Acesso em: 20 nov. 2018.
INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS (Into-
sai). Guidelines for the Performance Auditing Process (GUID 3920). Viena,
2016d. Disponível em: https://www.issai.org/professional-pronouncement-
s/?n=0-1000000000. Acesso em: 20 nov. 2018.

INTOSAI DEVELOPMENT INITIATIVE (IDI). Performance Audit ISSAI Implementa-


tion Handbook. Noruega, 2016. Disponível em: http://www.idi.no/en/idi-library/
global-public-goods/issai-implementation-initiative/issai-implementation-han-
dbooks. Acesso em: 20 nov. 2018.

INTOSAI DEVELOPMENT INITIATIVE (IDI). Performance Audit Handbook (draft ver-


sion). Noruega, 2017. Disponível em: http://www.idi.no/en/elibrary/cpd/3i-pro-
gramme-1/534-performance-audit-handbook/file. Acesso em: 20 nov. 2018.

INTOSAI DEVELOPMENT INITIATIVE (IDI). Compliance Audit ISSAI Implementation


Handbook. Draft version 0. Exposure draft. Noruega, 2018. Disponível em: http://
www.idi.no/en/idi-library/global-public-goods/issai-implementation-initiative/
issai-implementation-handbooks. Acesso em: 20 nov. 2018.
156
LEE, N.; LINGS, I. Doing business research. London: Sage, 2008.

LIMA, D.H. Responsabilização por desempenho e controle externo da Adminis-


tração Pública. Revista do TCU. Brasília, n. 111, 2008.

MEDEIROS, M. Princípios de Justiça na Alocação de Recursos em Saúde. Texto


para Discussão nº 687. Brasília: IPEA, 1999.

NATIONAL AUDIT OFFICE (NAO). Value for money: Handbook. London: NAO, 1997.

NATIONAL AUDIT OFFICE (NAO). Getting to the heart of the matter: how case
studies can help. London: NAO, 1999.

NATIONAL AUDIT OFFICE (NAO). Quality matters. London: NAO, 2006.

NATIONAL AUDIT OFFICE (NAO). Writing Smart Recommendations. London: NAO,


2008.

PACIFIC ASSOCIATION OF SUPREME AUDIT INSTITUTIONS (PASAI). Performan-


ce Audit Manual. Nova Zelândia, 2011. Disponível em: https://static1.squares-
pace.com/static/57019a6db6aa607cbb909ab2/t/58dc36c2cd0f68bbacbd-
c24a/1490827021216/PASAI+Performance_Audit+Manual.pdf. Acesso em: 20
nov. 2018.
PATTON, M. Q. How to use qualitative methods in evaluation. Newbury Park:
Sage, 1987.

POLLITT, C.; GIRRE, X.; LONSDALE, J.; MUL, R.; SUMMA, H.; WAERNESS, M. Perfor-
mance or compliance? Performance audit and public management in five cou-
ntries. Oxford University Press. Oxford, 2002.

RIBEIRO FILHO, J. F.; LOPES, J. E. G.; PEDERNEIRAS, M. M. M.; SILVA, A. J. M.; MULA-
TINHO, C. E. S. Recomendações em auditoria operacional: uma prospecção de
fragilidades, com base na inteligência competitiva. Rev. Adm. UFSM, Santa Maria,
v. 3, n. 2, p. 191-204, mai./ago. 2010.

RIKSREVISIONEN. Riksrevisionens årsredovisning för 2019. Stockholm, 2020.


Disponível em: https://www.riksrevisionen.se/download/18.2d9a8f3c170390a-
94868d45b/1581947908969/%C3%A5rsredovisning%202019.pdf. Acesso em:
23 maio 2020.

ROAM, Dan. The back of the napkin: solving problems and selling ideas with
157
pictures – Expanded ed. Penquin Group. New York, 2010.

TRIBUNAL DE CONTAS EUROPEU (TCE). Guidelines on Developing the Audit Ob-


jectives. Luxemburgo, 2013a. Disponível em: https://www.eca.europa.eu/Lists/
ECADocuments/GUIDELINE_AUDIT_OBJECTIVES/Audit-objectives-Guideline-EN-
-Oct2013.pdf. Acesso em: 22 nov. 2018.

TRIBUNAL DE CONTAS EUROPEU (TCE). Guidelines on Issue Analysis and Drawing


Conclusions. Luxemburgo, 2013b. Disponível em: https://www.eca.europa.eu/
Lists/ECADocuments/GUIDELINE_ISSUE_ANALYSIS/IADC-Guideline-EN-Oct2013.
pdf. Acesso em: 22 nov. 2018.

TRIBUNAL DE CONTAS EUROPEU (TCE). Avaliação de risco em auditorias operacionais.


Tradução TCU. Luxemburgo, 2013c. Disponível em: https://portal.tcu.gov.br/biblioteca-
-digital/avaliacao-de-risco-em-auditoria-operacional.htm. Acesso em: 22 nov. 2018.

TRIBUNAL DE CONTAS EUROPEU (TCE). Manual da auditoria de resultados. Lu-


xemburgo, 2017. Disponível em: https://www.eca.europa.eu/Lists/ECADocuments/
PERF_AUDIT_MANUAL/PERF_AUDIT_MANUAL_PT.PDF. Acesso em: 22 nov. 2018.

TRIBUNAL DE CONTAS EUROPEU (TCE). As nossas atividades em 2019: Relatório


de Atividades do Tribunal de Contas Europeu. Luxemburgo, 2020. Disponível em:
https://www.eca.europa.eu/Lists/ECADocuments/AAR19/AAR19_PT.pdf. Acesso
em: 25 maio 2020.
APÊNDICE A

PRINCIPAIS ESTRATÉGIAS METODOLÓGICAS


UTILIZADAS EM AUDITORIA OPERACIONAL
ESTUDO DE CASO

1. É um método usado em auditoria para conhecer uma situação


complexa, baseado em compreensão abrangente da situação, obtida a
partir de sua ampla descrição e análise, considerada como um todo e no
158
seu contexto (GAO, 1990). Situação complexa significa que muitos fatos
podem influenciar os acontecimentos e que essas influências podem
interagir não-linearmente, tornando difícil isolar os efeitos das variáveis
sob estudo. Compreensão abrangente indica que os estudos de caso
visam obter uma representação, a mais completa possível, do que está
acontecendo e do porquê. Ampla descrição e análise envolve o emprego
de informações ricas e completas, provenientes de várias fontes, particu-
larmente de observações diretas. Ademais, a análise é ampla, comparan-
do dados de diferentes tipos de fontes por meio de triangulação.

2. Estudos de caso são especialmente úteis quando é necessá-


rio entender uma situação específica em grande profundidade e onde
é possível aprender muito a partir de uma pequena amostra do fe-
nômeno em questão (PATTON, 1987). A realização do estudo de caso
justifica-se pela expectativa de que ele poderá auxiliar a compreensão
de um fenômeno mais amplo, como a implementação de uma política
pública, uma vez que pode servir para fornecer insights sobre o tema
ou para descrever um contra exemplo para uma suposição sobre o
funcionamento do objeto de auditoria.

3. Em auditoria operacional, os estudos de caso são frequentemente


complementados por outras estratégias metodológicas, como a pesquisa.

4. As principais características do estudo de caso são:


a. mais adequado para responder a questões normativas e
descritivas;
b. uso preferencial da abordagem qualitativa na coleta e análise
de dados;
c. não-utilização de amostragem probabilística;
d. ênfase no aspecto qualitativo da informação, ainda que sejam
coletados dados quantitativos;
e. utilização de entrevistas não-estruturadas ou estruturadas
com perguntas abertas;
f. uso de observação direta;
g. utilização de múltiplas fontes de dados;
h. análise concomitante à coleta de dados.

5. A seleção dos casos a serem estudados é um aspecto crítico


em estudo de caso. Os critérios de escolha estão relacionados ao tipo
de questão que se pretende responder.

Quadro A1 - Seleção de estudo de caso


159
Critério de seleção Questões que podem ser respondidas

Conveniência Na situação selecionada, por facilitar a coleta de


dados, o que está acontecendo e por quê?
Casos extremos O que está acontecendo nos extremos de desempenho bom e
ruim? O que explica tais diferenças?
Casos extremos Que circunstâncias são responsáveis pela eficácia e efetividade
do programa?
Piores casos Por que o programa não está funcionando?
Agrupamento Como diferentes tipos de programas se comparam entre si?
Caso Representativo Em situações escolhidas para representar importantes varia-
ções, como se comporta o programa e por quê?
Caso Típico Em uma situação típica, o que está acontecendo e por quê?
Interesse especial Em uma situação especialmente relevante, o que está aconte-
cendo e por quê?
Probabilidade O que está acontecendo no programa?

Fonte: GAO, 1990, p. 23.


Observação: o critério probabilístico escolhe casos aleatoriamente, contudo o estudo de
caso não tem como objetivo realizar extrapolações estatísticas.

6. Porém, essa estratégia metodológica apresenta algumas limi-


tações, quais sejam:

a. não é usado, em geral, para responder a perguntas avaliativas


ou de causa-e-efeito;
b. pode ter custo elevado e necessitar de muito tempo para sua
implementação;
c. não permite generalizações estatísticas das conclusões
alcançadas para o todo.
Pesquisa

7. Estratégia metodológica que permite obter informações de


caráter quantitativo e qualitativo relacionadas tanto aos aspectos ope-
racionais e gerenciais, como aos resultados esperados. Os dados são
coletados por meio da aplicação de questionários.

8. Com frequência, é utilizada em conjunto com estudos de caso


como suporte para as análises de caráter qualitativo, típicas dessa úl-
tima estratégia. Quando a pesquisa (também denominada survey) for
baseada em amostragem estatística, é possível generalizar as conclu-
sões para toda a população.

9. A utilização de pesquisa em auditoria operacional permite:


160
a. obter informações descritivas de uma população ampla;
b. conhecer opiniões e pontos-de-vista dos beneficiários ou dos
executores do programa;
c. responder a questões avaliativas em situações particulares.

10. As desvantagens normalmente apontadas para a pesquisa


são a longa duração e a necessidade de conhecimentos em áreas es-
pecíficas, como técnicas de amostragem, de elaboração de formulário
de coleta de dados e tratamento estatístico de dados, entre outras.

Pesquisa documental

11. A pesquisa documental abrange o exame de toda espécie


de registros administrativos, inclusive estatísticas oficiais. Além de ma-
terial produzido pela instituição auditada, são pesquisados relatórios
de auditorias anteriores do TCU e da CGU, assim como estudos realiza-
dos por outras instituições. Denomina-se pesquisa bibliográfica a que
abrange a bibliografia tornada pública em relação ao tema de estudo.

12. Ao se realizar pesquisa documental é necessário avaliar a


confiabilidade das informações divulgadas, assim como determinar a
natureza, localização e disponibilidade dos documentos no início da
auditoria. Esses cuidados têm por objetivo garantir o melhor aproveita-
mento da informação ao menor custo possível e verificar a viabilidade
de se responder às questões investigadas.
Delineamento experimental
13. Na pesquisa experimental, busca-se verificar se um dado
programa é a causa de determinado efeito. Para tanto, selecionam-se
dois grupos de unidades de pesquisa (pessoas, escolas, hospitais etc.):
1) o grupo experimental ou de tratamento, que será exposto ao progra-
ma; 2) o grupo de controle, que não será exposto.

14. As diferenças observadas nos resultados obtidos por esses


grupos poderão ser atribuídas à presença do programa. O procedimen-
to, para ser considerado um experimento em sentido estrito, requer
que as unidades de pesquisa, em ambos os grupos, sejam selecionadas
de forma randômica ou aleatória. Isso visa fortalecer a conclusão sobre
o vínculo causal, garantindo que a maioria dos fatores não manipula-
dos pelo programa e que poderiam influenciar os seus resultados está
uniformemente distribuída entre os dois grupos. Dessa forma, apenas
os efeitos do programa explicariam as diferenças observadas.

15. Em relação aos momentos nos quais as variáveis seleciona-


161
das são mensuradas, os experimentos podem adotar pré e pós-testes
ou apenas pós-testes. Isto é, a mensuração é realizada antes e depois
da implementação do programa ou apenas depois (Quadro ).

Quadro A2 - Delineamento experimental


Grupos Períodos de mensuração
Designação Pré Implementação Pós
Com pré e pós-testes
De tratamento R O X O
De controle R O - O
Apenas com pós-teste
De tratamento R - X O
De controle R - - O

Fonte: Fitz-Gibbon e Morris (1987, p. 56).

Notação: R - designação randômica; X - programa ou tratamento; O - teste de mensuração.

16. Em que pese o delineamento experimental ser a estratégia


metodológica mais robusta no trato de questões que envolvem infe-
rência causal em questões avaliativas, dificilmente pode ser aplicado
por entidades de fiscalização, uma vez que a seleção randômica requer
controle sobre o processo de seleção dos participantes do programa
auditado, o que, em geral, é uma prerrogativa da gestão. Mesmo assim,
essa estratégia deve ser conhecida pelas equipes, pois funciona como
uma referência crítica para avaliar as limitações das inferências causais
apontadas por outras estratégias.

Delineamento quase-experimental
17. A realização da pesquisa experimental envolve dificuldades
de ordem tanto prática, como anteriormente comentado, quanto ética.
Por exemplo, excluir do programa um grupo de beneficiários em po-
tencial para que operem como grupo de controle pode não ser etica-
mente defensável. Dessa forma, a pesquisa quase-experimental apre-
senta-se como estratégia metodológica alternativa.

18. Neste tipo de pesquisa não há randomização, os grupos de


comparação são selecionados com base na disponibilidade e na opor-
tunidade. As estratégias utilizadas nesses casos são menos robustas
do que a pesquisa experimental. Quanto maiores forem as diferenças
iniciais entre os grupos de tratamento e de controle, mais ambíguas
serão as conclusões alcançadas. Para minimizar esse problema, de-
ve-se procurar selecionar grupos que sejam tão equivalentes quanto
162
possível, ou seja, grupos que possam ser comparados. Para se garantir
a equivalência entre os grupos, é essencial aplicar um pré-teste, desti-
nado a verificar as diferenças preexistentes e, dessa forma, permitir a
interpretação e o controle dos resultados.

19. Os delineamentos quase-experimentais mais citados são:

a. grupos não-equivalentes com pré e pós-testes;


b. séries temporais com grupo de controle;
c. séries temporais sem grupo de controle.

20. No primeiro caso (grupos não-equivalentes com pré e pós-


-testes), o delineamento tem as mesmas características de um de-
lineamento experimental, exceto pelo fato de que os grupos não são
equivalentes, ou seja, os grupos não foram formados por designação
randômica (Quadro A3). Nesse caso, o pré-teste é essencial para verificar
se, inicialmente, os grupos de controle e de tratamento são equivalentes.

21. A limitação desse modelo é que a seleção dos grupos equi-


valentes pressupõe o conhecimento de todas as variáveis relevantes
que podem influenciar o resultado do programa, o que, por sua vez,
é o objetivo da investigação. O diagrama para esse delineamento está
indicado a seguir.
Quadro A3 - Delineamento quase-experimental com
grupos não-equivalentes com pré e pós-testes
Grupos Períodos de mensuração
Designação Pré Implementação Pós
De tratamento D O X O
De controle D O - O

Fonte: Fitz-Gibbon e Morris (1987, p. 58).


Notação: D - designação não randômica;
X - programa ou tratamento;
O - teste de mensuração.

Delineamento não-experimental

22. Muitas vezes é impossível utilizar até mesmo modelos qua-


se-experimentais. A fragilidade inerente a esse tipo de pesquisa é o
fato de que não há controle sobre explicações alternativas, ou seja,
as mudanças observadas podem ter sido causadas por variáveis não
163
associadas ao programa.

23. Os delineamentos não-experimentais mais comumente em-


pregados são:

a. antes-e-depois;
b. somente depois com grupo de comparação.

24. A característica do delineamento do tipo antes-e-depois é


trabalhar apenas com a população-alvo do programa, realizando duas
medições, uma antes e outra após a implementação do programa
(Quadro A4). Uma vez que há apenas um grupo a ser monitorado,
deve-se buscar o maior número possível de informações, além de uma
descrição detalhada do programa, de suas características operacionais
e das suas bases teóricas. Outra maneira de minimizar as limitações
desse delineamento é separar as informações por categorias e exa-
minar de que forma o programa afetou unidades de pesquisa com
diferentes características. Dessa forma, é possível saber para que tipo
de unidade o programa parece funcionar melhor ou pior.

25. O delineamento “somente depois, com grupo de compara-


ção” consiste em realizar apenas uma medição após a implementação
do programa e compará-la com informações de um grupo não coberto
pelo programa, cuja população deve ser tão similar aos beneficiários
do programa a ser avaliado quanto possível (Quadro 4). Uma vez que
nesse caso não é possível dispor de dados de um pré-teste, como no
caso do delineamento quase-experimental, torna-se especialmente di-
fícil distinguir as diferenças preexistentes daquelas derivadas da imple-
mentação do programa.

Quadro A4 - Delineamento não-experimental


Grupos Períodos de mensuração
Designação Pré Implementação Pós
Antes e depois
De tratamento - O X O
Somente depois, com grupo de comparação
De tratamento D - X O
De controle D - - O

Fonte: Fitz-Gibbon e Morris (1987, p. 62).


Notação: D - designação não randômica;
164
X - programa ou tratamento;
O - teste de mensuração.

26. Quando a coleta de dados é executada adequadamente,


delineamentos não-experimentais podem oferecer informações valio-
sas sobre o programa. Entretanto, apresentam limitações consideráveis
quando o objetivo é determinar em que medida os resultados obser-
vados podem ser a ele atribuídos. Assim, quando se tratar de uma ava-
liação de programa, essas pesquisas devem ser realizadas em conjunto
com outras estratégias metodológicas.
LISTA DE ILUSTRAÇÕES

Figura 1 - Estrutura de pronunciamentos profissionais da Intosai 13


Figura 2 - Diagrama das principais dimensões de
desempenho em auditoria operacional 15
Figura 3 - Diagrama conceitual da auditoria do setor público 23
Figura 4 - Ciclo de auditoria operacional 23
Figura 5 - Atividades de planejamento de auditoria operacional 63
Figura 6 - Perguntas que ajudam a definir o escopo da auditoria 74
Figura 7 - Hierarquia de questões e subquestões 80
Figura 8 - Lógica conceitual do relatório de auditoria operacional 119

Quadro 1 - Características das auditorias de


165
conformidade, operacional e financeira 21
Quadro 2 - Controle de qualidade e asseguração
de qualidade em auditoria 43
Quadro 3 - Características de bons papéis de trabalho 50
Quadro 4 - Técnicas mais usadas na etapa de planejamento 65
Quadro 5 - Exemplos de objetivos de auditoria 76
Quadro 6 - Princípios para decompor a questão de auditoria 82
Quadro 7 - Modelo de matriz de planejamento 86
Quadro 8 - Exemplo de achado de auditoria 98
Quadro 9 - Correspondência entre tipo de
evidência e técnicas de coleta de dados 104
Quadro 10 - Modelo de matriz de achados 114
Quadro 11 - Características de redação para
elaboração do relatório de auditoria 125
Quadro 12 - Estrutura do relatório de auditoria operacional 126
Quadro 13 - Cuidados a serem adotados para a proposição
de deliberações 137
Quadro 14 - Modelo de plano de ação 149
LISTA DE SIGLAS

ABNT – Associação Brasileira de Normas Técnicas


AO – Auditoria Operacional
DVR – Diagrama de Verificação de Risco
EFS – Entidades Fiscalizadoras Superiores
FIPP – Fórum para Pronunciamentos Profissionais da INTOSAI (Forum for
INTOSAI Professional Pronouncements)
GAO – Government Accountability Office (EFS dos Estados Unidos da América)
IDI – Iniciativa de Desenvolvimento da INTOSAI (INTOSAI Development
Initiative)
IFPP – Marco Internacional para Pronunciamentos Profissionais (International
Framework for Professional Pronouncements)
Incosai – Congresso Internacional da Organização Internacional de Entida-
166
des Fiscalizadoras Superiores (International Congress of the International
Organization of the Supreme Audit Institutions)
INTOSAI – Organização Internacional de Entidades Fiscalizadoras Superiores
(International Organisation of Supreme Audit Institutions)
ISSAI – Normas Internacionais das Entidades Fiscalizadoras Superiores
(International Standards of Supreme Audit Institutions)
MAO – Manual de Auditoria Operacional
NAO – National Audit Office (EFS do Reino Unido)
RECI – Análise para identificar quem é Responsável, quem Executa, quem é
Consultado e quem é Informado
SEGECEX – Secretaria Geral de Controle Externo
SWOT – Análise para identificar Forças, Fraquezas, Oportunidades e Amea-
ças (do inglês: Strengths, Weaknesses, Opportunities, Threats)
TCE – Tribunal de Contas Europeu
TCU – Tribunal de Contas da União
Responsabilidade pelo conteúdo
Secretaria-Geral de Controle Externo (Segecex)
Secretaria de Métodos e suporte ao Controle Externo (Semec)

Responsabilidade editorial
Secretaria-Geral da Presidência (Segepres)
Secretaria de Comunicação (Secom)
Serviço de Conteúdos Visuais (Secov)

Projeto gráfico, diagramação e capa


Serviço de Conteúdos Visuais (Secov)

Tribunal de Contas da União


SAFS Quadra 4, Lote I
70.042-900, Brasília-DF

Ouvidoria do TCU
Tel.: 0800 644 1500
WWW.TCU.GOV.BR

MISSÃO
Aprimorar a Administração
Pública em benefício da
sociedade por meio do
controle externo.

VISÃO
Ser referência na promoção
de uma Administração Pública
efetiva, ética, ágil e responsável.

Você também pode gostar