Escolar Documentos
Profissional Documentos
Cultura Documentos
ISBN 978-85-334-2484-5
9 788533 424845
MINISTÉRIO DA
SAÚDE
MINISTÉRIO DA
SAÚDE
MINISTÉRIO DA SAÚDE
Secretaria de Gestão Estratégica e Participativa
Departamento de Auditoria do SUS
AUDITORIA DO SUS
NO CONTEXTO DO SNA
Brasília – DF
2017
2017 Ministério da Saúde.
Esta obra é disponibilizada nos termos da Licença Creative Commons – Atribuição – Não Comercial –
Compartilhamento pela mesma licença 4.0 Internacional. É permitida a reprodução parcial ou total desta
obra, desde que citada a fonte.
A coleção institucional do Ministério da Saúde pode ser acessada, na íntegra, na Biblioteca Virtual em Saúde do Ministério da Saúde:
<www.saude.gov.br/bvs>.
Ficha Catalográfica
____________________________________________________________________________________________________________
Brasil. Ministério da Saúde. Secretaria de Gestão Estratégica e Participativa. Departamento de Auditoria do SUS.
Auditoria do SUS no contexto do SNA : qualificação do relatório de auditoria / Ministério da Saúde, Secretaria de Gestão Estratégica e
Participativa, Departamento de Auditoria do SUS. – Brasília: Ministério da Saúde, 2017.
102 p. : il.
ISBN 978-85-334-2484-5
CDU 614.2:336.146
____________________________________________________________________________________________________________
Catalogação na fonte – Coordenação-Geral de Documentação e Informação – Editora MS – OS 2017/0112
REFERÊNCIAS 101
AUDITORIA DO SUS NO CONTEXTO DO SNA 7
APRESENTAÇÃO
Este curso foi desenvolvido em estreita parceria entre o DENASUS e a Interlocus com a fina-
lidade de desenvolver competências que levem à qualificação do processo de auditoria do
SUS, em especial do relatório de auditoria.
A premissa que orienta este projeto é a de que a ênfase na aplicação consistente de méto-
dos e técnicas de auditoria ao contexto do Sistema Nacional de Auditoria aliada ao maior
envolvimento dos servidores na construção de cada trabalho conduz a níveis mais elevados
de qualidade.
MÓDULO 1
INTRODUÇÃO À
AUDITORIA DO SUS
O Sistema Único de Saúde (SUS), que teve suas de controle, desempenha papel fundamental
bases lançadas na Constituição Federal de 1988 para a melhoria da qualidade dos serviços de
e sua implantação iniciada na década de 1990, saúde prestados pelo SUS. Entre as atividades
propõe-se a oferecer atendimento integral à executadas pelo SNA estão as auditorias, ins-
população por meio de gestão descentraliza- trumentos com grande potencial para detec-
da com a participação da União, dos estados tar falhas, irregularidades e oportunidades de
e dos municípios brasileiros. A criação do SUS melhoria na gestão do SUS, desde que realiza-
colocou o Brasil como um dos primeiros paí- das observando-se princípios, métodos e téc-
ses fora da Organização para a Cooperação e nicas apropriados.
Desenvolvimento Econômico (OCDE) a incluir
na legislação o acesso universal aos serviços Este capítulo está organizado para apoiar o de-
de saúde, reconhecendo a saúde como direito senvolvimento do módulo 1 em sala de aula,
do cidadão e dever do Estado (Nações Unidas, cujo objetivo é de preparar os participantes
2013). para descrever o processo de auditoria reali-
zado no contexto do SNA e reconhecer e valo-
O SUS movimenta mais de 170 bilhões de re- rizar os princípios éticos e profissionais essen-
ais por ano, considerando as três esferas da ciais ao exercício da função de auditor do SUS.
federação, e tem contribuído para ampliar o
acesso da população aos serviços básicos de
saúde, com importante impacto na redução
da mortalidade. Contudo, ainda enfren-
ta uma série de desafios relacionados à
aplicação dos recursos públicos visando
obter ganhos de eficiência, eficácia e efe-
tividade e garantir o acesso aos serviços
com equidade.
método para executar suas auditorias, estabe- f) A eventual discrepância entre a situação
lecendo os padrões que elas deverão observar, existente e o critério originará a constatação
incluindo regras claras quanto à documentação. de auditoria. Evidências são elementos de
comprovação da discrepância (ou não) entre
c) Auditoria requer atitude de independência a situação encontrada (real) e o critério de
por parte do auditor, de modo a assegurar a auditoria (ideal).
imparcialidade do seu julgamento, nas fases de
planejamento, execução e emissão de seu pare- g) Os resultados de uma avaliação de audito-
cer, bem como nos demais aspectos relaciona- ria são relatados a um destinatário predeter-
dos com sua atividade profissional. minado, que normalmente é quem solicitou
a auditoria, sem prejuízo de outros interessa-
d) Auditoria é um processo de avaliação ob- dos. Por meio de um relatório formal e técni-
jetiva, o que significa que na execução de suas co, o auditor comunica o objetivo, o escopo, a
atividades, o auditor se apoiará em fatos e evi- extensão e as limitações do trabalho, as cons-
dências que permitam o convencimento razoá- tatações de auditoria, as avaliações, opiniões,
vel da realidade ou a veracidade dos fatos, do- recomendações e conclusões.
cumentos ou situações examinadas, permitindo
a emissão de opinião com bases consistentes. A ausência de qualquer um desses elementos
pode tornar sem efeito o processo de audito-
e) A avaliação objetiva é feita comparando-se ria. Não é possível, por exemplo, assegurar a
uma situação real, encontrada na gestão ou qualidade da auditoria se o auditor não está
atividade auditada, com uma situação ideal, numa posição de independência ou se não
chamada de critério de auditoria. O critério, faz uma avaliação baseada em evidências.
portanto, é o referencial utilizado pelo audi- Não é possível revisar ou comunicar os re-
tor para fazer seus julgamentos em relação à sultados da auditoria se o processo não for
situação ou condição existente. Critérios de documentado.
auditoria são encontrados em leis, normas e
padrões relativos ao objeto da auditoria.
12 Ministério da Saúde – Auditoria do SUS no contexto do SNA
Percebe-se que a qualidade do relatório de- a regularidade dos atos de gestão praticados
pende da qualidade das constatações, evi- com foco em legalidade e legitimidade dos
dências e conclusões obtidas, a qual resulta atos é chamada de auditoria de regularidade
de uma boa execução, assim entendida a que ou de conformidade. É por meio da audito-
fornece as evidências necessárias e suficien- ria de conformidade que se busca identificar
tes para sustentarem logicamente as consta- fraudes e desvios de recursos.
tações. Uma boa execução, por sua vez, de-
pende de um bom planejamento, pois é no Quando o objetivo é avaliar o desempenho da
planejamento que a equipe se prepara para gestão de um órgão, processo ou serviço, a
a execução. Portanto, uma auditoria bem su- auditoria é denominada auditoria operacional
cedida começa no planejamento, que para ou de desempenho. Os aspectos tipicamente
ser eficaz deve ser detalhado e metodologica- focalizados numa auditoria de desempenho
mente suportado. são eficácia, qualidade, equidade e efetivida-
de. Há aspectos que podem estar presentes
Uma distinção comum entre tipos de auditoria tanto num quanto noutro tipo de auditoria,
se dá em razão dos aspectos focalizados nos como mostrado na figura 2.
trabalhos. Uma auditoria que busque verificar
LEGALIDADE EFETIVIDADE
ECONOMICIDADE
LEGITIMIDADE EQUIDADE
EFICIÊNCIA
DESVIO DE QUALIDADE
RECURSOS DESPERDÍCIO
EFICÁCIA
FRAUDE
É importante ressaltar que pode haver aspec- Esse novo paradigma de auditoria, compro-
tos de conformidade e de desempenho em metido com o fortalecimento da gestão,
uma mesma auditoria. Nesse caso, sua classi- requer profissionais trabalhando na lógica
ficação será definida pelo foco principal. Por de um observatório social das questões de
exemplo, em uma auditoria para avaliar o de- resolutividade do SUS, visando contribuir
sempenho de um serviço de saúde, pode-se efetivamente para a construção do modelo
pretender verificar a legalidade de determina- de saúde voltado para qualidade de vida e
dos atos de gestão. Trata-se de uma auditoria cidadania (BRASIL, 2011a).
predominantemente de desempenho.
Nesse contexto, as finalidades da auditoria do
1.2 Processo de auditoria no SUS SUS consistem em:
O processo de auditoria do SUS obedece à lógica apresentada na seção 1.1, com o uso de alguns
termos próprios. As fases da auditoria no âmbito do SNA recebem nomes específicos, indicados
na figura 3.
A fase analítica tem por objetivo organizar in- constatações, recomendações e a conclusão
formações de maneira a facilitar execução do do trabalho. É peça de comunicação do resul-
trabalho de campo. O produto dessa fase é tado da auditoria ao demandante, ao órgão/
o relatório analítico, que traz uma síntese da instituição auditada e ao público, mediante
coleta de dados sobre o objeto da auditoria e publicação na internet.
indica a natureza, a extensão e a profundidade
dos exames. Um bom relatório analitico orien- As auditorias no DENASUS são realizadas por
ta a equipe e otimiza o tempo da verificação equipes lideradas por coordenador e acompa-
in loco. nhadas por supervisor técnico.
3. Imparcialidade Independência
9. Sigilo Imparcialidade
Sigilo Credibilidade
O auditor é obrigado a utilizar os dados e as in- A credibilidade dos auditores do SNA não é um
formações que obteve no desempenho de sua princípio, mas o resultado da percepção de
função somente na execução dos serviços que que os trabalhos são conduzidos em conformi-
lhes foram confiados. Salvo determinação legal dade com todos os princípios éticos e profis-
ou autorização expressa da alta administração, sionais aqui listados.
nenhum documento, dado ou informação po-
derá ser fornecido ou revelado a terceiros, nem Em auditoria no setor público, vale a máxi-
deles poderá utilizar-se o auditor, direta ou indi- ma que diz que não basta apenas ser fiel aos
retamente, em proveito pessoal ou de terceiros. princípios éticos e profissionais, mas deve-se
também parecer; ou seja, a equipe de audi-
Cortesia toria deve se comportar de acordo com esses
princípios, e exemplificar essas qualidades no
O auditor deve manter atitude serena e tratar dia-a-dia. Importa destacar que a confiança e
com cortesia, de forma justa e equilibrada, a o respeito públicos de um auditor depende em
todos com os quais se relaciona profissional- grande parte da impressão deixada por outros
mente (superiores, subordinados, pares e re- auditores, do presente e do passado.
presentantes das entidades auditadas). Deve
agir com cortesia sem, contudo, abrir mão das
prerrogativas de sua função.
MÓDULO 2
PROGRAMAÇÃO DE
AUDITORIA
auditoria. Normalmente deve apontar fatos, que não se sabe o quê, nem por que auditar.
indícios ou caracterizações de falhas, irregulari- A menos que o órgão seja mais específico, o
dades ou problemas de desempenho na opera- DENASUS não tem condições adequadas para
cionalização do SUS, ou ainda recomendações ser eficaz e eficiente em uma eventual tentati-
ou determinações de órgãos de controle que va de atender à demanda.
devem ser monitoradas a fim de verificar seu
cumprimento. Tomemos, agora, o caso de uma demanda
vinda da Secretaria de Ciência, Tecnologia
Por ser a demanda insumo básico desencadea- e Insumos Estratégicos (SCTIE/MS), cujo
dor de uma atividade de controle, o seu enten- teor diz que o Departamento de Assistência
dimento e cadastro fidedigno no SISAUD/SUS, Farmacêutica (DAF) verificou que a maioria
qualifica a auditoria a ser realizada. das receitas apresentadas ao estabelecimento
Décio Brasso Ltda no Município de Porto dos
A demanda deve ser interpretada visando ob- Milagres foi emitida pelo mesmo médico com
ter as seguintes especificações para o desenho grafias diferentes. Os fatos se verificaram no
da atividade de controle: contexto do Programa Farmácia Popular do
Brasil. São tais elementos suficientes para que
• tipo de atividade de controle (auditoria ou a demanda possa ser interpretada em termos
visita técnica, entre outros); e de tipo e objetivo de atividade de controle?
• objetivo da atividade de controle.
Com base nas informações trazidas pela de-
Tais especificações conferem foco à demanda manda, é possível fazer tal interpretação:
e são o primeiro passo para a delimitação de
escopo. Quando falta algum elemento impor- • Tipo de atividade de controle: auditoria;
tante na demanda apresentada, a qualidade • Objetivo: verificar a regularidade das dis-
dessas especificações fica prejudicada, inviabi- pensações realizadas pelo estabelecimen-
lizando o atendimento da demanda. to Décio Brasso Ltda em Porto dos Milagres
no âmbito do Programa Farmácia Popular
Tomemos, como exemplo, uma demanda fic- do Brasil.
tícia vinda de um Ministério Público Estadual
que solicita “auditoria de amplo escopo no Uma informação que poderia complementar
Hospital São Joaquim no Município de Rio essa especificação seria o período em que tais
Seco”. O teor dessa demanda não aponta fa- fatos foram verificados pelo DAF, o que daria
tos ou indícios de irregularidades ou impro- melhor foco à auditoria.
priedades que indiquem a necessidade de
uma auditoria, o que impede que se faça um
planejamento da ação de controle, uma vez
MÓDULO 2 – Programação de Auditoria 23
Conceitua-se tarefa como o conjunto de infor- São exemplos de tarefas formuladas de modo
mações que permite à equipe nortear a rea- incompleto:
lização da auditoria demandada. A principal
finalidade da tarefa é delimitar o escopo da • “Realizar Auditoria no Município de
auditoria e estimar o prazo de execução. Santana do Agreste com a finalidade de
verificar se os recursos da Atenção Básica
Define-se escopo como a indicação da abran- estão sendo remanejados para outro blo-
gência e dos limites da auditoria. O escopo in- co de financiamento, proibido pela PT/GM
clui as questões a responder, bem como loca- nº 204, de 29/01/2007. Período de realiza-
lidades, organizações, processos, atividades e ção: 11/2 a 31/3/2014”.
períodos que serão alcançados pela auditoria.
Escopo refere-se ao que será feito na auditoria. • “Por solicitação do Ministério Público
Para deixar claro o que não será realizado no Federal, realizaremos auditoria para veri-
curso da auditoria, pode-se especificar o cha- ficar a aplicação dos recursos da Dengue
mado não escopo, como é usual na gestão de pela Secretaria Municipal de Saúde de
projetos. Uma auditoria pode mesmo ser vista Ouro Negro. Período de realização: não
como um projeto, visto que é uma empreitada previsto”.
de tempo limitado e objetivos definidos.
Em ambos os exemplos, faltou indicar o pe-
É recomendável que a tarefa seja elaborada ríodo abrangido pela auditoria, bem como a
em equipe. A participação de auditores com abrangência do que será examinado (ativida-
experiências distintas aumenta a chance de des, localidades).
que a tarefa elaborada seja coerente com a
demanda e que traga as informações necessá- Ao elaborar tarefas, pode-se apoiar na experi-
rias para orientar a equipe na execução da au- ência construída pelo DENASUS. Examinando-
ditoria. Envolver a equipe desde cedo também se o planejamento e o resultado de auditorias
melhora a eficiência da fase analítica. realizadas anteriormente em objetos e com
escopos semelhantes, pode-se obter informa-
Um dos usos da tarefa é servir de parâmetro ções úteis para a especificação da tarefa, tais
para que, ao final, seja possível a um auditor como:
que não tenha participado do trabalho ler o
relatório de auditoria e se pronunciar sobre se • questões investigadas;
o resultado atendeu ao que foi demandado. • constatações mais frequentes;
Obviamente uma tarefa mal elaborada preju- • existência de modelos de papéis de traba-
dica essa revisão por terceiros. lho que podem ser aproveitados;
24 Ministério da Saúde – Auditoria do SUS no contexto do SNA
Se uma equipe vai realizar pela primeira vez a) Questões descritivas: São formuladas de ma-
uma auditoria sobre um objeto diversas vezes neira a descrever condições de implementação
auditado pelo DENASUS, pode ganhar tempo ou de operação de um programa ou atividade,
e qualidade na elaboração da tarefa ao tomar mudanças ocorridas, problemas e áreas com
conhecimento de quais questões nortearam potencial de aperfeiçoamento. Exemplo: “como
auditorias similares, como outras equipes pro- os gestores hospitalares estão operacionalizan-
cederam e o que encontraram. do o atendimento aos pacientes?”;
A formulação das questões de auditoria é um Para cada questão, deve-se formular uma hi-
processo interativo, que parte das informações pótese sobre a possível constatação, que indi-
oferecidas pela demanda e torna-se mais acura- ca a resposta mais provável a se obter conside-
da conforme se obtém informações sobre o ob- rando-se informações trazidas pela demanda
jeto na fase analítica. É usual empregar a técnica e por auditorias similares realizadas anterior-
de brainstorming na equipe de auditoria para mente. Tal procedimento contribui para au-
gerar opções de questões, seguida por arranjos mentar o foco da auditoria e facilita a identifi-
lógicos entre o problema a examinar e as ques- cação das informações requeridas, suas fontes
tões e subquestões de auditoria até se alcançar e procedimentos de coleta e análise.
uma configuração satisfatória de questões.
Em suma, para que se possa decidir sobre a au- Ao término da programação, é salutar a verifi-
ditoria e elaborar adequadamente a tarefa, é cação da coerência entre auditorias programa-
necessário que as restrições de prazo, equipe e das e a respectiva tarefa.
escopo sejam explicitadas.
MÓDULO 3 – Fase Analítica da Auditoria 27
MÓDULO 3
FASE ANALÍTICA DA
AUDITORIA
Este capítulo está organizado para apoiar o desenvolvimento do módulo 3 em sala de aula, cujo
objetivo é de preparar os participantes para discutir com propriedade os procedimentos neces-
sários para a condução da fase analítica de uma auditoria. O capítulo é composto pelas seguintes
seções e objetivos de aprendizagem:
Uso de matrizes de
Os participantes deverão ser capazes de valorizar a importância do
coleta e de análise de
uso das matrizes de coleta e de análise de informações em uma
informações em audi-
auditoria.
toria
Como ficará demonstrado ao longo do capítu- o foco e delimitar a extensão dos trabalhos.
lo, as atividades previstas na fase analítica são Estamos falando, portanto, de revisar e apri-
suficientes para responder às perguntas que morar a definição de objetivos e do escopo da
o planejamento de uma auditoria deve bus- auditoria, construídos durante a elaboração
car responder, a saber: o que será auditado? da tarefa. Além disso, deve-se procurar infor-
Como, quando, onde e por quem? A que cus- mações que indiquem os critérios que podem
to? Por quê? ser usados para avaliar a situação do objeto de
auditoria em termos de conformidade ou de
3.2 Levantamento de informações desempenho.
sobre o objeto de auditoria
Quando o objetivo da auditoria é definido de
Após tomar conhecimento da tarefa, a equipe forma precisa, o levantamento de informações
deve levantar informações sobre o objeto da pode ser realizado de forma mais objetiva, pois
auditoria de modo a obter o conhecimento su- se sabe o que se está buscando. Ao contrário,
ficiente para executar as fases subsequentes. quando o objetivo é estabelecido de modo ge-
Pode ser que a equipe tenha tido condições de nérico, o levantamento de informações deve
fazer uma pesquisa sobre o objeto a auditar ser mais extenso para que se possa conferir
por ocasião da elaboração da tarefa. Agora a foco ao trabalho.
equipe deve se aprofundar mais, procurando
caracterizar bem o objeto da auditoria. Afinal, que tipo de informações devem ser
buscadas? Basicamente aquelas informações
A principal finalidade do levantamento de in- que permitem estabelecer uma visão geral so-
formações na fase analítica é procurar definir bre o objeto e seu contexto (figura 8).
Pontos fracos e
Legislação aplicável deficiências de controle
Objetivos do órgão ou
programa de governo
Figura 8 - Informações que contribuem para obter visão geral do objeto a auditar e de seu contexto
Fonte: Interlocus, 2015.
30 Ministério da Saúde – Auditoria do SUS no contexto do SNA
Figura 9 – Fontes de informação úteis para obter visão geral do objeto a auditar
Fonte: Interlocus, 2015.
MÓDULO 3 – Fase Analítica da Auditoria 31
o mesmo objeto pelo próprio DENASUS e por Por isso, a equipe deve ter bem claro, antes de
outros órgãos de controle (TCU, CGU) é reco- ir a campo, que informações serão necessárias
mendável, visto que tal procedimento pode para produzir evidências que irão sustentar
revelar informações importantes para a audi- possíveis constatações. Quando a equipe, na
toria que está sendo planejada. A busca em fase operativa, não sabe bem o que está pro-
sistemas de informação é relativamente usual curando, a tendência é recolher informações
para verificar transações que possam vir a ser desnecessárias, o que torna ineficiente a fase
alvo da auditoria. de análise.
Em auditorias de objetos complexos ou pou- A motivação para realizar uma auditoria surge,
co conhecidos, em especial os que não te- em geral, de sinais de que um órgão ou progra-
nham sido alvo de ação de controle anterior, ma de governo pode não estar gerando o de-
pode ser necessário convidar alguns servido- sempenho esperado ou não estar atendendo a
res e gestores do órgão ou entidade audita- requisitos de leis, normas e padrões. Assim, com
da e especialistas que possam contribuir com base nesses sinais, a equipe propõe questões a
diagnóstico preliminar que auxilie a equipe a serem respondidas com a auditoria, bem como
focalizar com mais precisão a auditoria. Entre possíveis respostas, que nada mais são do que
as técnicas de diagnóstico mais usadas estão hipóteses sobre as constatações que podem vir
o mapeamento de processos, a identificação e a se confirmar com o correr da auditoria. Para
avaliação de riscos, e a análise SWOT (forças, que possíveis constatações possam ser vislum-
fraquezas, oportunidades e ameaças). bradas, necessário se faz conhecer os critérios
que servirão de referência para confirmá-las.
3.3 As matrizes de coleta e de
análise de informações Considerando as questões e possíveis constata-
ções que nortearão o trabalho, a equipe deve
Planejar é um exercício sistemático de an- identificar que informações são necessárias e
tecipar os elementos necessários para ca- suficientes para responder as questões, onde
racterizar as constatações, e então definir o podem ser obtidas (quais as fontes de informa-
que a equipe deve fazer para que, ao final da ção) e como podem ser coletadas.
fase de execução, as constatações possam
estar sustentadas com base em evidências. Dando sequência ao raciocínio, a equipe deve,
Como as evidências são fruto da análise das imaginando-se de posse das informações re-
informações coletadas durante a auditoria, queridas, traçar um caminho lógico que leve
percebe-se que a forma como informações à confirmação ou rejeição das constatações
são obtidas e tratadas desempenha papel hipotéticas. Para tanto, deve propor como as
fundamental para a qualidade da auditoria. informações serão analisadas para sustentar
32 Ministério da Saúde – Auditoria do SUS no contexto do SNA
LIMITAÇÕES:
Figura 10 – Estrutura da matriz de coleta de informações
Fonte: Interlocus, 2015.
A matriz de análise de informações, por sua vez, indica, por meio dos procedimentos descritos,
como as informações serão tratadas visando revelar a situação real do objeto e compará-la à
situação ideal (critério). Essa comparação permitirá confirmar ou não possíveis constatações
e, assim, responder as questões de auditoria (figura 11). Repare que uma questão de auditoria
pode ter uma ou mais constatações associadas e que cada constatação, via de regra, apoia-se
em um único critério.
LIMITAÇÕES:
Figura 11 – Matriz de análise de informações
Fonte: Interlocus, 2015.
34 Ministério da Saúde – Auditoria do SUS no contexto do SNA
7 3 2 1
Procedimentos Critérios Possíveis Questões de
de análise constatações auditoria
Identificar as Especificar os Indicar as escopo:
técnicas a serem critérios que constatações que - período de
empregadas na servirão de poderão ser obtidas. abrangência;
análise de dados base para as - abrangência
e descrever constatações. geográfica;
os respectivos - atores e atividades
procedimentos. envolvidos.
5 4 6
Informações Procedimentos
Fontes
requeridas de coleta
Identificar a fonte de cada Identificar as informações Identificar as técnicas de
item de informação. necessárias para responder coleta de dados que serão
à questão de auditoria. usadas e descrever os
respectivos procedimentos.
Figura 12 – Especificação do conteúdo das células das matrizes de coleta e de análise de informa-
ções (números em vermelho indicam ordem de preenchimento)
Fonte: Interlocus, 2015.
Informações Procedimentos
Fontes
requeridas de coleta
Datasus (Sistema SIA/ Dados das Apacs referentes aos Extração de dados.
SUS) tratamentos de radioterapia e
quimioterapia de 2010:
(i1) datas de diagnóstico e de
início de tratamento;
(i2) estadiamento da doença.
INCA (SisRHC) Dados do Registro Hospitalar Requisição de informações.
de Câncer:
(i3) datas de diagnóstico e de
início de tratamento;
(i4) estadiamento da doença.
Possíveis Questões de
Procedimentos de análise Critérios
constatações auditoria
Análise quantitativa dos O paciente com O diagnóstico A estrutura da
lapsos temporais entre o neoplasia maligna e o início do rede de atenção
diagnóstico e o início dos tem direito de tratamento oncológica tem
tratamentos (i1; i3) e do se submeter não têm sido possibilitado aos
estadiamento dos tumores no ao primeiro tempestivos. doentes de câncer
diagnóstico (i2; i4). tratamento no acesso tempestivo
Analise qualitativa das SUS em até 60 e equitativo ao
percepções de pacientes dias contados do diagnóstico e ao
sobre a tempestividade de diagnóstico em tratamento?
atendimento (i5). laudo patológico
(Lei 12.732/2012,
Triangulação dos art. 2º).
dados quantitativos de
tempestividade com as
percepções dos pacientes.
A utilização das matrizes de coleta e análise é O uso dessas matrizes também é vantajosa
vantajosa, em primeiro lugar, para a própria para o supervisor. Ao ver detalhada a lógica
equipe, que pode explicitar a forma como se que a equipe propõe para executar a audito-
pretende obter e utilizar informações para po- ria, o supervisor pode identificar falhas e lap-
der responder às questões de auditoria. Sem sos no planejamento da coleta e análise de
instrumentos desse tipo, pode ocorrer de a informações e propor correções. Desse modo,
equipe ir a campo sem ter um entendimento ele pode se assegurar de que a equipe sabe o
uniforme sobre como o trabalho será desen- que vai fazer e de que a maneira como o traba-
volvido, o que, certamente, prejudicará a qua- lho foi planejado é adequada para se alcançar
lidade da auditoria. o objetivo e o escopo estabelecidos na tarefa.
Critérios de auditoria podem ser encontrados em diversas fontes. Fontes usuais de critérios são as leis
e os regulamentos que regem o funcionamento da entidade, projeto ou programa auditado. Normas
e valores expressos em códigos de ética da instituição ou profissional indicam condutas apropriadas e
vedadas aos servidores e funcionários e, por isso, também são fontes de critérios.
Quando se trata de opinar sobre desempenho, indicadores de eficiência, eficácia e efetividade, além
de metas estabelecidas pela entidade auditada, são os principais critérios de comparação. Se a orga-
nização não estabeleceu metas e padrões de desempenho a alcançar ou se existem razões para crer
que esses valores estão aquém do que se poderia esperar, então deve-se adotar como critério os
resultados obtidos anteriormente por instituição ou programa similar.
Tomemos como exemplo uma questão sobre de informação; imprensa. Descobrir a melhor
a correta aplicação de recursos destinados à fonte de cada informação contribui para a agi-
saúde repassados fundo a fundo a um municí- lidade na coleta de dados.
pio. Um termo central da questão é a expres-
são “correta aplicação”, cujas dimensões são A experiência do servidor em auditorias no
aplicar o recurso dentro da finalidade a que SUS é o principal recurso para descobrir a fon-
se destina, dentro do objeto (bloco de finan- te de cada informação requerida. De fato, co-
ciamento) e de forma regular, de modo a não nhecer o funcionamento do SUS, os principais
causar dano ao Erário. Sendo ampla a questão, atores e suas responsabilidades, e os princi-
deve-se olhar para as possíveis constatações pais sistemas de informação é fundamental.
para poder descobrir as informações necessá- Sendo a fase analítica realizada em equipe, as
rias. Supondo que uma possível constatação experiências de seus membros podem se com-
seja pagamento de consultoria prestada por plementar para bem realizar a tarefa de identi-
servidor público do quadro do próprio municí- ficar informações e fontes.
pio, então as informações requeridas seriam:
relação de servidores do município; nota de A segunda pergunta envolve decidir qual é a
empenho dessa despesa; cópia do contrato técnica de coleta mais adequada para obter a
de prestação de serviço, se houver; cópia de informação de determinada fonte. Para res-
recibo assinado pelo servidor ou de nota fiscal pondê-la, deve-se considerar o uso que se pre-
emitida por empresa por meio da qual atuou tende fazer da informação, bem como carac-
o servidor; ordem bancária que efetivou o terísticas das fontes. O quadro a seguir oferece
pagamento. subsídios para isso.
compreender um mapa dos processos de uma gestor. Os tipos de perguntas mais utilizadas
unidade hospitalar obtido pela equipe de audi- em entrevistas são as abertas, que podem ser
toria ou interpretar dados registrados no pro- respondidas de forma livre.
jeto básico de uma aquisição.
Na condução da entrevista, o auditor deve
Na fase operativa, pode-se usar entrevista para buscar estabelecer uma relação de confiança
obter do auditado sua avaliação sobre possí- com o entrevistado. Assim, após a equipe se
veis recomendações, o que auxilia a equipe na apresentar, deve relembrar os objetivos co-
tarefa de propor recomendações exequíveis e municados quando do agendamento e dar iní-
relevantes. cio à entrevista. O roteiro deve ser observado,
porém de forma flexível, visto que informa-
A realização de uma entrevista divide-se nas ções importantes não previstas podem surgir
etapas de planejamento, condução e transcri- e a equipe pode se permitir explorá-las.
ção. No planejamento, a equipe deve definir:
Durante a entrevista, um integrante da equipe
• os objetivos da entrevista; faz as anotações. No caso de temas complexos,
• a forma de seleção dos entrevistados; pode-se optar por gravar a entrevista, desde
• as informações a obter, elaborando o ro- que o entrevistado concorde. Deve-se cuidar
teiro de perguntas; para evitar comportamentos que possam ini-
• os documentos a solicitar; bir o entrevistado e interromper o fluxo natu-
• as atribuições de cada integrante da equi- ral da conversação, tais como: anotar tudo o
pe (quem pergunta, quem anota, quem que é dito, escrever sem parar e anotar quan-
observa); do o entrevistado fala de pontos delicados.
• local, segundo a conveniência do entrevis-
tado; e Antes do encerramento da entrevista, o en-
• horário de início e término. trevistador deve verificar se todas as pergun-
tas foram respondidas e resumir os principais
Um fator importante para o sucesso da entre- pontos abordados, dando a oportunidade para
vista é o preparo da equipe, que deve estudar que o entrevistado preste algum esclareci-
bastante o tema a ser abordado. Ao planejar o mento adicional. Se for o caso, pode recolher
roteiro, deve-se formular perguntas que con- os documentos entregues e solicitar a indica-
tribuam para fornecer as informações necessá- ção de outras pessoas para entrevistar.
rias à auditoria. As perguntas devem estimular
o auditado a falar; portanto, deve-se ordená- Após a entrevista, o conteúdo deve ser transcri-
-las das mais simples para as mais complexas e to num papel de trabalho denominado extra-
evitar perguntas tendenciosas que expressem to de entrevista. O registro deve ser feito logo
ideias preconcebidas ou possam constranger o depois do encerramento do encontro, quando
MÓDULO 3 – Fase Analítica da Auditoria 43
Sondagens podem ser realizadas via contato pessoal, por telefone, via postal e por meio eletrôni-
co. Cada uma dessas modalidades apresenta potencialidades e limitações (figura 16), que devem
ser consideradas ao se desenhar uma sondagem para uso em auditoria.
requisição ao auditado para que providencie a usados frequentemente para confirmar ter-
extração dos dados e os apresente ao auditor mos de acordos, contratos e transações, como
na forma de uma planilha eletrônica. Outra nos casos de confirmação de pagamento a for-
possibilidade, para auditores habilitados, é necedores, confirmação de saldos em bancos,
utilizar softwares especializados de auditoria se os licitantes mencionados foram convida-
para identificar e extrair os dados que procura. dos e se procedimentos ambulatoriais foram
realizados (carta SUS).
Normalmente dados extraídos em grandes
volumes de sistemas de informação prestam- A equipe deve avaliar se o resultado de um
se a análises quantitativas. Softwares estatís- procedimento de confirmação externa forne-
ticos ou mesmo planilhas eletrônicas como o ce evidência relevante e confiável, ou se ou-
MS Excel facilitam a manipulação e a análise tras fontes de evidência são requeridas.
dos dados.
No caso em que o auditor avalia que a res-
Exemplos de aplicação da técnica são a extra- posta a uma solicitação de confirmação não é
ção de dados de infraestrutura dos estabele- confiável, deve verificar se existe forma alter-
cimentos de saúde, armazenados no CNES e nativa de obtenção de evidências. Se o auditor
dados de Autorização de Internação Hospitalar entender que a confirmação é necessária para
do SIA/SUS. Outro exemplo é a requisição de obter evidência de auditoria, e a confirmação
dados do funcionamento de uma central de não é fornecida, o auditor deve avaliar as im-
regulação do SAMU 192 armazenados em sis- plicações para o resultado da auditoria.
tema próprio do município.
Triangulação
Confirmação externa ou Circularização
Corresponde ao uso de diferentes métodos de
Segundo as Normas Brasileiras de pesquisa ou de coleta de dados para estudar a
Contabilidade, mesma questão, com o objetivo de fortalecer
as conclusões finais (PATTON, 1987, citado por
Confirmação externa é a evidência de auditoria obtida BRASIL, 2010a).
como resposta por escrito direta para o auditor de um
terceiro (a parte que confirma), em papel, no formato Em auditoria, a triangulação visa fortalecer a
eletrônico ou outro meio (NBC-TA-505). consistência das evidências, podendo assumir
as seguintes formas (BRASIL, 2010a):
A técnica, também conhecida como circulari-
zação, presta-se a confirmar, junto a terceiros, • coletar dados de diferentes fontes sobre a
fatos apresentados pela entidade auditada, de mesma questão;
modo a fortalecer as evidências obtidas. São • empregar diferentes entrevistadores e
48 Ministério da Saúde – Auditoria do SUS no contexto do SNA
A análise de informações pode ser quantitativa ou qualitativa, o que depende basicamente dos
tipos de informações a coletar, definidas com foco nas questões de auditoria.
Usa-se análise qualitativa para obter uma b) Como os pacientes avaliam sua experiência
compreensão mais profunda de percepções, ao buscar atendimento nessa unidade?
razões e motivações acerca de um problema e
seu contexto. No âmbito do SUS, estas seriam c) Como se dá o relacionamento entre a UPA e
questões apropriadas para o uso de aborda- a Secretaria Municipal de Saúde?
gem qualitativa:
Técnicas usadas para obter dados de natu-
a) Que fatores afetam o desempenho da UPA reza qualitativa em auditorias são menos es-
24h do município? truturadas, como é o caso de entrevistas em
MÓDULO 3 – Fase Analítica da Auditoria 49
Dados numéricos podem ser analisados por séries temporais da execução orçamentária
meio do uso de gráficos, tais como histogra- do Programa Farmácia Popular do Brasil, reve-
mas e gráficos de dispersão, que revelam la que a execução direta do FNS cresceu bem
tendências, regularidades, descontinuidades, mais do que as demais modalidades no perío-
desempenhos extremos (bons e ruins), desi- do de 2006 a 2009.
gualdades na distribuição de bens e serviços
públicos. O gráfico mostrado na figura 19 re- Na figura 21, são apresentados três exemplos
vela que a maioria dos pacientes de câncer de situações de auditoria a fim de ilustrar a co-
diagnosticados em 2010 tinham a doença erência que deve existir entre questão de au-
em estágio avançado (estadiamento 3 e 4). ditoria, informação requerida, procedimento
Já o gráfico seguinte (figura 20), que mostra de coleta e procedimento de análise.
Caso a descrição do procedimento seja longa para sustentar uma possível constatação
para ser descrita na matriz, pode-se indicar ou contribuir para responder uma questão
o título do procedimento e fazer referência de auditoria, elas devem ser eliminadas da
ao papel de trabalho destinado a registrar a matriz;
análise.
• quando as informações previstas não fo-
3.7 Validação das matrizes rem suficientes para responder as ques-
tões de auditoria, deve-se identificar e
As matrizes construídas devem ser submetidas acrescentar as informações que faltam;
a validação, primeiramente pela própria equi-
pe e, em seguida, pelo supervisor. • quando a equipe não souber ao certo onde
e como cada informação pode ser obtida,
Na revisão de cada questão de auditoria, a deve consultar auditores que possam ter
equipe deve se perguntar: utilizado esse tipo de informação anterior-
mente ou fazer uma prospecção de possí-
• se as informações previstas na matriz de veis fontes para verificar se a informação
coleta são necessárias e suficientes para existe e como pode ser acessada;
responder as questões de auditoria;
• quando a equipe acreditar que as informa-
• se está claro onde e como cada informação ções previstas não podem obtidas dentro
pode ser obtida; do prazo da auditoria e com os recursos
disponíveis, ou que não haverá tempo para
• se a obtenção das informações previstas é se fazer todas as análises previstas, deve
factível dentro do prazo da auditoria e com restringir as questões de auditoria àquelas
os recursos disponíveis; que sejam as mais urgentes ou relevantes
ou modificar a estratégia de coleta e análi-
• se está claro como cada informação obtida se planejada;
será usada na construção da constatação;
• finalmente, quando não estiver claro como
• se haverá tempo para se fazer todas as cada informação obtida será usada na
análises previstas. construção da constatação, mas se acredi-
tar que a informação é necessária, deve-se
Cada um desses pontos de verificação enseja procurar a orientação de auditores que já
uma ação por parte da equipe, a saber: enfrentaram a mesma situação.
• quando houver informações previstas na A validação das matrizes pelo supervisor técni-
matriz de coleta que não serão usadas co, além de repassar esses pontos que foram
MÓDULO 3 – Fase Analítica da Auditoria 53
alvo de revisão pela equipe, deve enfatizar a O painel de referência é um mecanismo bara-
consistência lógica da matriz, a capacidade to e rápido para se ouvir especialistas visando
desse instrumento de levar a equipe a alcan- focalizar melhor a auditoria e construir crité-
çar os resultados esperados com a auditoria e rios. Os pontos de vista trazidos pelo painel
a exequibilidade do trabalho. Eis algumas per- auxiliam a equipe a sustentar ou alterar suas
guntas que o supervisor técnico deve fazer: premissas e decisões. Deve-se cuidar para
que a seleção de convidados e a condução
• As questões, quando respondidas, permi- das discussões sejam feitas de modo a não
tem alcançar o objetivo da auditoria? privilegiar determinado grupo, evitando-se o
risco de viés.
• As informações requeridas são suficientes
para responder às questões? As fontes de Um painel de referência também funciona
informação estão corretas? como ferramenta de controle de qualida-
de, pois possibilita conferir a relevância das
• Os procedimentos de coleta são adequa- questões de auditoria, verificar o rigor e a
dos segundo o tipo de informação? suficiência do método proposto, e colher va-
riado conjunto de opiniões especializadas e
• Os procedimentos de análise são suficien- independentes sobre a estratégia de coleta e
tes para conduzir às constatações? análise de informações.
Preparar a visão geral do objeto a auditar O cronograma, além de indicar prazos para as
pressupõe fazer uso das informações levan- atividades, cumpre a função de indicar a me-
tadas preliminarmente, conforme descrito na lhor sequência para realização das atividades
seção 3.2. A visão geral permite compreender durante a fase operativa. Ao listar as ativida-
as características principais do que será audi- des, deve-se indicar o membro da equipe res-
tado, seja um órgão ou entidade, um processo ponsável por executar cada uma delas e se ha-
de trabalho, um serviço; a legislação e normas verá outro membro prestando apoio.
aplicáveis, que serão fontes de critérios; pro-
blemas de desempenho, impropriedades e ir- Quanto mais complexa e longa for a auditoria,
regularidades detectadas anteriormente; pon- mais importante será o uso de um cronograma.
tos fracos e deficiências de controle. Contudo, mesmo auditorias com fases operati-
vas reduzidas (menos de duas semanas) podem
Um mecanismo para compartilhar, no âmbito se beneficiar de um cronograma simplificado.
do DENASUS, o levantamento de informações
de auditorias com objetos similares pode en- A experiência em auditoria mostra que quan-
riquecer e agilizar a tarefa de construir a visão do a equipe se encontra no trabalho de campo,
geral. O texto da visão geral servirá para com- surgem fatos novos e imprevistos que exigem
por a versão final do relatório de auditoria. que os planos sejam alterados. A equipe deve
ter flexibilidade para, mantendo o foco no ob-
Deve-se atentar para o fato de que o levanta- jetivo da auditoria, fazer ajustes ao cronogra-
mento preliminar em sistemas de informação ma. (figura 22)
do SUS pode revelar transações que pareçam
58 Ministério da Saúde – Auditoria do SUS no contexto do SNA
A amostragem é utilizada para produzir infor- Os censos são vantajosos quando a população
mações sobre um determinado conjunto de é pequena o suficiente para permitir a análise
60 Ministério da Saúde – Auditoria do SUS no contexto do SNA
de todos os elementos, quando o tamanho com maior experiência e, também, maior in-
amostral necessário para permitir a inferên- vestimento em sua capacitação. Com isso, há
cia estatística é muito próximo ao tamanho da uma tendência de melhor qualidade dos dados
própria população, ou quando uma caracte- coletados em levantamentos amostrais.
rística particular que se está estudando é tão
rara, que não permitiria um número mínimo As técnicas de amostragem podem ser divi-
de casos para análise caso se utilizasse uma didas em dois grandes grupos: a amostragem
amostra. Existem situações, ainda, em que probabilística, também denominada estatís-
os elementos que compõem a população são tica; e a amostragem não probabilística. A
importantes por si mesmos e o levantamento amostragem probabilística prevê a seleção de
dos dados relacionados a todos são essenciais elementos por meio de métodos aleatórios, de
aos objetivos do trabalho. forma a assegurar que a amostra é represen-
tativa da população da qual foi retirada e, por
Na prática, em auditoria, em função da limita- isso, permite a generalização dos resultados
ção de recursos, a realização de censos torna- amostrais. A amostragem não probabilística,
se possível apenas quando a população de in- por sua vez, não permite a generalização au-
teresse é pequena. Nesse caso, a equipe tem tomática dos resultados. É adequada ao enfo-
condições de analisá-la por completo. que de avaliação qualitativo, sendo mais con-
veniente quando se requer escolha controlada
Por outro lado, os levantamentos amostrais de elementos com determinadas característi-
podem apresentar vantagens sobre os cen- cas, como criminosos, pacientes etc.
sos. Por exemplo, os censos possuem fortes
requisitos técnicos e administrativos. Esses Amostragem não probabilística
requisitos nem sempre são perfeitamente se-
guidos em grandes populações em função da A amostragem não probabilística é desenvolvi-
dificuldade em se manter o adequado nível de da com o objetivo de analisar um grupo de ele-
qualidade em todos os testes aplicados. Isso mentos pertencentes a uma população, mas
significa que a qualidade e a confiabilidade dos não obedece a regras estatísticas de seleção
dados coletados em um censo mal executado dos elementos que permitam que as conclu-
podem vir a ser menores do que aquelas ob- sões observadas na amostra possam ser esten-
tidas em um trabalho menor e mais manejá- didas automaticamente ao restante da popu-
vel como a amostragem. Normalmente, nos lação. Na amostragem não probabilística ou
levantamentos censitários necessita-se a con- não estatística, a seleção dos elementos para a
tratação de uma grande quantidade de pes- análise ocorre de forma não aleatória e segun-
quisadores. Por outro lado, as pesquisas em do critérios definidos caso a caso. Portanto,
menor escala, realizadas por amostragem, em amostra não probabilística é um subgrupo da
geral, permitem a contratação de profissionais população no qual a escolha dos elementos
MÓDULO 3 – Fase Analítica da Auditoria 61
Nesse sentido, duas alternativas de ação co- O método dos casos críticos é utilizado quando
muns em auditorias são a seleção de itens com o pesquisador busca conhecer casos essenciais
base na conveniência ou no conhecimento e ou chave para compreender como ou por que
experiência dos profissionais envolvidos. A um determinado fenômeno ocorreu de forma
amostragem por conveniência ocorre quan- diferente daquela que se esperava que ele ti-
do os elementos mais acessíveis são escolhi- vesse ocorrido. Ou seja, os elementos são es-
dos para compor uma amostra. Essa forma colhidos dentre aqueles que apresentam com-
de seleção geralmente é feita em função de portamento não usual, ou raro. Esse seria o
62 Ministério da Saúde – Auditoria do SUS no contexto do SNA
a realização da seleção aleatória. Além disso, que se optou por uma amostra probabilística,
a amostragem aleatória simples pode não ser a equipe deve definir que nível de impreci-
exequível em levantamentos amostrais abran- são vai adotar para o cálculo do tamanho da
gentes, por exemplo, de caráter nacional, que amostra. Quanto maior o nível de precisão,
requerem a aplicação de muitos questionários maior o tamanho da amostra necessário para
em campo. Os custos com deslocamentos se- garanti-lo. Por outro lado, não se deve admi-
riam enormes, já que haveria grande probabi- tir níveis de erro muito elevados, sob pena de
lidade de grande número de municípios com enfraquecimento das conclusões do trabalho
apenas um elemento selecionado. ou da opinião a ser emitida.
Qual técnica é a mais adequada? O que é ne- Para a definição dos níveis aceitáveis de erro,
cessário para calcular o tamanho da amostra deve-se considerar os recursos humanos, fi-
nanceiros e de tempo disponíveis. Além de
A primeira pergunta a ser respondida é se a uma margem de erro definida, a equipe tam-
equipe pretende generalizar as conclusões dos bém deve definir um determinado nível de
exames. Caso a questão de auditoria exija o confiança. O nível de confiança é expresso em
exame de casos específicos ou a generalização termos percentuais e representa a proporção
não traga nenhum ganho real para os achados, de amostras cujo intervalo de confiança deve-
deve-se optar por amostras não probabilísti- rá conter o valor do parâmetro populacional.
cas. Contudo, se a pretensão for emitir um
juízo sobre a situação da população, como Por exemplo, se o nível de confiança deter-
por exemplo “as unidades móveis do SAMU minado for de 95%, isso significa que o parâ-
ficaram em média 38 dias paradas para algum metro populacional estará verdadeiramente
tipo de conserto”, então deve-se buscar uma contido no intervalo de confiança estimado
amostra probabilística. com base em 95% das amostras possíveis de
tamanho “n” para aquela população. Contudo
Outro componente do delineamento amos- esse parâmetro não estará contido no interva-
tral é a definição do grau de tolerância a erro lo encontrado com base em 5% das amostras
que a equipe de auditoria estará disposta a possíveis, por serem elas insuficientemente
assumir. representativas da população. Caso uma des-
sas amostras não representativas tenha sido
Em levantamentos amostrais, as conclusões escolhida ao acaso, seus dados não produzirão
obtidas sempre contêm alguma imprecisão, inferências corretas.
ou seja, sempre estarão sujeitas a algum nível
de erro. A vantagem das amostras estatísticas Sendo assim, ao se fazer uma inferência esta-
é que elas permitem que tal imprecisão seja tística, é sempre necessário deixar claro que
definida e seja transparente. Assim, uma vez aquela afirmação tem apenas um determinado
64 Ministério da Saúde – Auditoria do SUS no contexto do SNA
nível de confiabilidade, e que sempre estará apenas duas alternativas como resposta,
sujeita a erros. “conforme” ou “não conforme”. Na solução
conservadora assume-se que a variabilidade
Níveis de confiança muito próximos de 100% é máxima, que ocorre quando metade dos
exigirão amostras muito grandes, enquanto casos examinados assume uma resposta e a
níveis inferiores podem não satisfazer o grau outra metade a resposta oposta. Isso equi-
de segurança requerido. Observe que caso se vale a uma a variância de 0,25.
deseje reduzir o tamanho de uma amostra, va-
riando margem de erro ou nível de confiança, Calculando o tamanho da amostra
do ponto de vista matemático, é preferível fi-
xar o nível de confiança e aumentar a margem Para o cálculo do tamanho da amostra além
de erro. Isso porque o tamanho da amostra do erro amostral, do nível de confiança e da
é bem mais sensível a essa última medida. variância da população, também importa
Pequenos aumentos na margem de erro pro- saber se a população é finita ou não. Para
vocam reduções consideráveis no tamanho da populações infinitas e, para fins práticos,
amostra. populações muito grandes em relação ao
tamanho da amostra que se pretende sele-
Por fim, para determinar o tamanho da amos- cionar, o tamanho da população não é leva-
tra é preciso saber o grau de variabilidade de do em conta.
cada informação que será coletada ou a vari- Além disso, a forma de calcular o tamanho
ância da população. Como essa informação di- da amostra depende se o que se pretende
ficilmente estará disponível, uma vez que não obter do conjunto de dados é uma média
se dispõe de informações sobre toda popula- ou uma proporção. Vejamos cada caso.
ção, a equipe precisará ser capaz de estimar a
variância das variáveis a serem coletadas. Cálculo da amostra aleatória simples
para médias
Iremos adotar a chamada solução conserva- A fórmula básica a ser empregada é a seguinte:
dora. Nesse caso, utiliza-se o máximo va-
lor que a variância pode assumir, para ob-
ter o tamanho de amostra necessário para
realizar inferências para quaisquer popu-
lações, mesmo aquelas com alta variabili-
dade. Entretanto, essa solução somente é
válida quando se pretende estimar propor- Onde:
ções, por exemplo, o percentual de irregu- n = tamanho da amostra;
laridades em convênios, em que se admitem z = fator “z”,
MÓDULO 3 – Fase Analítica da Auditoria 65
1. Insira uma coluna antes da coluna que contém os dados (selecione a coluna com os dados,
clique com o botão direito do mouse e clique em “inserir”)
Atenção ao segundo número do par ordenado. Ele deve ser muito maior que o tamanho da
população para evitar repetições.
MÓDULO 3 – Fase Analítica da Auditoria 67
3. Arraste a fórmula para as outras linhas (selecione a célula, clique com o botão esquerdo do
mouse no canto inferior direito da célula e arraste até a última linha com dados). O resultado
ésemelhante ao mostrado na tela a seguir:
68 Ministério da Saúde – Auditoria do SUS no contexto do SNA
4. Selecione a coluna com os números gerados, clique com o botão direito e depois em “Copiar”
na janela que vai aparecer. Selecione novamente a mesma coluna, clique com o botão direito e
depois em “Colar Especial” na janela que vai aparecer. Selecione “Valores” e clique em “OK”.
MÓDULO 3 – Fase Analítica da Auditoria 69
6. Pronto, agora use os n primeiros números como os elementos da sua amostra de tamanho n.
Importante
MÓDULO 4
FASE OPERATIVA
DA AUDITORIA
Este capítulo está organizado para apoiar o desenvolvimento do módulo 4 em sala de aula, cujo
objetivo é de preparar os participantes para discutir com propriedade os procedimentos neces-
sários para a condução da fase operativa de uma auditoria. O capítulo é composto pelas seguin-
tes seções e objetivos de aprendizagem:
A fase operativa corresponde à execução do que foi planejado na fase analítica. O objetivo
central nessa fase é obter evidências para caracterizar as constatações de forma consistente.
Evidenciação insuficiente compromete seriamente a qualidade da auditoria.
Para que possa ser bem-sucedida nesse intento, a equipe de auditoria deve pautar sua ação pelas
matrizes de coleta e análise de informações e executá-la dentro do cronograma desenvolvido. Os
principais produtos dessa fase da auditoria são a matriz de constatações e o relatório preliminar,
que sistematizam as constatações de auditoria e suas evidências.
MÓDULO 4 – Fase Operativa da Auditoria 71
c) indicação de pessoa de contato para as de- Agir com integridade a fim de evitar pressões
mandas de auditoria; e para violar princípios éticos e demonstrar in-
dependência e imparcialidade são indicativos
d) indicação de pessoas-chave nos processos de comportamento ético e profissional essen-
de trabalho estudados que podem vir a ser ciais para cultivar a credibilidade junto ao au-
consultadas ou entrevistadas. ditado e a terceiros.
A segunda opção é abordar o fato inesperado deve-se optar por não relatá-la nessa ocasião,
na auditoria em curso, desde que as seguintes deixando isso para o relatório preliminar.
condições estejam presentes:
e características dos fatos examinados, que Enquanto suficiência é uma medida de quanti-
devem ter relação clara com o critério de audi- dade, adequação é uma medida de qualidade
toria. Evidência confiável possui autenticidade da evidência. Evidências adequadas podem ser
e fidedignidade, o que depende da fonte de insuficientes; nesse caso, deve-se obter mais
informação e das circunstâncias em que as in- evidências de qualidade. De outro lado, evi-
formações foram obtidas. dências inadequadas nunca serão suficientes,
visto que lhes falta qualidade para respaldar a
Evidência pertinente é a que se relaciona de constatação.
forma lógica e coerente com as observações,
conclusões e recomendações de auditoria.
Evidência física: obtida por inspeção física; deve ser documentada por meio de amostras, foto-
grafias e filmes.
Evidência testemunhal: declarações tais como as obtidas em entrevistas e grupos focais. Esse
tipo de evidência deve ser registrada em documentos, sejam de áudio, vídeo ou textuais, de
modo a permitir sua análise.
Evidência analítica: obtida por meio de cálculos, comparações e raciocínio lógico utilizando-se in-
formações coletadas. Podem ser apresentadas em planilhas de cálculo e quadros comparativos,
por exemplo.
Evidências podem estar sujeitas a limitações Caso 1 – Auditoria realizada para apurar irre-
que afetam sua suficiência e adequação. gularidade na execução de convênios.
Evidências testemunhais tendem a não ser su-
ficientes, o que requer, para sua utilização em Constatação: A porta de entrada dos pacien-
auditoria, sejam corroboradas por documento tes ao tratamento oncológico na Fundação do
ou observação. Câncer não ocorre pela Central de Regulação
de Alta Complexidade.
Evidências provenientes apenas do gestor ou
da equipe da unidade auditada podem não
Evidência: A organização da porta de entra-
ser adequadas devido a problemas de viés, o da dos pacientes ao tratamento oncológico na
que afeta a confiabilidade. O mesmo ocorre Fundação, não ocorre a partir da Central de
quando a única fonte consultada tem interes- Regulação de Alta Complexidade do Estado.
se no resultado do trabalho. Nesses casos, o Essa ferramenta existe, mas o tratamento de
auditor deve procurar obter uma outra fon- Oncologia não está sendo regulado pela mes-
te de evidências para melhor fundamentar a ma, em desacordo com a Portaria GM/MS
constatação. no.1559/2008 artigo 8o paragrafo 1o incisos
I,II,V,VI e as orientações do INCA/MS.
Evidências obtidas de amostras não-represen-
tativas ou relacionadas a ocorrência isolada Fonte da Evidência: No SCNES, sob o nº
não permitem fazer afirmações em relação 99999, está cadastrado, no Estado X, o
ao conjunto de casos, o que representa uma Complexo Regulador, tendo como um dos ní-
limitação. veis de atenção a Central de Regulação de Alta
Complexidade.
A seguir, são analisadas evidências apresenta-
das em relatórios de auditoria do DENASUS. Conformidade: Não Conforme
MÓDULO 4 – Fase Operativa da Auditoria 79
Trata-se de ferramenta utilizada para organizar informações necessárias à sustentação das cons-
tatações obtidas. O processo lógico para identificação de constatações e formulação de reco-
mendações traz os elementos fundamentais envolvidos com uma constatação.
Critério de auditoria
(o que deveria ser)
Evidência (o que é)
Determinação de
causas e efeitos
Formulação da recomendação
O ponto de partida é o critério de auditoria, que pois há maior eficácia quando a recomendação
indica a situação ideal do objeto, definida por é dirigida à eliminação da causa de uma situação
norma ou padrão. Em seguida, toma-se a situa- não conforme. Explicitar o efeito dá a dimensão
ção real do objeto, encontrada na auditoria. Da da gravidade de uma situação não conforme.
comparação do critério com a evidência, surge
a constatação, que pode ser conforme ou não A organização dos elementos da constatação
conforme. no contexto de uma auditoria é feita por meio
de matriz de constatações, que, para cada
Uma constatação tem causas e efeitos, cuja ex- constatação, apresenta os respectivos crité-
plicitação contribui para sua caracterização. A rios, evidências e suas fontes, causas, efeitos e
causa da constatação é o alvo da recomendação, recomendações.
82 Ministério da Saúde – Auditoria do SUS no contexto do SNA
Constatações
Evidências
Critérios
Recomendações
O relatório preliminar é elaborado pela equipe com base nas constatações preliminares resul-
tantes dos trabalhos de verificação in loco. Trata-se de instrumento exclusivo de notificação ao
órgão, instituição ou unidade verificada, e aos agentes indicados como responsáveis. Com base
no relatório preliminar, o auditado apresenta justificativas para as constatações não conformes.
fonte de evidências
recomendações
constatação
evidências
}
MÓDULO 5
FASE DE RELATÓRIO
Este capítulo está organizado para apoiar o de-
senvolvimento do módulo 5 em sala de aula,
cujo objetivo foi o de preparar os participantes
para discutir com propriedade as característi-
cas de um relatório de auditoria eficaz e proce-
dimentos para encerramento da auditoria. O
capítulo é composto pelas seguintes seções e
objetivos de aprendizagem:
A construção de um bom relatório começa O conteúdo do relatório deve ser de fácil en-
com a interpretação da demanda e a elabora- tendimento, utilizando-se uma linguagem di-
ção da tarefa, quando se definem as questões reta, com períodos curtos e vocabulário ade-
de auditoria e o escopo. Ter um foco bem de- quado, e respeitando-se os aspectos técnicos
finido favorece o planejamento da auditoria, o do objeto da auditoria. Os termos técnicos,
que, por sua vez, favorece uma execução obje- desde que necessários, devem ser definidos
tiva buscando obter um conjunto de constata- em notas de rodapé ou glossário. Além disso,
ções relevantes, suficientemente apoiadas em as constatações devem ser apresentadas de
evidências bem documentadas. maneira direta e objetiva, demonstrando a
convicção da equipe de auditoria nos resulta-
Se as fases analítica e operativa foram bem dos do seu trabalho. Expressões que denotam
sucedidas e redundaram em constatações re- incerteza, tais como “parece que” ou “enten-
levantes apoiadas em evidências suficientes, demos”, enfraquecem a argumentação.
adequadas e pertinentes, organizar esse mate-
rial em um texto bem cuidado e organizado é o O relatório não é uma peça literária. Por isso,
passo seguinte. Porém, nem a melhor retórica deve-se eliminar o supérfluo, o floreio, as me-
vai resolver um problema de inconsistência na táforas e analogias desnecessárias. Sobretudo,
análise ou insuficiência de evidências. deve-se evitar clichês. Se for transcrever algum
texto, deve-se fazê-lo somente quando neces-
sário ao entendimento do raciocínio. O relató-
rio deve ater-se apenas a aquilo que é relevan-
Importante te, que tem importância dentro do contexto,
que contribui para as conclusões ou reforça as
Relatório depende fundamen- evidências.
talmente de um bom planeja-
mento da auditoria (fase ana- A análise das evidências envolve argumentação
lítica) e de uma boa execução lógica baseada em fatos (evidências). Por isso,
(fase operativa). deve-se evitar inferências descabidas, precon-
ceitos e opiniões não embasadas em fatos.
88 Ministério da Saúde – Auditoria do SUS no contexto do SNA
sendo objeto de auditoria. A visão geral deve Por fim, também devem ser mencionadas as
trazer uma descrição do objeto auditado que limitações impostas ao trabalho de auditoria
permita ao leitor compreender a sua relevân- associadas à confiabilidade ou à dificuldade na
cia e as suas principais características. obtenção de dados, assim como as limitações
relacionadas ao próprio escopo do trabalho,
Metodologia ou seja, as áreas e os aspectos não analisados.
É razoável pressupor que o auditado, na condi- equipe. Nessa situação, a equipe deve se per-
ção de gestor do objeto da auditoria, conhece guntar se a novidade está diretamente relacio-
com razoável profundidade esse objeto, ou, nada a constatação. Será que ela pode ser con-
pelo menos, conhece mais do que o auditor. siderada uma exceção ou é forte o suficiente
Assim, se houver alguma imperfeição na cons- para rever ou colocar em dúvida a constata-
tatação, é o olhar crítico do auditado que me- ção? Há elementos suficientes para compro-
lhor pode evidenciá-la. Ou seja, ouvir o audita- var a veracidade dessa nova evidência? Em al-
do, além de dever em função do princípio do guns casos, pode ser que seja necessário obter
contraditório, é uma ótima oportunidade para elementos complementares, que permitam
qualificar o trabalho de auditoria. decidir a questão.
Evidentemente, quanto mais claro e completo Caso o auditado não apresente fatos novos, mas
for o relatório preliminar encaminhado para a sim contrarrazões que podem alterar a análise
manifestação do auditado, melhor será a qua- ou interpretações das evidências, ou mesmo do
lidade desses comentários. De nada adianta critério de auditoria (por exemplo, uma nova
enviar um relatório incompleto ou confuso, regulamentação), o esforço da equipe deve ser
que dificulte o entendimento do auditado do em considerar a plausibilidade dos argumen-
que está em questão. tos apresentados. Mesmo que os novos argu-
mentos não sejam suficientes para convencer a
Análise das justificativas equipe, a mera dúvida, se não resolvida tempes-
tivamente, já é suficiente para alterar o teor da
Em função do princípio do contraditório, todas constatação. Lembre-se de que o compromisso
as alegações apresentadas pelo auditado de- do auditor é com a verdade, ou com a melhoria
vem ser objeto de análise. De fato, não exami- do serviço público, e não com as próprias ideias.
nar alguma das alegações pode se configurar
numa violação ao princípio do contraditório, o Caso o auditado apresente uma alegação que
que pode levar o auditado a contestar o rela- não esteja relacionada a qualquer constatação,
tório final. a equipe deve explicitar isso na análise de jus-
tificativas. Seja como for, deve ficar claro que
Na análise das justificativas apresentadas, a houve manifestação do auditado, mas que es-
equipe de auditoria deve ficar especialmente sas não dizem respeito ao conteúdo do relató-
atenta às situações que contestem ou pro- rio. Nesse caso, a justificativa do auditado tam-
blematizem as constatações. Há duas situa- bém deve ser anexada ao relatório, para que
ções típicas que podem provocar a revisão da possíveis leitores possam se certificar da inter-
constatação. Primeiramente, o auditado pode pretação dada pela equipe de auditoria.
apresentar evidência nova, ou contestar a ve-
racidade de uma evidência apresentada pela Do ponto de vista da organização do relatório,
MÓDULO 5 – Fase de Relatório 91
a melhor prática é colocar a justificativa do au- Saudável - MNS informa que os 12 óbitos
ditado no respectivo campo. Contudo, se o tex- maternos de 2013 e os 5 óbitos matemos
to for muito grande, ou contiver documentos ocorridos até agosto de 2014 foram 100% in-
anexos, deve ser apresentada uma síntese ob- vestigados, conforme documento em anexo
jetiva dos argumentos ou novos fatos. Nesses (Anexo 1).”
casos, deve-se colocar o texto original como
anexo, e referenciá-lo no corpo da justificativa. Análise da Justificativa: O Núcleo de
O mesmo deve se dar se a justificativa não for Vigilância Epidemiológico não encaminhou as
clara ou objetiva. A equipe deve fazer um es- cópias das investigações dos referidos óbitos
forço de entendimento e reescrevê-la da for- maternos, apenas foram encaminhados os in-
ma mais clara possível, colocando a justificativa dicadores epidemiológicos.
original em anexo.
Acatamento da Justificativa: Não
Vamos analisar alguns exemplos:
Nesse caso, embora o auditado conteste a evi-
Exemplo 1 dência, não apresenta elementos suficientes
para corroborar seu ponto de vista. Portanto,
Constatação: O Núcleo da Vigilância epide- a equipe não acatou a justificativa. Contudo,
miológica da Maternidade Nascer Saudável - em função da forma como foi redigida a cons-
MNS não apresentou registro de investigação tatação, o que realmente aconteceu não ficou
de óbitos maternos. claro. Antes de tudo, observe que a equipe
não explicitou o critério. A evidência também
Evidência: Os relatórios de epidemiologia não está clara, ela apenas repete o texto da
produzidos pela maternidade registram 12 constatação.
óbitos maternos no ano 2013 e 5 óbitos ma-
ternos até agosto/2014, sem apresentação Exemplo 2
de registro de investigação de óbitos mater-
nos durante os períodos de 2013 e 2014. Constatação: A maternidade não dispõe de
Centro de Parto Normal (CPN).
Fonte da Evidência: Cópia dos mapas com
os indicadores produzidos pelo o Núcleo da Evidência: A maternidade apresenta 09(nove)
Vigilância Epidemiológica da maternidade. quartos PPP (pré-parto, parto e pós-parto),
sendo 08 apartamentos com um leito por
Conformidade: Não Conforme. quarto e um apartamento com dois leitos
para observação da paciente, em áreas des-
Justificativa: “O Núcleo de Vigilância tinadas ao pré-parto, parto e pós-parto, não
Epidemiológica da Maternidade Nascer configurando um Centro de Parto Normal, em
92 Ministério da Saúde – Auditoria do SUS no contexto do SNA
desacordo com o que determina o Art.4º da previsão de conclusão até o fim de 2015. Mas
Portaria GM/MS nº 985, 05 de agosto de 1999 observe que esses elementos por si só não
e Art. 1º da Portaria GM/MS nº 904, de 29 de contradizem o que foi constatado. A não con-
maio de 2013. formidade continua. Ao aceitar a justificativa,
o problema apontado sai do radar do controle,
Fonte da Evidência: Visita à maternidade, em sem que o problema tenha de fato sido resol-
08/09/14. vido, ou mesmo que se tenha garantias sufi-
cientes para isso.
Conformidade: Não Conforme
5.3 Elaboração de recomendações
Justificativa: “A MNS possui atualmente um
Centro de Parto Humanizado que atende pa- As recomendações são comandos que visam
cientes de baixo e alto risco, sendo os partos melhorar dada situação. Uma auditoria é feita
realizados por médicos e enfermeiros. Existe com dois propósitos: atestar as conformidades
projeto de construção de um Centro de Parto e identificar não conformidades, e nesse último
Normal de baixo risco, como determina o Art. caso, corrigi-las.
4º da Portaria GM/MS N° 985, de 05 de agosto
de 1999, e Art. 1º da Podaria GM/MS N° 904, Portanto, o propósito das recomendações é a
de 29 de maio de 2013, com quarto PPP para melhoria do objeto auditado. Isso pode signifi-
realização de partos apenas de baixo risco, car três coisas:
realizados por enfermeiro obstétrico, com a
paciente permanecendo nesse ambiente até 1. Deixar de fazer algo que se fazia;
o momento da alta (previsão: final de 2015) Exemplo: ” Solicitar da Secretaria Municipal de
Segue anexada cópia da planta do referido Saúde que deixe de atrasar os repasses e pro-
Centro de Parto Normal (anexo 3).” mova a atualização dos que se encontram em
atraso, a fim de cumprir o disposto no inciso II,
Análise da Justificativa: O Diretor da do artigo 37, da Portaria/GM/MS nº 204, de 29
Maternidade apresentou a planta do Centro de janeiro de 2007.”
de Parto Normal, com previsão de conclusão
até o final de 2015. 2. Fazer de uma forma melhor algo que se fazia
de forma insuficiente;
Acatamento da Justificativa: Sim Exemplo: “Adequar dentro do possível as enfer-
marias e demais ambiências, em atendimento
Nesse caso, embora a equipe tenha acata- ao subitem 2, do item V, do anexo I, da Portaria
do a justificativa do auditado, o único dado GM/MS N° 1016, de 26 de agosto de 1993.”
novo apresentado pelo auditado foi a planta
do Centro de Parti Normal, e a afirmação de
MÓDULO 5 – Fase de Relatório 93
3. Fazer algo que deveria ser feito e que não se para os Serviços de Saúde.” Nesse exemplo,
fazia; seria importante explicitar o que deve mudar,
“Manter os dados do CNES atualizado, em con- e não apenas porque deve mudar (fundamen-
formidade com o subitem 4.3 do item 4 do ane- to legal). No exemplo dado, o que exatamente
xo I da RDC nº 36, de 03 de junho de 2008 e preconiza o art. 17?
atender a determinação da Portaria nº 511, de
29 de dezembro de 2000”. Exemplo 1
Por fim, a recomendação deve ser factível, deve Recomendação: Solicitar da Secretaria
considerar a disponibilidade de recursos, prazos, Municipal de Saúde a atualização dos repas-
legislação e outros fatores que possam estar en- ses e sua continuidade em tempo hábil, a fim
volvidos na sua implantação. Recomendações de cumprir o disposto no inciso II, do artigo 37,
não factíveis são inúteis. Procurar se colocar no da Portaria/GM/MS nº 204, de 29 de janeiro de
lugar do gestor e ser razoável no que se espera 2007.
auxilia na formulação da recomendação.
Destinatários da Recomendação:
Do ponto de vista formal, deve-se evitar re- Maternidade Nascer Saudável - MNS
comendações que façam apenas referência CNPJ: 00.000.000/0000-00
ao critério, sem explicitar do que se trata. Por
exemplo, “Cumprir o preconizado no Art 17 da Nesse exemplo, a recomendação deixa claro
Seção III- Das Condições Organizacionais e Arts. o que deve ser feito e por que deve ser feito.
30, 31 e 32 da Seção V - Da Gestão de Pessoal Além disso, ela é direcionada às causas da evi-
- DC/ANVISA nº 63/2011, que dispõe sobre os dência, o que é uma boa prática sempre que
Requisitos de Boas Práticas de Funcionamento for possível identificá-las.
94 Ministério da Saúde – Auditoria do SUS no contexto do SNA
Importante Importante
Não se pode concluir so-
A conclusão deve apresentar bre o que não foi objeto
as respostas às questões de de análise suficiente!
auditoria com base em evidên-
cias suficientes e apropriadas.
A equipe deve destacar os possíveis bene- A conclusão não deve ser uma exposição ex-
fícios esperados com a implementação das tensa de fatos ou argumentações detalhadas.
recomendações feitas. Sempre que possí- Além disso, ela não deve conter nenhum fato
vel, deve quantificá-los em termos de eco- ou argumento novo, que não tenha sido trata-
nomia potencial de recursos ou de melhoria do no corpo do relatório. Deve-se evitar opini-
no desempenho do objeto auditado. Nesse ões que extrapolem o conteúdo das análises e
sentido, a factibilidade das recomendações constatações.
sugeridas deve ser objeto de uma análise
criteriosa por parte da equipe de auditoria, Exemplo
incluindo o exame do impacto dos proble-
mas identificados e de como tais recomen- “O SAMU 192 do Município de Imperatriz foi
dações podem gerar melhorias. habilitado pelo Ministério da Saúde na Rede
Nacional de Atenção às Urgências em 2005,
É recomendável, que a equipe adote uma contando atualmente com uma Central de
abordagem equilibrada, reconhecendo as Regulação e três Bases Descentralizadas no
dificuldades enfrentadas pelo gestor e des- próprio município, regulando mais 14 Bases
tacando as iniciativas importantes por ele Descentralizadas em outros municípios. A
empreendidas para melhorar o desempenho Central de Regulação encontrava-se de acor-
e superar as deficiências apontadas. do com os parâmetros preconizados quanto à
divisão e dimensionamento dos ambientes, e
Por fim, a equipe deve incluir no relatório as Bases Descentralizadas no município pos-
quaisquer temas ou questões que conside- suíam localizações adequadas e instalações
re relevantes, mas que não façam parte dos com as áreas mínimas necessárias. A frota
objetivos da auditoria, para que sejam exa- de veículos em operação está formada por
minados oportunamente. duas Unidades de Suporte Avançado - USA,
sete Unidades de Suporte Básico - USB e uma
motolância, devidamente caracterizadas com
MÓDULO 5 – Fase de Relatório 97
REFERÊNCIAS
ANDERSON, D. R.; SWEENEY, D. J.; WILLIAMS, T. A. Estatística aplicada à administração e economia.
2. ed. São Paulo: Thomson, 2007.
______. Tribunal de Contas da União. Manual de Auditoria de Natureza Operacional. Brasília, 2010a.
______. Tribunal de Contas da União. Normas de Auditoria do Tribunal de Contas da União. Brasília,
2011b.
______. Tribunal de Contas da União. Padrões de auditoria de conformidade. Brasília: TCU, 2009.
______. Tribunal de Contas da União. Técnica de entrevista para auditorias. Brasília, 2010b.
______. Tribunal de Contas da União. Técnica de grupo focal para auditorias. Brasília, 2013b.
______. Tribunal de Contas da União. Técnica de pesquisa para auditorias. Brasília, 2010d.
ORGANIZAÇÃO DAS NAÇÕES UNIDAS. Sistema de saúde público brasileiro é referência internacional,
diz Banco Mundial. 2015. Disponível em <https://nacoesunidas.org/sistema-de-saude-publica-
brasileiro-e-referencia-internacional-diz-banco-mundial>. Acesso em: 3 set. 2015.
102
PESQUISA DE IMAGEM
Página 7: https://upload.wikimedia.org/wikipedia/commons/d/d4/Kind_beim_arzt.JPEG - Fonte:
google - imagem marcada para reutilização
9 788533 424845
MINISTÉRIO DA
SAÚDE
MINISTÉRIO DA
SAÚDE