Escolar Documentos
Profissional Documentos
Cultura Documentos
A Teoria da Mudança e
sua possível utilização em
Auditorias Operacionais
RESUMO
Fábio Mafra
é servidor do Tribunal de Contas da Nas auditorias operacionais deve-se buscar
União, graduado em Arquitetura conhecer o objeto auditado com o apoio de técni-
e Urbanismo pela Universidade cas de diagnóstico. Uma das técnicas que apresenta
Federal de Santa Catarina, possibilidades de abrir novos horizontes e trazer
especialista em Orçamento novas soluções para os trabalhos do TCU é a teoria
Público pelo ISC/Cefor da Câmara da mudança, ou theory of change. A teoria da mudan-
dos Deputados; e Mestre em ça é uma representação gráfica sobre como a imple-
Economia, em gestão de negócios, mentação de um projeto, programa ou política leva
pela Universidade de Brasília. aos resultados e impactos esperados. A teoria de
mudança dispõe sequencialmente os insumos que
o projeto, programa ou política deverá utilizar, as
atividades que os insumos irão suportar, os produtos
que o programa pretende obter, assim como os resul-
tados e impactos esperados. Além disso, identifica
eventos ou condições que podem afetar a obtenção
dos resultados e os pressupostos subjacentes cons-
truídos acerca de como as mudanças deverão ocorrer
e sobre as relações de causa e efeito envolvidas. É
possível vislumbrar que a ferramenta poderá agregar
valor significativo para os resultados das auditorias,
podendo ser utilizadas para compreender os meca-
nismos de funcionamento dos programas auditados;
definir pontos de controle ao longo do processo de
desenvolvimento das ações desenvolvidas; identi-
ficar fatores que interferem nos resultados desse
processo; e visualizar os efeitos das recomendações
formuladas, considerando os demais fatores inter-
venientes. Por tudo isso, acredita-se que a teoria da
retranca imagem
mudança possa se constituir em uma ferramenta im- Manual de Auditoria Operacional do TCU (2010)
portante para a realização de trabalhos de auditoria menciona a análise SWOT, o diagrama de verificação
operacional de qualidade e de alto padrão técnico de risco, a análise dos stakeholders, o mapeamento
pelo TCU. de produtos e o mapeamento de processos. Todos
esses são métodos estudados e testados nas audito-
Palavras-chave: Auditoria operacional. Téc- rias, que contam com documentos técnicos especí-
nica de diagnóstico. Teoria da mudança. ficos para auxiliar os auditores no momento da sua
aplicação. A utilização dessas técnicas de diagnós-
1. INTRODUÇÃO tico assegura que a construção do conhecimento
sobre o objeto de auditoria seja realizada de forma
Poucas coisas podem ser consideradas tão fun- sistematizada e documentada. Cada um desses mé-
damentais para o sucesso de uma auditoria quanto todos comporta diferentes potencialidades e atende
conhecer, com o nível adequado de profundidade, a diferentes necessidades, caracterizando-se como
o objeto auditado. Isso está bem explicitado nas ferramentas à disposição do auditor para utilização,
normas internacionais de auditoria, que definem a depender da necessidade.
que os auditores devem obter um entendimento da Nesse sentido, a introdução de novas técnicas
natureza da entidade ou do programa a ser audita- de diagnóstico é, em geral, muito bem-vinda, na me-
do (INTERNATIONAL STANDARDS OF SUPREME dida em que acaba abrindo novas possibilidades para
AUDIT INSTITUTIONS, 2015) i. Essa necessidade o trabalho de auditoria. Foi assim quando se utilizou
se torna especialmente importante quando lidamos pela primeira vez a análise Ishikawa ou “diagrama
com auditorias operacionais, que, dado o seu caráter espinha de peixe” em uma auditoria operacional. A
mais flexível na seleção de temas, objetos de audi- técnica foi introduzida porque fornecia uma nova
toria, métodos e critérios de fiscalização, deman- perspectiva, ao permitir o mapeamento de diversos
dam maior dedicação da equipe de auditoria com fatores causais, assim como suas inter-relações que
o objetivo de conhecer o assunto, o programa e as determinavam a origem de uma determinada situ-
entidades auditadas. ação problema, encaixando-se, perfeitamente, nas
Nas auditorias operacionais desenvolvidas necessidades decorrentes da problemática que havia
pelo Tribunal de Contas da União (TCU), preconiza- motivado a auditoriaii.
-se que essa busca de conhecimento seja realizada Entre junho e julho de 2015, tive a oportunida-
com o apoio de variadas técnicas de diagnóstico. O de de participar de um treinamento denominado In-
Janeiro/abril 2016 77
Artigos
ternational Program for Development Evaluation (IPDET) ser utilizada para projetar e avaliar as iniciativas que
iii
, que é patrocinado pelo Banco Mundial em parceria buscam promover mudanças sociais. É um tipo de
com a Universidade de Carleton do Canadá e que “planta baixa dos blocos de construção” necessários
teve lugar em Ottawa. Foram quatro semanas de ao alcance dos objetivos de longo prazo de alguma
intenso treinamento sobre a avaliação de projetos, iniciativa governamental visando à promoção de
programas e políticas, que envolveu a apresentação mudanças na sociedade (ACTKNOWLEDGE AND
de teoria e ferramentas, assim como o desenvolvi- ASPEN INSTITUTE, 2003).
mento de estudos de caso e de discussões em grupo. Uma teoria de mudança deve (MORRA-IMAS;
Uma das técnicas mais interessantes divulgadas no RIST, 2009, p. 151):
treinamento, que parecia apresentar amplas possibi-
lidades de abrir novos horizontes e trazer novas so- • descrever a sequência de insumos que o pro-
luções para os trabalhos do TCU foi o mapeamento jeto, programa ou política deverá utilizar, as
da teoria da mudança, ou theory of change, que con- atividades que os insumos irão suportar, os
siste na representação da lógica de funcionamento produtos que o programa pretende obter, as-
dos programas e políticas públicas para o alcance de sim como os resultados e impactos que são
seus resultados e impactos esperadosiv. esperados;
O presente artigo tem por objetivo apresentar
a técnica e descrever sua finalidade, assim como ava- • identificar eventos ou condições que podem
liar em que medida poderia ser adaptada às necessi- afetar a obtenção dos resultados;
dades do Tribunal e utilizada no desenvolvimento
de auditorias operacionais. • identificar os pressupostos que o programa
está assumindo sobre as relações de causa e
2. O QUE É E COMO É UTILIZADA efeito;
A TEORIA DA MUDANÇA
• identificar os pressupostos críticos que, com
A teoria da mudança é uma representação grá- base na realidade do programa e na revisão
fica acerca de como a implementação de um projeto, da literatura, devem ser examinados em uma
programa ou política leva aos resultados e impactos avaliação.
esperados, considerando os pressupostos subjacen-
tes construídos acerca de como as mudanças deve- A teoria da mudança expressa as crenças so-
rão ocorrer. Trata-se de uma ferramenta que pode bre por que o programa deve atingir seus objeti-
Ambiente
Figura 1:
Movendo-se
dos insumos Caixa preta
aos impactos
Insumos Atividades Produtos Resultados Impactos
Nota: Insumos são recursos financeiros, humanos e materiais; atividades são as ações executadas; produtos são serviços ou artigos produzidos; resultados são as mudanças comportamentais
esperadas; impactos são melhorias de longo prazo disseminadas na sociedade.
vos. Especifica os componentes dos programas e pode propiciar diversos benefícios, entre os quais
os relacionamentos que mantém. Portanto, a teoria podem ser destacados os seguintes:
da mudança descreve como recursos são providos
para possibilitar que uma organização implemente • possibilitar uma visão clara de como uma in-
atividades com objetivos específicos, expressos em tervenção deve funcionar, podendo apontar
termos de produtos, resultados e impactos, todos possíveis falhas de concepção;
inter-relacionados.
Adicionalmente, devem ser identificados os • possibilitar a identificação de suposições que
pressupostos e suposições subjacentes à lógica de podem estar associadas a riscos de não se atin-
funcionamento do programa. Em certo sentido, a gir os resultados esperados;
teoria da mudança “abre a caixa preta” para mos-
trar como uma intervenção espera converter insu- • facilitar a identificação de questões a serem
mos, atividades e produtos em resultados e impactos avaliadas;
(MORRA-IMAS; RIST, 2009).
A teoria de mudança, muitas vezes, é desenvol- • viabilizar um entendimento comum sobre
vida pelos gestores governamentais, à medida que ela- o funcionamento do programa ou atividade
boram a concepção de uma determinada intervenção, governamental;
programa ou política pública. Mas muitas iniciativas
governamentais são desenvolvidas sem que a teoria • auxiliar a identificação de elementos-chave
da mudança seja descrita de forma explícita. do programa, que desempenham papel crítico
Em função disso, frequentemente a teoria para seu sucesso;
de mudança acaba sendo elaborada no âmbito de
uma avaliação da política pública. No contexto de • facilitar a identificação de indicadores para
uma avaliação, a teoria de mudança costuma ser a mensuração do progresso do programa ou
desenvolvida ao final do estudo inicial do progra- atividade governamental; e
ma avaliado.
A utilização da teoria da mudança para des- • possibilitar a apresentação dos resultados de
crever uma atividade, programa ou política pública uma determinada política ou programa.
Janeiro/abril 2016 79
Artigos
Influências Influências
Pressupostos
Nota: Esse exemplo não identifica explicitamente os diversos compo- Conhecimento Identificação
nentes da teoria da mudança, que podem ser resumidos da seguinte Entendimento dos problemas
pelos pais
maneira: professores, alunos e casas dos alunos são insumos; visitas são dos professores que retardam o
das expectativas
atividades; conversas e conscientização dos pais são produtos; maior da cultura desempenho dos
da escola em alunos (saúde,
simpatia dos professores e comparecimento dos alunos são resultados; de casa
relação aos alunos emocionais etc.)
a melhoria no desempenho escolar é o impacto.
Ensinamento
Recebimento
de forma Conscientização
Comparecimento pelos alunos
confortável e do trabalho
dos alunos de atenção
compreensível pelos estudantes
especial
para os alunos
Melhoria
Moral dos nas condições
estudantes (saúde,
emocionais etc.)
Desempenho
em leitura
Fonte: WEISS (1972 apud MORRA-IMAS; RIST, 2009, com adaptações).
em que se procura conhecer o funcionamento de pro- empresas, por outro lado, as análises SWOT compor-
cessos de trabalho utilizados pela entidade auditada tam um papel mais direto na definição das estratégias
e identificar oportunidades para a racionalização das empresariais, fornecendo elementos para se possa de-
rotinas de trabalho; e a análise dos stakeholders, que tem finir um posicionamento para a empresa no mercado.
por objetivo identificar os principais grupos de interes- A ideia é tirar proveito de suas forças e das oportuni-
se, suas opiniões e conflitos existentes (TCU, 2010). dades que se apresentam, mas protegê-la dos efeitos
Entretanto, as técnicas metodológicas oriundas de suas fragilidades e de ameaças.
de outros campos da atuação humana, para terem uma Também foi assim com a análise Ishikawa. Para
utilização plena no âmbito das auditorias operacionais, o ambiente empresarial, o criador da técnica, o enge-
muitas vezes precisam passar por adaptações de forma nheiro químico Kaoru Ishikawa definiu quatro grupos
a satisfazer as necessidades próprias dessa modalidade fixos de fontes de problemas (método; matéria-prima;
de auditoria. mão de obra; máquinas) (DAYCHOUM, 2007). Contu-
Assim se deu com a análise SWOT, que vem do, no âmbito das auditorias operacionais a utilização
sendo utilizada, no contexto das auditorias, predo- da “espinha de peixe” foi desenvolvida de forma mais
minantemente, como uma ferramenta de diagnóstico livre, buscando contemplar os grupos de problemas
para a identificação de fragilidades e priorização de existentes na política pública avaliada.
aspectos que necessitam ser avaliados durante o de- Assim, a técnica da teoria da mudança, que já
senvolvimento da fiscalização. Tanto é assim que, em vem sendo utilizada no contexto da comunidade inter-
geral, as análises SWOT são acompanhadas da cons- nacional de avaliação de políticas públicas, que conta
trução de diagramas de verificação de riscos, em que com envolvimento de diversas entidades internacio-
as fragilidades e ameaças são desdobradas em riscos nais, em especial do Banco Mundial (BIRD), do Banco
correspondentes. No ambiente da administração das Interamericano de Desenvolvimento (BID) e da Orga-
Janeiro/abril 2016 81
Artigos
nização das Nações Unidas (ONU), poderá necessitar duas técnicas que já vêm sendo utilizadas nas audi-
de adaptações ao ingressar no campo das auditorias torias operacionais: o marco lógico e o mapeamento
operacionais. de produtos.
Contudo, já é possível vislumbrar que a ferra- Por desconhecimento, as denominações “teoria
menta poderá agregar valor significativo para os re- da mudança” e “marco lógico” são usadas, com frequ-
sultados das auditorias, podendo ser utilizadas com ência, como se fossem sinônimos. O marco lógico pode
as seguintes finalidades: ser considerado a primeira tentativa de se descrever os
componentes dos programas governamentais, de forma
• compreensão dos mecanismos de funciona- a demonstrar como atividades levam a resultados. Tam-
mento de programas, políticas e atividades bém apresenta os insumos, as atividades, os produtos e
governamentais auditados; os resultados. Mas a teoria da mudança, além de dispor
graficamente esses componentes, é um modelo causal:
• identificação de outros fatores que interagem liga os resultados às atividades para explicar como e por-
com os programas, políticas e atividades go- que a mudança almejada deverá se materializar. Isso se
vernamentais auditados e interferem nos seus torna possível por meio da explicitação dos pressupos-
resultados; tos subjacentes à atividade avaliada. Nesse sentido, o
marco lógico conserva características mais descritivas,
• definição de pontos de controle ao longo do enquanto a teoria da mudança possui um caráter expli-
processo de desenvolvimento das atividades cativo (CLARK, H; ANDERSON, A. A., 2004).
auditadas; e As diferenças em relação ao mapeamento de
produtos seguem uma lógica semelhante. Essa técni-
• visualização dos efeitos das recomendações ca também identifica insumos, produtos e impactos,
formuladas ao longo do processo de implemen- mas apenas a teoria da mudança expressa os pressu-
tação das atividades auditadas. postos envolvidos e, assim, possibilita a identificação
das crenças que justificam a cadeia de causa e efeito
A primeira abordagem mencionada correspon- definida para o objeto avaliado. Esses pressupostos
de ao uso mais tradicional da ferramenta. Consiste são fatores-chave para o adequado funcionamento do
em utilizar a teoria da mudança como técnica de diag- programa ou da atividade auditada e a avaliação dos
nóstico de auditoria para a compreensão de como se reais efeitos dos fatores envolvidos pode ser relevante
estruturam e funcionam os programas, políticas e ati- para a compreensão dos achados de auditoria. Assim,
vidades governamentais auditados. Nesse sentido, o a teoria da mudança possibilita uma visão integral do
mapeamento da teoria da mudança assemelha-se a processo operacional da atividade auditada, incluindo
as pressuposições sobre as relações de causa e efeito, se qualitativa, quais medidas poderiam ter um efeito
o que tem grande valor para a perfeita apreensão pela potencial mais benéfico, considerando o contexto da
equipe de auditoria da lógica de funcionamento da atividade avaliada. Com isso, a utilização da teoria
iniciativa governamental avaliada. da mudança representaria uma iniciativa inovadora
A segunda finalidade mencionada também re- para o desenvolvimento das auditorias operacionais,
presenta um diferencial da teoria da mudança em rela- uma vez que, atualmente, dentre as técnicas utiliza-
ção a outras técnicas de diagnóstico em uso. Justifica-se das pelo TCU, inexiste uma ferramenta com essas
pela possibilidade que a teoria da mudança tem de ex- características.
pressar e considerar outros fatores relevantes, além da Na análise até aqui desenvolvida busca-se ava-
política ou atividade auditada, que têm potencial para liar, em tese, os potenciais benefícios dessa nova me-
influir nos resultados que a política pretende alcançar. todologia, considerando o conjunto de outras técnicas
Com isso, a técnica permite antever como fatores ex- testadas e disponíveis para essa modalidade de audi-
ternos podem contribuir ou mesmo dificultar o alcance toria. Entretanto, ao se avaliar as possibilidades de
dos objetivos definidos. utilização da teoria da mudança em auditorias ope-
Como terceira aplicação, a teoria da mudança racionais, faz-se necessário considerar, também, em
também pode ser útil para a identificação de pontos que medida existe, na prática, demanda por essa me-
de controle ao longo do processo de desenvolvimen- todologia nas auditorias operacionais que estão sendo
to das atividades auditadas que sejam significativos desenvolvidas atualmente.
para a medição de indicadores de desempenho. Nesse Assim, a participação recente em projeto desen-
sentido, os conhecimentos propiciados pela teoria da volvido pelo TCU para a aferição do grau de aderência
mudança poderão subsidiar a análise da qualidade dos dos procedimentos adotados pelo Tribunal às normas
indicadores existentes e a formulação de recomenda- internacionais de auditoria, ofereceu a oportunidade
ções para a utilização de indicadores ou o aperfeiçoa- de se analisar uma pequena amostra aleatória de seis
mento dos que a entidade auditada já utilizava. auditorias operacionais desenvolvidas pelo TCU em
Por fim, essa nova técnica oferece a oportunida- 2014. A análise das informações coletadas demons-
de de se visualizar como as eventuais medidas reco- trou que esse tipo de abordagem, caracterizado pelo
mendadas pelo Tribunal poderão se inserir na cadeia estudo detalhado do objeto de auditoria na fase ini-
de relações de causa e efeito presentes em uma deter- cial da fiscalização – que marcadamente caracterizava
minada atividade ou política pública avaliada e que as auditorias desenvolvidas pela antiga Secretaria de
consequências essa inserção poderá provocar. Dessa Fiscalização e Avaliação de Programas de Governo
forma, seria possível avaliar, por meio de uma análi- (Seprog) – está sendo pouco utilizada no TCU atual-
Janeiro/abril 2016 83
Artigos
mente. Constatou-se que nenhuma das seis auditorias zar a necessidade das técnicas de diagnóstico para
estudadas fez uso de técnicas de diagnóstico. o melhor conhecimento dos temas e das entidades
Portanto, não obstante o potencial da técnica auditadas. Creio que, a partir desse novo quadro, a
teoria de mudança para os trabalhos de auditoria ope- teoria da mudança possa se constituir em uma fer-
racional, constata-se que a nova ferramenta deverá ramenta ainda mais importante para a realização de
contar com demanda limitada, restringindo-se a tra- trabalhos de auditoria operacional de qualidade e de
balhos que necessitem comportar um maior aprofun- alto padrão técnico pelo TCU.
damento dos temas auditados.
NOTAS
4. CONCLUSÃO
1 Princípios Fundamentais de Auditoria do Setor Público.
A teoria da mudança é uma técnica qualitativa International Standards of Supreme Audit Institutions (ISSAI
com excelente potencial para aperfeiçoar ainda mais 100/45).
os trabalhos de auditoria operacional desenvolvidos
pelo TCU, na medida em que possibilita uma visão 2 A primeira utilização deste método ocorreu em 2008, na
consolidada de todo o processo de funcionamento auditoria que procurou avaliar a concessão e a manutenção
da atividade ou política pública submetidos à ava- dos benefícios de auxílio-doença por parte do INSS, em
liação. A teoria da mudança agrega aos componen- que se procurava entender as razões pelas quais os
tes que integram as políticas públicas informações dispêndios com esse tipo de benefício haviam aumentado
relacionadas à influências externas e aos pressupos- acentuadamente (TC 012.034/2008-7). Atualmente, a forma
tos que sustentam as relações de causa e efeito que, de utilização da técnica está explicada no documento
supostamente, levam aos resultados esperados. Por técnico do TCU “Técnicas de análise de problemas para
essa razão, permite a análise bastante detalhada e auditorias” (2013).
abrangente da lógica de funcionamento do programa
ou atividade auditada, o que pode contribuir para a 3 O IPDET é um programa de treinamento executivo que
realização de auditorias operacionais de qualidade. tem por objetivo dotar os estudantes com as ferramentas
Além disso, a técnica oferece uma oportuni- requeridas para avaliar políticas, programas e projetos de
dade para a avaliação dos efeitos das possíveis reco- desenvolvimento, executados em âmbito local, nacional,
mendações e determinações do Tribunal no conjunto regional ou global.
de fatores presentes no ambiente do objeto auditado,
o que não é possível por meio das demais técnicas 4 A maior parte das informações sobre a teoria da mudança
que vêm sendo empregadas. disponibilizadas no presente artigo estão referenciadas nas
Não obstante o potencial evidenciado, o qua- aulas expositivas e nas notas de aula correspondentes dos
dro atual das auditorias operacionais em desen- professores Linda G. Morra Imas e Ray C. Rist.
volvimento no TCU indica que a demanda para a
utilização dessa nova ferramenta metodológica é
limitada, uma vez que muitos trabalhos de nature-
za operacional não têm utilizado técnicas de diag-
nóstico durante o processo de análise dos objetos
de auditoria.
Em decorrência disso, rememoro o argumento
inicial do presente artigo, que, apoiado nas normas
internacionais de auditoria, enfatiza a importância
do adequado conhecimento dos objetos auditados
para o desenvolvimento de auditorias de elevado pa-
drão técnico. Nesse sentido, considero fundamental
maior ênfase no estudo dos programas e atividades
nas auditorias operacionais desenvolvidas pelo Tri-
bunal. Para tanto, entendo que seria desejável que
as capacitações dos auditores passassem a enfati-
Janeiro/abril 2016 85