Você está na página 1de 10

Artigos

A Teoria da Mudança e
sua possível utilização em
Auditorias Operacionais

RESUMO
Fábio Mafra 
é servidor do Tribunal de Contas da Nas auditorias operacionais deve-se buscar
União, graduado em Arquitetura conhecer o objeto auditado com o apoio de técni-
e Urbanismo pela Universidade cas de diagnóstico. Uma das técnicas que apresenta
Federal de Santa Catarina, possibilidades de abrir novos horizontes e trazer
especialista em Orçamento novas soluções para os trabalhos do TCU é a teoria
Público pelo ISC/Cefor da Câmara da mudança, ou theory of change. A teoria da mudan-
dos Deputados; e Mestre em ça é uma representação gráfica sobre como a imple-
Economia, em gestão de negócios, mentação de um projeto, programa ou política leva
pela Universidade de Brasília. aos resultados e impactos esperados. A teoria de
mudança dispõe sequencialmente os insumos que
o projeto, programa ou política deverá utilizar, as
atividades que os insumos irão suportar, os produtos
que o programa pretende obter, assim como os resul-
tados e impactos esperados. Além disso, identifica
eventos ou condições que podem afetar a obtenção
dos resultados e os pressupostos subjacentes cons-
truídos acerca de como as mudanças deverão ocorrer
e sobre as relações de causa e efeito envolvidas. É
possível vislumbrar que a ferramenta poderá agregar
valor significativo para os resultados das auditorias,
podendo ser utilizadas para compreender os meca-
nismos de funcionamento dos programas auditados;
definir pontos de controle ao longo do processo de
desenvolvimento das ações desenvolvidas; identi-
ficar fatores que interferem nos resultados desse
processo; e visualizar os efeitos das recomendações
formuladas, considerando os demais fatores inter-
venientes. Por tudo isso, acredita-se que a teoria da

76 Revista do TCU 135


A Teoria da Mudança e sua possível utilização em Auditorias Operacionais // Artigos

retranca imagem

ctrl + Shift + click para liberar


retranca

mudança possa se constituir em uma ferramenta im- Manual de Auditoria Operacional do TCU (2010)
portante para a realização de trabalhos de auditoria menciona a análise SWOT, o diagrama de verificação
operacional de qualidade e de alto padrão técnico de risco, a análise dos stakeholders, o mapeamento
pelo TCU. de produtos e o mapeamento de processos. Todos
esses são métodos estudados e testados nas audito-
Palavras-chave: Auditoria operacional. Téc- rias, que contam com documentos técnicos especí-
nica de diagnóstico. Teoria da mudança. ficos para auxiliar os auditores no momento da sua
aplicação. A utilização dessas técnicas de diagnós-
1. INTRODUÇÃO tico assegura que a construção do conhecimento
sobre o objeto de auditoria seja realizada de forma
Poucas coisas podem ser consideradas tão fun- sistematizada e documentada. Cada um desses mé-
damentais para o sucesso de uma auditoria quanto todos comporta diferentes potencialidades e atende
conhecer, com o nível adequado de profundidade, a diferentes necessidades, caracterizando-se como
o objeto auditado. Isso está bem explicitado nas ferramentas à disposição do auditor para utilização,
normas internacionais de auditoria, que definem a depender da necessidade.
que os auditores devem obter um entendimento da Nesse sentido, a introdução de novas técnicas
natureza da entidade ou do programa a ser audita- de diagnóstico é, em geral, muito bem-vinda, na me-
do (INTERNATIONAL STANDARDS OF SUPREME dida em que acaba abrindo novas possibilidades para
AUDIT INSTITUTIONS, 2015) i. Essa necessidade o trabalho de auditoria. Foi assim quando se utilizou
se torna especialmente importante quando lidamos pela primeira vez a análise Ishikawa ou “diagrama
com auditorias operacionais, que, dado o seu caráter espinha de peixe” em uma auditoria operacional. A
mais flexível na seleção de temas, objetos de audi- técnica foi introduzida porque fornecia uma nova
toria, métodos e critérios de fiscalização, deman- perspectiva, ao permitir o mapeamento de diversos
dam maior dedicação da equipe de auditoria com fatores causais, assim como suas inter-relações que
o objetivo de conhecer o assunto, o programa e as determinavam a origem de uma determinada situ-
entidades auditadas. ação problema, encaixando-se, perfeitamente, nas
Nas auditorias operacionais desenvolvidas necessidades decorrentes da problemática que havia
pelo Tribunal de Contas da União (TCU), preconiza- motivado a auditoriaii.
-se que essa busca de conhecimento seja realizada Entre junho e julho de 2015, tive a oportunida-
com o apoio de variadas técnicas de diagnóstico. O de de participar de um treinamento denominado In-

Janeiro/abril 2016 77
Artigos

ternational Program for Development Evaluation (IPDET) ser utilizada para projetar e avaliar as iniciativas que
iii
, que é patrocinado pelo Banco Mundial em parceria buscam promover mudanças sociais. É um tipo de
com a Universidade de Carleton do Canadá e que “planta baixa dos blocos de construção” necessários
teve lugar em Ottawa. Foram quatro semanas de ao alcance dos objetivos de longo prazo de alguma
intenso treinamento sobre a avaliação de projetos, iniciativa governamental visando à promoção de
programas e políticas, que envolveu a apresentação mudanças na sociedade (ACTKNOWLEDGE AND
de teoria e ferramentas, assim como o desenvolvi- ASPEN INSTITUTE, 2003).
mento de estudos de caso e de discussões em grupo. Uma teoria de mudança deve (MORRA-IMAS;
Uma das técnicas mais interessantes divulgadas no RIST, 2009, p. 151):
treinamento, que parecia apresentar amplas possibi-
lidades de abrir novos horizontes e trazer novas so- • descrever a sequência de insumos que o pro-
luções para os trabalhos do TCU foi o mapeamento jeto, programa ou política deverá utilizar, as
da teoria da mudança, ou theory of change, que con- atividades que os insumos irão suportar, os
siste na representação da lógica de funcionamento produtos que o programa pretende obter, as-
dos programas e políticas públicas para o alcance de sim como os resultados e impactos que são
seus resultados e impactos esperadosiv. esperados;
O presente artigo tem por objetivo apresentar
a técnica e descrever sua finalidade, assim como ava- • identificar eventos ou condições que podem
liar em que medida poderia ser adaptada às necessi- afetar a obtenção dos resultados;
dades do Tribunal e utilizada no desenvolvimento
de auditorias operacionais. • identificar os pressupostos que o programa
está assumindo sobre as relações de causa e
2. O QUE É E COMO É UTILIZADA efeito;
A TEORIA DA MUDANÇA
• identificar os pressupostos críticos que, com
A teoria da mudança é uma representação grá- base na realidade do programa e na revisão
fica acerca de como a implementação de um projeto, da literatura, devem ser examinados em uma
programa ou política leva aos resultados e impactos avaliação.
esperados, considerando os pressupostos subjacen-
tes construídos acerca de como as mudanças deve- A teoria da mudança expressa as crenças so-
rão ocorrer. Trata-se de uma ferramenta que pode bre por que o programa deve atingir seus objeti-

Ambiente
Figura 1:
Movendo-se
dos insumos Caixa preta
aos impactos
Insumos Atividades Produtos Resultados Impactos

*Cenário macroeconômico, contexto da política, ambiente político etc.

Fonte: PALUMBO, S. (adaptado de MORRA-IMAS; RIST, 2009, p. 152).

Nota: Insumos são recursos financeiros, humanos e materiais; atividades são as ações executadas; produtos são serviços ou artigos produzidos; resultados são as mudanças comportamentais
esperadas; impactos são melhorias de longo prazo disseminadas na sociedade.

78 Revista do TCU 135


A Teoria da Mudança e sua possível utilização em Auditorias Operacionais // Artigos

vos. Especifica os componentes dos programas e pode propiciar diversos benefícios, entre os quais
os relacionamentos que mantém. Portanto, a teoria podem ser destacados os seguintes:
da mudança descreve como recursos são providos
para possibilitar que uma organização implemente • possibilitar uma visão clara de como uma in-
atividades com objetivos específicos, expressos em tervenção deve funcionar, podendo apontar
termos de produtos, resultados e impactos, todos possíveis falhas de concepção;
inter-relacionados.
Adicionalmente, devem ser identificados os • possibilitar a identificação de suposições que
pressupostos e suposições subjacentes à lógica de podem estar associadas a riscos de não se atin-
funcionamento do programa. Em certo sentido, a gir os resultados esperados;
teoria da mudança “abre a caixa preta” para mos-
trar como uma intervenção espera converter insu- • facilitar a identificação de questões a serem
mos, atividades e produtos em resultados e impactos avaliadas;
(MORRA-IMAS; RIST, 2009).
A teoria de mudança, muitas vezes, é desenvol- • viabilizar um entendimento comum sobre
vida pelos gestores governamentais, à medida que ela- o funcionamento do programa ou atividade
boram a concepção de uma determinada intervenção, governamental;
programa ou política pública. Mas muitas iniciativas
governamentais são desenvolvidas sem que a teoria • auxiliar a identificação de elementos-chave
da mudança seja descrita de forma explícita. do programa, que desempenham papel crítico
Em função disso, frequentemente a teoria para seu sucesso;
de mudança acaba sendo elaborada no âmbito de
uma avaliação da política pública. No contexto de • facilitar a identificação de indicadores para
uma avaliação, a teoria de mudança costuma ser a mensuração do progresso do programa ou
desenvolvida ao final do estudo inicial do progra- atividade governamental; e
ma avaliado.
A utilização da teoria da mudança para des- • possibilitar a apresentação dos resultados de
crever uma atividade, programa ou política pública uma determinada política ou programa.

Janeiro/abril 2016 79
Artigos

Antes de iniciar a construção ou a revisão de • Os professores estão dispostos a realizar as


uma teoria da mudança, os avaliadores devem pos- visitas;
suir um claro entendimento do propósito e dos obje-
tivos do programa, política ou atividade envolvidos. • Os pais receberão bem os professores;
Deve-se prestar especial atenção às seguintes ques-
tões (INTERNATIONAL PROGRAM FOR DEVELO- • Os pais aceitarão discutir sua visão acerca de
PMENT EVALUATIONS TRAINING, 2015): como educar seus filhos com os professores;

• Qual o conhecimento que embasa e sustenta • Os professores entenderão melhor a cultura


a intervenção? das famílias e com isso serão mais simpáticos
com os alunos;
• Qual é a lógica da intervenção?
• Os professores ajustarão a sua maneira de en-
• Quais são os pressupostos-chave que estão sinar com base no que aprenderam nas visitas;
sendo considerados?
• Os pais desejam se envolver no processo.
• Quais são as demais potenciais influências
operando no contexto da intervenção? 3. POSSIBILIDADES DE UTILIZAÇÃO
DA TEORIA DA MUDANÇA EM
Diversos modelos podem ser utilizados para AUDITORIAS OPERACIONAIS DO TCU
facilitar a construção de uma teoria da mudança. A
Figura 2 apresenta um dos fluxogramas que atende Conforme já mencionado, dada a variedade de
adequadamente às necessidades da técnica. temas que costumam ser sujeitos à avaliação, é comum
A Figura 3, por sua vez, apresenta um exem- que se utilizem nas auditorias operacionais técnicas de
plo de teoria de mudança acabado, que embora não diagnóstico para melhor entendimento do objeto de
esteja estruturado como o modelo anterior, propor- auditoria. Muitas vezes, os métodos empregados pro-
ciona uma boa ideia de como se supõe funcionar a vêm de outras áreas do conhecimento, especialmente
lógica de uma iniciativa governamental. das ciências sociais e do ambiente da administração e
Pressupostos: gestão empresarial. Exemplos dessa utilização são: a
análise SWOT, em que se busca avaliar as forças, fra-
• Os pais estão disponíveis em suas casas no quezas, oportunidades e ameaças inerentes a determi-
momento das visitas; nado empreendimento; o mapeamento de processos,

Figura 2: Influências Influências


Modelo de teoria
da mudança Insumos Atividades Produtos Resultados Impactos

Influências Influências
Pressupostos

Fonte: IPDET, 2015

80 Revista do TCU 135


A Teoria da Mudança e sua possível utilização em Auditorias Operacionais // Artigos

Visitas dos professores às casas dos alunos


Figura 3:
Exemplo de teoria
da mudança Compartilhamento de visões entre pais e professores

Nota: Esse exemplo não identifica explicitamente os diversos compo- Conhecimento Identificação
nentes da teoria da mudança, que podem ser resumidos da seguinte Entendimento dos problemas
pelos pais
maneira: professores, alunos e casas dos alunos são insumos; visitas são dos professores que retardam o
das expectativas
atividades; conversas e conscientização dos pais são produtos; maior da cultura desempenho dos
da escola em alunos (saúde,
simpatia dos professores e comparecimento dos alunos são resultados; de casa
relação aos alunos emocionais etc.)
a melhoria no desempenho escolar é o impacto.

Apoio dos pais Conhecimento


Simpatia dos Apoio dos pais
nas tarefas de pelos pais das
professores pelas para o maior
casa e nos expectativas da
crianças e sua comparecimento
trabalhos escola em relação
visão de mundo às aulas
escolares aos alunos

Ensinamento
Recebimento
de forma Conscientização
Comparecimento pelos alunos
confortável e do trabalho
dos alunos de atenção
compreensível pelos estudantes
especial
para os alunos

Melhoria
Moral dos nas condições
estudantes (saúde,
emocionais etc.)

Desempenho
em leitura
Fonte: WEISS (1972 apud MORRA-IMAS; RIST, 2009, com adaptações).

em que se procura conhecer o funcionamento de pro- empresas, por outro lado, as análises SWOT compor-
cessos de trabalho utilizados pela entidade auditada tam um papel mais direto na definição das estratégias
e identificar oportunidades para a racionalização das empresariais, fornecendo elementos para se possa de-
rotinas de trabalho; e a análise dos stakeholders, que tem finir um posicionamento para a empresa no mercado.
por objetivo identificar os principais grupos de interes- A ideia é tirar proveito de suas forças e das oportuni-
se, suas opiniões e conflitos existentes (TCU, 2010). dades que se apresentam, mas protegê-la dos efeitos
Entretanto, as técnicas metodológicas oriundas de suas fragilidades e de ameaças.
de outros campos da atuação humana, para terem uma Também foi assim com a análise Ishikawa. Para
utilização plena no âmbito das auditorias operacionais, o ambiente empresarial, o criador da técnica, o enge-
muitas vezes precisam passar por adaptações de forma nheiro químico Kaoru Ishikawa definiu quatro grupos
a satisfazer as necessidades próprias dessa modalidade fixos de fontes de problemas (método; matéria-prima;
de auditoria. mão de obra; máquinas) (DAYCHOUM, 2007). Contu-
Assim se deu com a análise SWOT, que vem do, no âmbito das auditorias operacionais a utilização
sendo utilizada, no contexto das auditorias, predo- da “espinha de peixe” foi desenvolvida de forma mais
minantemente, como uma ferramenta de diagnóstico livre, buscando contemplar os grupos de problemas
para a identificação de fragilidades e priorização de existentes na política pública avaliada.
aspectos que necessitam ser avaliados durante o de- Assim, a técnica da teoria da mudança, que já
senvolvimento da fiscalização. Tanto é assim que, em vem sendo utilizada no contexto da comunidade inter-
geral, as análises SWOT são acompanhadas da cons- nacional de avaliação de políticas públicas, que conta
trução de diagramas de verificação de riscos, em que com envolvimento de diversas entidades internacio-
as fragilidades e ameaças são desdobradas em riscos nais, em especial do Banco Mundial (BIRD), do Banco
correspondentes. No ambiente da administração das Interamericano de Desenvolvimento (BID) e da Orga-

Janeiro/abril 2016 81
Artigos

nização das Nações Unidas (ONU), poderá necessitar duas técnicas que já vêm sendo utilizadas nas audi-
de adaptações ao ingressar no campo das auditorias torias operacionais: o marco lógico e o mapeamento
operacionais. de produtos.
Contudo, já é possível vislumbrar que a ferra- Por desconhecimento, as denominações “teoria
menta poderá agregar valor significativo para os re- da mudança” e “marco lógico” são usadas, com frequ-
sultados das auditorias, podendo ser utilizadas com ência, como se fossem sinônimos. O marco lógico pode
as seguintes finalidades: ser considerado a primeira tentativa de se descrever os
componentes dos programas governamentais, de forma
• compreensão dos mecanismos de funciona- a demonstrar como atividades levam a resultados. Tam-
mento de programas, políticas e atividades bém apresenta os insumos, as atividades, os produtos e
governamentais auditados; os resultados. Mas a teoria da mudança, além de dispor
graficamente esses componentes, é um modelo causal:
• identificação de outros fatores que interagem liga os resultados às atividades para explicar como e por-
com os programas, políticas e atividades go- que a mudança almejada deverá se materializar. Isso se
vernamentais auditados e interferem nos seus torna possível por meio da explicitação dos pressupos-
resultados; tos subjacentes à atividade avaliada. Nesse sentido, o
marco lógico conserva características mais descritivas,
• definição de pontos de controle ao longo do enquanto a teoria da mudança possui um caráter expli-
processo de desenvolvimento das atividades cativo (CLARK, H; ANDERSON, A. A., 2004).
auditadas; e As diferenças em relação ao mapeamento de
produtos seguem uma lógica semelhante. Essa técni-
• visualização dos efeitos das recomendações ca também identifica insumos, produtos e impactos,
formuladas ao longo do processo de implemen- mas apenas a teoria da mudança expressa os pressu-
tação das atividades auditadas. postos envolvidos e, assim, possibilita a identificação
das crenças que justificam a cadeia de causa e efeito
A primeira abordagem mencionada correspon- definida para o objeto avaliado. Esses pressupostos
de ao uso mais tradicional da ferramenta. Consiste são fatores-chave para o adequado funcionamento do
em utilizar a teoria da mudança como técnica de diag- programa ou da atividade auditada e a avaliação dos
nóstico de auditoria para a compreensão de como se reais efeitos dos fatores envolvidos pode ser relevante
estruturam e funcionam os programas, políticas e ati- para a compreensão dos achados de auditoria. Assim,
vidades governamentais auditados. Nesse sentido, o a teoria da mudança possibilita uma visão integral do
mapeamento da teoria da mudança assemelha-se a processo operacional da atividade auditada, incluindo

82 Revista do TCU 135


A Teoria da Mudança e sua possível utilização em Auditorias Operacionais // Artigos

as pressuposições sobre as relações de causa e efeito, se qualitativa, quais medidas poderiam ter um efeito
o que tem grande valor para a perfeita apreensão pela potencial mais benéfico, considerando o contexto da
equipe de auditoria da lógica de funcionamento da atividade avaliada. Com isso, a utilização da teoria
iniciativa governamental avaliada. da mudança representaria uma iniciativa inovadora
A segunda finalidade mencionada também re- para o desenvolvimento das auditorias operacionais,
presenta um diferencial da teoria da mudança em rela- uma vez que, atualmente, dentre as técnicas utiliza-
ção a outras técnicas de diagnóstico em uso. Justifica-se das pelo TCU, inexiste uma ferramenta com essas
pela possibilidade que a teoria da mudança tem de ex- características.
pressar e considerar outros fatores relevantes, além da Na análise até aqui desenvolvida busca-se ava-
política ou atividade auditada, que têm potencial para liar, em tese, os potenciais benefícios dessa nova me-
influir nos resultados que a política pretende alcançar. todologia, considerando o conjunto de outras técnicas
Com isso, a técnica permite antever como fatores ex- testadas e disponíveis para essa modalidade de audi-
ternos podem contribuir ou mesmo dificultar o alcance toria. Entretanto, ao se avaliar as possibilidades de
dos objetivos definidos. utilização da teoria da mudança em auditorias ope-
Como terceira aplicação, a teoria da mudança racionais, faz-se necessário considerar, também, em
também pode ser útil para a identificação de pontos que medida existe, na prática, demanda por essa me-
de controle ao longo do processo de desenvolvimen- todologia nas auditorias operacionais que estão sendo
to das atividades auditadas que sejam significativos desenvolvidas atualmente.
para a medição de indicadores de desempenho. Nesse Assim, a participação recente em projeto desen-
sentido, os conhecimentos propiciados pela teoria da volvido pelo TCU para a aferição do grau de aderência
mudança poderão subsidiar a análise da qualidade dos dos procedimentos adotados pelo Tribunal às normas
indicadores existentes e a formulação de recomenda- internacionais de auditoria, ofereceu a oportunidade
ções para a utilização de indicadores ou o aperfeiçoa- de se analisar uma pequena amostra aleatória de seis
mento dos que a entidade auditada já utilizava. auditorias operacionais desenvolvidas pelo TCU em
Por fim, essa nova técnica oferece a oportunida- 2014. A análise das informações coletadas demons-
de de se visualizar como as eventuais medidas reco- trou que esse tipo de abordagem, caracterizado pelo
mendadas pelo Tribunal poderão se inserir na cadeia estudo detalhado do objeto de auditoria na fase ini-
de relações de causa e efeito presentes em uma deter- cial da fiscalização – que marcadamente caracterizava
minada atividade ou política pública avaliada e que as auditorias desenvolvidas pela antiga Secretaria de
consequências essa inserção poderá provocar. Dessa Fiscalização e Avaliação de Programas de Governo
forma, seria possível avaliar, por meio de uma análi- (Seprog) – está sendo pouco utilizada no TCU atual-

Janeiro/abril 2016 83
Artigos

mente. Constatou-se que nenhuma das seis auditorias zar a necessidade das técnicas de diagnóstico para
estudadas fez uso de técnicas de diagnóstico. o melhor conhecimento dos temas e das entidades
Portanto, não obstante o potencial da técnica auditadas. Creio que, a partir desse novo quadro, a
teoria de mudança para os trabalhos de auditoria ope- teoria da mudança possa se constituir em uma fer-
racional, constata-se que a nova ferramenta deverá ramenta ainda mais importante para a realização de
contar com demanda limitada, restringindo-se a tra- trabalhos de auditoria operacional de qualidade e de
balhos que necessitem comportar um maior aprofun- alto padrão técnico pelo TCU.
damento dos temas auditados.
NOTAS
4. CONCLUSÃO
1 Princípios Fundamentais de Auditoria do Setor Público.
A teoria da mudança é uma técnica qualitativa International Standards of Supreme Audit Institutions (ISSAI
com excelente potencial para aperfeiçoar ainda mais 100/45).
os trabalhos de auditoria operacional desenvolvidos
pelo TCU, na medida em que possibilita uma visão 2 A primeira utilização deste método ocorreu em 2008, na
consolidada de todo o processo de funcionamento auditoria que procurou avaliar a concessão e a manutenção
da atividade ou política pública submetidos à ava- dos benefícios de auxílio-doença por parte do INSS, em
liação. A teoria da mudança agrega aos componen- que se procurava entender as razões pelas quais os
tes que integram as políticas públicas informações dispêndios com esse tipo de benefício haviam aumentado
relacionadas à influências externas e aos pressupos- acentuadamente (TC 012.034/2008-7). Atualmente, a forma
tos que sustentam as relações de causa e efeito que, de utilização da técnica está explicada no documento
supostamente, levam aos resultados esperados. Por técnico do TCU “Técnicas de análise de problemas para
essa razão, permite a análise bastante detalhada e auditorias” (2013).
abrangente da lógica de funcionamento do programa
ou atividade auditada, o que pode contribuir para a 3 O IPDET é um programa de treinamento executivo que
realização de auditorias operacionais de qualidade. tem por objetivo dotar os estudantes com as ferramentas
Além disso, a técnica oferece uma oportuni- requeridas para avaliar políticas, programas e projetos de
dade para a avaliação dos efeitos das possíveis reco- desenvolvimento, executados em âmbito local, nacional,
mendações e determinações do Tribunal no conjunto regional ou global.
de fatores presentes no ambiente do objeto auditado,
o que não é possível por meio das demais técnicas 4 A maior parte das informações sobre a teoria da mudança
que vêm sendo empregadas. disponibilizadas no presente artigo estão referenciadas nas
Não obstante o potencial evidenciado, o qua- aulas expositivas e nas notas de aula correspondentes dos
dro atual das auditorias operacionais em desen- professores Linda G. Morra Imas e Ray C. Rist.
volvimento no TCU indica que a demanda para a
utilização dessa nova ferramenta metodológica é
limitada, uma vez que muitos trabalhos de nature-
za operacional não têm utilizado técnicas de diag-
nóstico durante o processo de análise dos objetos
de auditoria.
Em decorrência disso, rememoro o argumento
inicial do presente artigo, que, apoiado nas normas
internacionais de auditoria, enfatiza a importância
do adequado conhecimento dos objetos auditados
para o desenvolvimento de auditorias de elevado pa-
drão técnico. Nesse sentido, considero fundamental
maior ênfase no estudo dos programas e atividades
nas auditorias operacionais desenvolvidas pelo Tri-
bunal. Para tanto, entendo que seria desejável que
as capacitações dos auditores passassem a enfati-

84 Revista do TCU 135


A Teoria da Mudança e sua possível utilização em Auditorias Operacionais // Artigos

REFERÊNCIAS PALUMBO, Salvatore. Movendo-se dos insumos aos


impactos (adaptado de MORRA-IMAS; RIST, 2009, p. 152).
AC TKNOWLEDGE AND ASPEN INSTITUTE. Theory of Brasília, 2015. 1 ilustração.
Change. Roundtable on Community Change. S. loc.,
2003. Disponível em: http://www.theoryofchange.org/. T R I B U N A L D E C O N TA S D A U N I Ã O . M a n u a l d e
Acesso em: 7 set. 2015. Auditoria Operacional, TCU. Brasília, 2010. Disponível
e m : < h t t p : / / p o r t a l. tc u. g ov. b r / l u m i s / p o r t a l / f i l e /
CLARK, Heléne; ANDERSON, Andrea A. Theories of change fileD ownload.jsp?inline=1&fileId=8A8182A14D7
and logic models : Telling them apart (apresentação). 8C1F1014D7957B04E155C>. Acesso em: 4 out. 2015.
Aspen Institute Roundtable on Community Change.
Aspen, 2004. TRIBUNAL DE CONTAS DA UNIÃO. Técnicas de análise
de problemas para auditorias. TCU. Brasília, 2013.
DAYCHOUM, Merhi. 40 ferramentas e técnicas de Disponível em: <http://portal.tcu.gov.br/lumis/portal/
gerenciamento. Brasport. Rio de Janeiro, 2007 file/fileDownload.jsp?inline=1& fileId=8A8182A14D78C
1F1014D7957D4F85058>. Acesso em: 4 out. 2015.
I N T E R N AT I O N A L P R O G R A M F O R D E V E LO P M E N T
EVALUATIONS TRAINING. Designing and Conduction WEISS, Carol. Evaluation Research : Methods for Assessing
Effective Evaluations : Core Curriculum Presentations. Program Effectiveness. Englewood Cliffs, New Jersey:
Ottawa, 2015. Prentice Hall, 1972 apud MORRA-IMAS, Linda G.; RIST,
Ray C. The road to results : designing and conducting
INTERNATIONAL STANDARDS OF SUPREME AUDIT e f fe c t i ve d e ve l o p m e n t e v a l u a t i o n s. Wo r l d b a n k .
INSTITUTIONS. – Princípios Fundamentais de Auditoria Washington, 2009.
do Setor Público – ISSAI 100 in Normas Internacionais das
Entidades Fiscalizadoras Superiores (ISSAI) : Princípios
Fundamentais de Auditoria (nível 3). TCU. Brasília, 2015.

MORRA-IMAS, Linda G.; RIST, Ray C.The road to results


: designing and conducting effective development
evaluations. World Bank. Washington, 2009.

Janeiro/abril 2016 85

Você também pode gostar