CURSO INTRODUTÓRIO DE AVALIAÇÃO

EM SAÚDE COM FOCO EM VIGILÂNCIA

SANITÁRIA

AULA 5
Abordagens metodológicas em avaliação

Módulo 2
Conceitos e métodos da avaliação
MÓDULO 2

Conceitos e métodos de avaliação

Este módulo aborda os principais conceitos do campo da

avaliação em saúde, seus objetivos e as diferentes classificações,
os tipos de estudos avaliativos, além de apresentar os atributos
da qualidade e das abordagens metodológicas em avaliação.
 03

MINISTÉRIO DA SAÚDE
Programa de Apoio Desenvolvimento Institucional do Sistema Único de Saúde
(PROADI-SUS)
Agência Nacional de Vigilância Sanitária (Anvisa)
Projeto de Institucionalização de Práticas Avaliativas: A Gestão Estratégica da
Vigilância Sanitária Baseada em Evidências
Curso Introdutório de Avaliação em Saúde com Foco em Vigilância Sanitária

EQUIPE DIRETIVA DO HOSPITAL ALEMÃO OSWALDO CRUZ - HAOC

Superintendente da Responsabilidade Social
Ana Paula N. Marques de Pinho
Superintendente de Inovação, Pesquisa e Educação
Kenneth Almeida
Gerente de Projetos
Nidia Cristina de Souza
Direção Acadêmica FECS
Letícia Faria Serpa

AGÊNCIA NACIONAL DE VIGILÂNCIA SANITÁRIA – ANVISA

Diretor-Presidente
William Dib
Diretores
Alessandra Bastos
Renato Porto
Fernando Mendes Garcia Neto
Antônio Barra Torres
Assessora-Chefe do Sistema Nacional de Vigilância Sanitária
Mariângela T do Nascimento

GRUPO EXECUTIVO DO PROJETO

Hospital Alemão Oswaldo Cruz
Nidia Cristina de Souza
Bruno Lopes Zanetta
Coordenação Geral do Curso ANVISA
Isabella Chagas Samico

EQUIPE INNOVATIV – LABORATÓRIO DE EDUCAÇÃO CONECTADA DA FECS/HAOC

Gestão dos Processos EaD
Débora Schuskel
Gestão dos Processos do Curso
Jocimara Rodrigues de Sousa
Gestão do Ambiente Virtual de Aprendizagem
Rafael Santana Santos
Designer Educacional
Nayara Bertin
Produção Áudio Visual
Wellington Florentino Leite
 04

EQUIPE TÉCNICA
Equipe Técnica do Projeto – Conteúdo e Texto
Ana Coelho de Albuquerque
Bruno Lopes Zanetta
Danila Augusta Accioly Varella Barca
Denise Ferreira Leite
Eronildo Felisberto
Gabriella de Almeida Raschke Medeiros
Isabella Chagas Samico
Luciana Santos Dubeux
Mônica Baeta Silveira Santos
Patrícia Fernanda Toledo Barbosa

Revisão Técnica do Conteúdo

Ana Coelho de Albuquerque
Danila Augusta Accioly Varella Barca
Eronildo Felisberto
Gabriella de Almeida Raschke Medeiros
Isabella Chagas Samico
Luciana Santos Dubeux
 05

Sumário

Aula 5 – Abordagens metodológicas em avaliação 06

Introdução – Como avaliar? 07

1. Conceitos Iniciais 09

2. Quantitativo, qualitativo ou ambos? 10

Síntese da aula 19

Referências 20

Leitura Complementar 20
 06

Aula 5 – Abordagens
metodológicas em avaliação

Ementa da aula

Nesta aula serão apresentadas as principais abordagens metodológicas

de estudos em avaliação e sua aplicabilidade nos serviços de saúde.

Objetivos de aprendizagem

Conhecer as principais abordagens metodológicas de estudos em

avaliação, analisando-as criticamente, bem como sua aplicabilidade nos
serviços de saúde.
 07

Introdução
Na aula anterior você aprendeu os principais conceitos do campo da avaliação em
saúde, os objetivos e tipos de estudos avaliativos, bem como conheceu os atributos da
qualidade em avaliação. Assim, foi possível compreender sua importância como
ferramenta-chave na tomada de decisões no complexo contexto da saúde.

Nesta aula, avançaremos um pouco mais no conhecimento acerca do campo da

avaliação, introduzindo questões metodológicas dos estudos de avaliação em saúde. Como
uma área de conhecimento considerada emergente e nova, a avaliação apresenta
consensos e dissensos nas suas definições, referenciais teóricos e modelos.
Portanto, a seleção de uma abordagem de avaliação a ser utilizada é, por vezes, um dilema
para o avaliador1.

Como avaliar?
Todos nós, em grande parte do Quando decidimos realizar um estudo
tempo, emitimos algum juízo de valor sobre formal para avaliar alguma intervenção,
fatos, pessoas ou objetos que nos rodeiam. É provavelmente esse interesse surge da
essa capacidade que nos permite tomar constatação da insuficiência de
decisões rápidas sem precisarmos realizar informações nas avaliações informais que
grandes investigações sobre causas, fazemos.
determinações, consequências, efeitos
indesejados, entre outros, toda vez que
precisamos decidir algo. Essas opiniões que
formamos são resultados dos nossos
aprendizados diários, baseados na
experiência vivida ou transmitida por
alguém.

Porém, em circunstâncias que
envolvem nossas atividades profissionais,
nas quais lidamos com problemas que
afetam milhares de pessoas, com recursos
financeiros e em que precisamos tomar
decisões que terão repercussões para além
da nossa vida pessoal, as evidências
baseadas apenas em nossa experiência de
vida não devem ser suficientes, nem
exclusivas, para orientar nossas decisões.
Lançamos mão, então, do conhecimento
científico para buscar as evidências de que
precisamos. Isso significa que iremos nos
aproximar e conhecer o nosso objeto a partir
de uma investigação metódica e sistemática
da realidade.
Quando decidimos realizar um estudo
avaliativo, várias perguntas assomam: o que
e quando avaliar? Como escolher a Atenção!
abordagem metodológica adequada? Que
tipos de desenho de estudo são mais
apropriados para avaliar? O estudo deve ser
quantitativo ou qualitativo? Que método de
coleta de dados devo utilizar? Essas são
perguntas que sempre acometem os
pesquisadores no início de seus estudos e de
sua prática de avaliação. Como mencionado
anteriormente, a escolha da abordagem e
dos métodos de coleta de dados está longe
de ser uma decisão meramente técnica.
08
É preciso ter em mente vários
aspectos ao pensar sobre a abordagem
metodológica de um processo avaliativo. O
primeiro aspecto questionaria se avaliação
é interna ou externa. Outro aspecto é o
grau de abrangência da avaliação,
considerando-se mais distante, e por isso
mais objetiva, ou se mais imersa na
intervenção, e por isso mais subjetiva.
Ainda há que se considerar se a avaliação
seria uma pesquisa científica ou se estaria
voltada para a gestão. Por fim, essa escolha
também se centra nos objetivos da
avaliação, nos níveis, nos atributos e nas
dimensões de análise, no tipo da avaliação
e nas perguntas avaliativas, as quais
definem o caminho a ser seguido.
A escolha do desenho
metodológico da avaliação deve
apresentar-se o mais viável
possível, considerando a
disponibilidade de tempo e
recursos para que o processo
avaliativo seja oportuno e não gere
frustrações e falta de respostas
para uma tomada de decisão.
 09

Em avaliação, todas as ações dependem do nível de interesse dos

envolvidos e da intervenção a ser avaliada. Que perguntas sobre o programa
os interessados querem ver respondidas? Quem são os usuários e que usos
pretendem fazer dos resultados da avaliação? E quais as condições concretas
disponíveis para buscar as respostas? A discussão sobre como apreender
melhor a intervenção objeto da avaliação e as perguntas avaliativas que se
podem dirigir a esta é tema de módulos seguintes. Mas antes, exploraremos
os meios disponíveis para realizar as avaliações.

1. Conceitos iniciais
Antes de mais nada, vamos esclarecer, em poucas palavras, o que entendemos por
método e metodologia. Quase todas as definições que se encontram para a palavra método
derivam do grego antigo methodos, que significava “caminho para chegar a um fim”.
Buscando algumas definições, verifica-se que o termo vai se modificando, como mostrado
na figura abaixo 2:

Métodos

“Conjunto dos meios dispostos convenientemente para chegar a um fim

que se deseja.”
Antenor Nascentes3

“Conjunto de processos racionais, para fazer qualquer coisa ou obter

qualquer fim teórico ou prático.”
Cândido de Figueiredo4

“Caminho pelo qual se chega a um determinado resultado, ainda que esse

caminho não tenha sido fixado de antemão de modo deliberado e
refletido.”
Aurélio Buarque de Holanda Ferreira5
 10

Utilizando as palavras de Minayo6, podemos definir metodologia como o caminho

do pensamento e da prática exercida na abordagem da realidade.
As muitas formas de conduzir uma avaliação encontradas na literatura são
consequências dos variados conhecimentos e visões de mundo dos seus autores,
resultando em diferentes orientações filosóficas, metodológicas e práticas. A maioria dos
autores concorda, no entanto, que em avaliação não existe uma única perspectiva científica
aceita universalmente.

2. Quantitativo, qualitativo ou
ambos?
Sem uma definição sofisticada, há um senso comum de que a principal distinção
entre a abordagem qualitativa e a quantitativa é: os estudos quantitativos lidam com
números, enquanto que os qualitativos tratam com palavras. Podemos acrescentar a essa
definição que os estudos quantitativos coletam dados que se traduzem em números, que
sua análise pode ser estatística, e as conclusões são fundamentalmente baseadas na
intensidade dos efeitos e na significância das relações estatísticas. Já os estudos qualitativos
tendem a usar técnicas de entrevista e observação, nas quais as análises e registros tomam
a forma de narrativas7.
 11

Utilizando as palavras de Patton8, a abordagem quantitativa – ou experimental,

como tratam alguns autores – com frequência envolve coleta de dados ao menos em dois
pontos no tempo, chamados pré-teste e pós-teste, como nos grupos caso e controle. Os
dados de tais grupos são, então, comparados estatisticamente. Idealmente, os participantes
são designados para os grupos de tratamento ou de controle de forma aleatória ou, quando
não é possível, são pareados considerando algumas variáveis que os caracterizam. Tais
estudos assumem que a intervenção será identificável, coerente e consistente.

Uma vez iniciada a intervenção, o estudo permanecerá relativamente constante e

imutável. O propósito desses estudos é determinar a extensão em que o programa ou a
intervenção é responsável pelas mudanças medidas nos participantes, visando tomar
decisões de caráter somativo, ao final do programa ou da intervenção, sobre o valor e a
efetividade em produzir as mudanças desejadas. Além desses desenhos típicos, os estudos
observacionais (que na saúde identificamos entre os de caso-controle, coortes e os
transversais) incluem-se entre os que utilizam tradicionalmente a abordagem quantitativa.

Glossário

*Caso-controle: estudo retroanalítico, pois para se produzirem evidências científicas nesse tipo de
estudo, deve-se considerar grupos de casos seguramente diagnosticados e de controle
“comparável” aos casos, retroagindo-se na história de ambos os grupos para investigar possível
exposição a fatores de risco no passado que possam ser imputados como causais.

*Coorte: também chamado de prospectivo, por partir da observação de grupos comprovadamente

expostos a um fator de risco suposto como causa da doença a ser detectada no futuro.
*Estudo transversal: de caráter instantâneo, ou seja, a produção do dado é realizada em um único
momento no tempo10.
 12

Em contraste, a abordagem qualitativa, ou naturalística, concebe o

programa/intervenção como dinâmico e sempre em desenvolvimento, com mudanças em
importantes aspectos. À medida que os envolvidos aprendem, os clientes entram e saem, e
as condições de oferta do programa/intervenção são modificadas. Avaliadores qualitativos
buscam descrever esse processo dinâmico do programa e entender seus efeitos holísticos
sobre os participantes .

A abordagem qualitativa é especialmente apropriada no início ou nos momentos de

transição dos programas, pois é capaz de explicar como e por que ocorreram mudanças.
Quando uma inovação ou mudança é implementada, frequentemente os desdobramentos
do programa serão um tanto diferentes do que o planejado ou conceitualizado em sua
proposição. Uma vez em operação, programas são frequentemente alterados à proporção
que os profissionais aprendem o que funciona ou não, e que eles experimentam, ampliam
e mudam suas prioridades. Nota-se, portanto, que na prática pessoas e circunstâncias
imprevistas moldam o programa.

O quadro 1 apresenta algumas características das abordagens quantitativas e qualitativas

dos estudos avaliativos, veja na página a seguir.
 13

QUANTITATIVOS QUALITATIVOS

USOS
Para medir numericamente “quem, o que, Para analisar qualitativamente “como
quando, onde, quanto, com que frequência”.
e por que”.

DESENHOS DE ESTUDO
- Experimental - Estudo de caso
- Quase-experimental - Estimativa rápida
- Observacionais - Etnografia
- Descritivos - Histórica
- Análise de séries temporais - Pesquisa-ação
- Pesquisa participante

MÉTODO DE COLETA DE DADOS

Usa instrumentos padronizados: Utiliza instrumentos semi ou não estruturados:
- Inquéritos populacionais - Entrevistas semiestruturadas, abertas
- Entrevistas estruturadas - Grupo focal
- Questionários autoaplicados - Grupo de discussão
- Registros do programa/intervenção (sistemas - Observação participante
de informação) - Análise documental
- Observação estruturada. - Diário de campo
- Registros fotográficos, filmagens

O observador considera-se externo ao objeto de O observador está totalmente envolvido no

investigação, e frequentemente não se envolve objeto da avaliação: sua presença na cena da
pessoalmente ou emocionalmente entrevista ou do programa influencia para que a
com os eventos. informação se torne disponível.

A mesma informação é coletada no mesmo Flexibilidade na coleta de dados; o pesquisador

formato para todos os casos. enfatiza a compreensão do evento, não a
medida precisa.

ANÁLISE DOS DADOS

Os dados são transformados em uma série de Busca a identificação de temas recorrentes
valores numéricos, quantificáveis. e padrões.
Uso de métodos estatísticos. Análise de conteúdo, análise do discurso.

APRESENTAÇÃO DOS RESULTADOS

Em forma de tabelas, gráficos e modelos, Tópicos redigidos, com observações do campo e
seguido de um texto que explica os significados citações literais (falas), não separados
dos resultados. da discussão.

Quadro 1. Características gerais das abordagens quantitativas e qualitativas em estudos de avaliação

 14

TÉCNICAS DE COLETA PROPÓSITO VANTAGENS DESAFIOS

DE DADOS
Questionários, Quando se necessita - Poderiam ser - Podem não ter o
inquéritos, checklists coletar uma grande completados retorno desejável
quantidade de anonimamente
informação de pessoas, - Formulários podem
de forma rápida e fácil, - A aplicação não é influenciar as respostas
evitando uma atitude muito cara
intimidadora - São impessoais
- Fácil para comparar e
analisar - Não oferecem uma
história completa
- Aplicam-se para
muitas pessoas - Em inquéritos, podem
requerer expert em
- Podem coletar grande amostragem
quantidade de dados

- Já existem muitos
modelos de
questionário

Entrevistas Quando quiser - Obtêm informações - Podem tomar muito

compreender na na sua totalidade e tempo
totalidade as profundidade
impressões ou - Possivelmente difíceis
experiências de - Desenvolvem relação de analisar e comparar
alguém, ou aprofundar com o entrevistado
as respostas dadas aos - Podem ser caras
questionários - Podem ser flexíveis
com o entrevistado - Entrevistadores
eventualmente
influenciam as
respostas dos clientes

Análise documental Quando quiser - Obter informações - Pode tomar muito

impressões de como abrangentes e tempo
opera o programa sem históricas
interferir no seu - A informação pode
cotidiano: revisão de - Não interrompe o estar incompleta
aplicações, finanças, programa ou sua rotina
memorandos, - Precisa-se de clareza
relatórios, minutas, - As informações já sobre o que está sendo
entre outros existem procurado

- Poucos vieses de - Não há flexibilidade

Informação no significado dos
dados, sendo estes
restritos ao que já
existe
Quadro 2. Principais técnicas de coletas de dados em estudos de avaliação
 15

TÉCNICAS DE PROPÓSITO VANTAGENS DESAFIOS

COLETA DE DADOS

Observação Para coletar - Visão da operação - Pode ser difícil

informação precisa do programa como interpretar os
sobre como um ele de fato ocorre comportamentos
programa de fato observados
funciona, - Pode adaptar-se aos
particularmente a eventos como eles - Possível dificuldade
respeito dos ocorrem em categorizar as
processos observações

- Pode influenciar o
comportamento dos
participantes do
programa

- Pode ser cara

Grupo focal Explora um tópico em - Coleta impressões - Pode ser difícil

profundidade por de forma rápida e analisar as respostas
meio de discussão em consistente
grupo, ou seja, analisa - Requer bons
as reações sobre uma - Pode ser um modo facilitadores para
experiência ou eficiente de coletar garantir segurança e
sugestão, discussão informações em conclusão
de entendimentos quantidade e
comuns, entre outros profundidade em um - Dificuldade em
período curto programar o encontro
de 6 a 8 pessoas ao
- Pode comunicar mesmo tempo
informações chaves
sobre programas
Fonte: Adaptado de McNamara10.
Quadro 2. Principais técnicas de coletas de dados em estudos de avaliação

Dica! A coleta de dados é o ato de pesquisar, juntar

documentos e provas, procurar informações sobre um
determinado tema e agrupá-las de forma a facilitar uma
análise posterior.
 16

Na seleção de métodos e técnicas de coleta de dados, é importante considerar o

potencial de obtenção de informações úteis para os envolvidos no processo de avaliação.
Algumas vezes, durante o curso da avaliação, poderá ser necessário revisar as abordagens
escolhidas em função de mudanças políticas, institucionais ou organizacionais nos locais de
desenvolvimento dos programas. Dessa forma, algumas questões iniciais podem ser
levantadas na hora de selecionar ou revisar as abordagens metodológicas:

1. Que informações são necessárias para a tomada de decisões atualizadas sobre o

programa?

2. Dessas informações, quanto pode ser coletado e analisado de forma prática e com
baixo custo (questionários, inquéritos, checklists)?

3. Quanto de acurácia terão as informações (observar as limitações de cada método)?

4. Os métodos e técnicas de coleta selecionadas serão capazes de captar todas as

informações necessárias?

5. Que outros métodos poderiam ser utilizados, caso informações adicionais sejam
necessárias?

6. As informações se apresentarão confiáveis para os responsáveis pela tomada de

decisões (financiadores, diretores, gestores)?

7. As características dos participantes da avaliação estão em conformidade com os

métodos e técnicas selecionadas (cuidado no preenchimento de questionários,
participação ativa nas entrevistas ou discussões em grupos, liberação para análise de
documentos, entre outros)?

8. Há coordenador(es) para o trabalho de campo ou será necessário treinamento?

9. Como as informações poderão ser analisadas?

O debate entre as abordagens confunde-se com a evolução da avaliação. As

primeiras avaliações eram largamente focadas nas medidas quantitativas, cujos propósitos
e objetivos eram claros e específicos. Durante as décadas de 1960 e 1970, com base em
diversos autores, a abordagem quantitativa dominou largamente, e os desenhos das
avaliações quase sempre versavam sobre a efetividade dos programas.
 17

A partir de meados de 1970, alguns autores iniciaram a discussão sobre o foco da

avaliação e, ao seu fim, a abordagem qualitativa estava plenamente articulada. Seguiu-se um
período de diálogo entre as abordagens, durante o qual a requisição e as experiências com
múltiplos métodos tornaram-se mais comuns. Os sinais atuais apontam para tolerância
metodológica, flexibilidade, ecletismo e consciência da propriedade mais do que da
ortodoxia8.

Como afirma Patton8, a questão não é usar um ou outro, mas sim escolher entre o
adequado e relevante. Tratando-se de objetos complexos, como são muitos dos programas de
saúde, provavelmente é preciso utilizar múltiplos métodos. Atualmente, é consenso entre a
maioria dos estudiosos da avaliação que o uso de métodos quantitativos e qualitativos em um
mesmo estudo avaliativo pode torná-lo mais consistente. Entretanto, é fundamental estar
atento para que não haja justaposição ou somatório de métodos, abordagens ou
instrumentos, e sim uma integração coerente com as questões, objetos e propósitos do
estudo avaliativo11.

Dica!

Leia o artigo completo “Avaliação dos programas de saúde: perspectivas teórico-

metodológicas e políticas institucionais”, de autoria de Hartz e publicado na revista
Ciência & Saúde Coletiva11.
 18

O mérito do estudo não se encontra na forma da investigação, mas na relevância da

informação8. No fim das contas, o valor das informações dependerá de como elas serão
vistas e usadas pelos interessados. Temos que considerar que tipo de informação será
provavelmente melhor compreendido e visto com mais credibilidade por aqueles que irão
receber os resultados da avaliação12.

Lembre-se! A escolha do tipo de desenho, se

quantitativo, qualitativo ou ambos, dependerá do
que se quer saber sobre o programa e dos usuários
da informação.

Com toda a diversidade e polissemia contidas no campo da avaliação, a escolha do

caminho metodológico a ser seguido requer flexibilidade, criatividade e uma cuidadosa
análise dos vários métodos disponíveis, em consonância com o objeto e os propósitos de
um estudo avaliativo, e a partir das necessidades dos envolvidos na avaliação. Dessa forma,
por vezes poderá ser necessário revisar as abordagens escolhidas durante o curso da
avaliação em função de mudanças políticas, institucionais ou organizacionais no local onde
os programas/intervenções são desenvolvidos.
 19

Síntese da aula

Nesta aula, introduziu-se questões metodológicas dos estudos de avaliação em

saúde e os principais aspectos a serem considerados na escolha da abordagem de um
processo avaliativo. Pode-se afirmar que essa escolha está longe de ser meramente
técnica, uma vez que é centrada nos objetivos da avaliação, nos níveis, atributos e
dimensões de análise, no tipo da avaliação, e nas perguntas avaliativas – definidoras do
caminho a ser seguido. A abordagem escolhida também deve ser a mais viável possível,
considerando a disponibilidade de tempo e recursos, para que o processo avaliativo seja
oportuno e não gere frustrações e falta de respostas para uma tomada de decisão.

Na aula, também foi contemplada a distinção entre a abordagem qualitativa e a

quantitativa. A escolha do tipo de desenho, se quantitativo, qualitativo ou ambos,
dependerá do que se pretende saber sobre o programa/intervenção e dos usuários da
informação. Como normalmente os objetos a serem avaliados são complexos,
principalmente no campo da saúde, faz-se necessário o uso de múltiplos métodos.
Inclusive, para a criação de um estudo avaliativo mais consistente.

Por fim, no caso da avaliação em saúde, tudo o que se faz dependerá sempre do
nível de interesse dos envolvidos na intervenção a ser avaliada. E para mensurar esses
interesses de forma mais assertiva, é necessário saber: quais perguntas sobre o programa
os interessados querem ver respondidas? Quem são os usuários e que usos pretendem
fazer dos resultados da avaliação? E quais as condições concretas que se têm para buscar
as respostas? A discussão sobre como apreender melhor a intervenção objeto da avaliação
e as perguntas avaliativas que se podem dirigir a ela é tema de módulos seguintes.
 20

Referências
1. Worthen BR, Sanders JR, Fitzpatrick JL. Avaliação de Programas: concepções e práticas. São Paulo:
Editora Gente; 2004.

2. Galliano AG. O Método Científico: Teoria e Prática. São Paulo: Harbra; 1986.

3. Nascentes A. Dicionário ilustrado da língua portuguesa da Academia Brasileira de Letras. Rio de

Janeiro: Bloch Ed.; 1972.

4. Figueiredo C. Novo dicionário da língua portuguesa. 3ª ed. Lisboa: Ed. Portugal-Brasil, s.d., 2v.

5. Ferreira ABH. Novo dicionário da língua portuguesa. Rio de Janeiro: Nova Fronteira, s.d.

6. Minayo MCS. Introdução à metodologia de pesquisa social – Primeira parte. In: Minayo MCS. O
desafio do conhecimento: pesquisa qualitativa em saúde. São Paulo: HUCITEC; Rio de Janeiro:
ABRASCO; 1992. p.19-36.

7. Weiss CH. Evaluation. New Jersey: Prentice Hall; 1998.

8. Patton MQ. Utilization-focused Evaluation. 4ª ed. Thousand Oaks: Sage Publications; 2008.

9. Samico I, Figueiró AC, Frias PG. Abordagens metodológicas na avaliação em Saúde. In: Samico I,
Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em Saúde: bases conceituais e
operacionais. Rio de Janeiro: Medbook; 2010. p. 15-28.

10. McNamara C. Basic Guide to Program Evaluation (including outcomes evaluation) [homepage na
internet]. [Acesso em 28 jan 2019]. Disponível em:
http://www.managementhelp.org/evaluatn/fnl_eval.htm.

11. Hartz ZMA. Avaliação dos programas de saúde: perspectivas teórico-metodológicas e políticas
institucionais. Ciênc. Saúde Colet. 1999;4(2):341-53.

12. Taylor-Powell E, Steele S, Douglah M. Planning a Program Evaluation. Program Development and
Evaluation, University of Wisconsin-Extension, 1996.

13. Almeida Filho N, Rouquayrol MZ. Introdução à Epidemiologia. Rio de janeiro: Guanabara Koogan;
2006.

Leitura Complementar
Hartz ZMA. Avaliação dos programas de saúde: perspectivas teórico-metodológicas e
políticas institucionais. Ciênc Saúde Colet. 1999;4(2):341-53.