Você está na página 1de 57

TÉCNICAS QUANTITATIVAS DE

MONITORAMENTO E AVALIAÇÃO

Brasília-DF.
Elaboração

Juliana Estrella
Julia Vogel de Albrecht

Produção

Equipe Técnica de Avaliação, Revisão Linguística e Editoração


SUMÁRIO

APRESENTAÇÃO...................................................................................................................................... 4

ORGANIZAÇÃO DO CADERNO DE ESTUDOS E PESQUISA.................................................................................. 5

Introdução.......................................................................................................................................... 7

unidade I

CAPÍTULO 1
A amostragem na metodologia quantitativa............................................................................ 16

Unidade II
Ferramentas da metodologia quantitativa........................................................................................... 27

CAPÍTULO 2
Surveys................................................................................................................................. 30

CAPÍTULO 3
Técnicas de monitoramento de políticas públicas.................................................................. 41

CAPÍTULO 4
Técnicas de Avaliação de Políticas Públicas............................................................................ 44

Unidade III
Exemplos dos Principais usos da Metodologia QuaNTItativa.................................................................. 47

CAPÍTULO 5
Casos de monitoramento de política pública.......................................................................... 50

CAPÍTULO 6
Casos de avaliação de política pública................................................................................... 52

PARA (NÃO) FINALIZAR.......................................................................................................................... 54

referências....................................................................................................................................... 56
APRESENTAÇÃO

Caro aluno

A proposta editorial deste Caderno de Estudos e Pesquisa reúne elementos que se entendem necessários
para o desenvolvimento do estudo com segurança e qualidade. Caracteriza-se pela atualidade, dinâmica
e pertinência de seu conteúdo, bem como pela interatividade e modernidade de sua estrutura formal,
adequadas à metodologia da Educação a Distância – EaD.

Pretende-se, com este material, levá-lo à reflexão e à compreensão da pluralidade dos conhecimentos a
serem oferecidos, possibilitando-lhe ampliar conceitos específicos da área e atuar de forma competente
e conscienciosa, como convém ao profissional que busca a formação continuada para vencer os desafios
que a evolução científico-tecnológica impõe ao mundo contemporâneo.

Elaborou-se a presente publicação com a intenção de torná-la subsídio valioso, de modo a facilitar sua
caminhada na trajetória a ser percorrida tanto na vida pessoal quanto na profissional. Utilize-a como
instrumento para seu sucesso na carreira.

Conselho Editorial

4
ORGANIZAÇÃO DO CADERNO
DE ESTUDOS E PESQUISA

Para facilitar seu estudo, os conteúdos são organizados em unidades, subdivididas em capítulos, de forma
didática, objetiva e coerente. Eles serão abordados por meio de textos básicos, com questões para reflexão,
entre outros recursos editoriais que visam a tornar sua leitura mais agradável. Ao final, serão indicadas,
também, fontes de consulta, para aprofundar os estudos com leituras e pesquisas complementares.

A seguir, uma breve descrição dos ícones utilizados na organização dos Cadernos de Estudos e Pesquisa.

Provocação

Pensamentos inseridos no Caderno, para provocar a reflexão sobre a prática


da disciplina.

Para refletir

Questões inseridas para estimulá-lo a pensar a respeito do assunto proposto. Registre


sua visão sem se preocupar com o conteúdo do texto. O importante é verificar
seus conhecimentos, suas experiências e seus sentimentos. É fundamental que você
reflita sobre as questões propostas. Elas são o ponto de partida de nosso trabalho.

Textos para leitura complementar

Novos textos, trechos de textos referenciais, conceitos de dicionários, exemplos e


sugestões, para lhe apresentar novas visões sobre o tema abordado no texto básico.

Sintetizando e enriquecendo nossas informações

abc
Espaço para você, aluno, fazer uma síntese dos textos e enriquecê-los com sua
contribuição pessoal.

5
Sugestão de leituras, filmes, sites e pesquisas

Aprofundamento das discussões.

Praticando

Atividades sugeridas, no decorrer das leituras, com o objetivo pedagógico de


fortalecer o processo de aprendizagem.

Para (não) finalizar

Texto, ao final do Caderno, com a intenção de instigá-lo a prosseguir com a reflexão.

Referências

Bibliografia consultada na elaboração do Caderno.

6
Introdução

Objetivos
O objetivo da disciplina “Técnicas Quantitativas de Monitoramento e Avaliação” é apresentar aos alunos
a relevância das técnicas do método quantitativo para as pesquisas científicas e aplicadas e, em especial,
o monitoramento e avaliação das políticas públicas. O principal intuito é demonstrar as diferentes
ferramentas que compõem o método, seus objetivos, vantagens e desvantagens. Foram selecionados
exemplos teóricos e aplicados para auxiliar e exemplificar o entendimento das ferramentas quantitativas.

Organização do curso
O material didático está organizado da seguinte forma:

A unidade 1 apresenta as etapas do método quantitativo, buscando demonstrar a relevância da amostragem.


A unidade 2 descreve as ferramentas quantitativas, enfocando os principais usos de cada uma. Na unidade
3 é exemplificado como as técnicas apresentadas podem ser utilizadas nos diferentes tipos de pesquisa.
Finalizamos a disciplina enfatizando como os registros administrativos possibilitam o monitoramento das
ações de políticas públicas, permitindo fortalecer o controle do cidadão sobre a ação do Estado.

Importante 1: conteúdo do curso e recursos


complementares
Este curso sintetiza proposições teóricas e estudos empíricos da literatura especializada sobre “Técnicas
Quantitativas”. Como a literatura sobre métodos está consolidada, de boa qualidade e é de fácil acessível,
não se pretende oferecer, no curso, nenhuma ideia nova sobre o assunto. Não é preciso e não podemos
cair no risco pretensioso de “inventar a roda”. Nesse sentido, o curso de “Técnicas Quantitativas de
Monitoramento e Avaliação” é uma compilação sobre o “estado da arte” dos principais temas e objetos de
estudo na literatura especializada. Sendo assim, o curso apresenta:

1. Uma breve exposição sobre o tema ou objeto a ser tratado, com base na literatura
especializada.

2. Quadros denominados “leitura sobre o assunto”, contendo trechos de artigos, manuais


etc., que consideramos importantes reproduzir nesse curso para complementar a
exposição acerca do assunto tratado.

7
3. Trechos atuais de artigos de jornais que ilustram as proposições e os posicionamentos
a respeito das práticas de “Técnicas Quantitativas de Monitoramento e Avaliação”
relacionados com a exposição, sempre que possível.

4. Referências de leituras sobre o tema ou objeto tratado que deverão ser acessadas na
plataforma do curso ou na Internet. Procuramos fornecer referências importantes
e, ao mesmo tempo, de fácil acesso. Essas leituras devem ser concebidas como
complementares ao curso e, portanto, é fundamental que sejam realizadas sempre
que recomendadas.

Importante 2: como usar o caderno de estudos


Pelos motivos expostos, o Caderno de Estudos e Pesquisa “Técnicas Quantitativas de Monitoramento
e Avaliação” deve ser concebido como um guia para orientar os estudos e as discussões sobre o tema,
os quais serão complementados de várias formas no decorrer da interação com o professor e com o
coordenador do curso, nas atividades propostas. É importante que o material complementar indicado
seja concebido como um componente deste caderno.

Importante 3: a dinâmica da disciplina


Por todos os motivos apresentados, a interação dos alunos com o professor e a interação entre os alunos
são fundamentais. Como ressaltado, a exposição básica acerca do tema tratado na disciplina será sempre
seguida de estudos complementares, os quais podem ser estudos teóricos ou estudos aplicados. Todo
este material (caderno do curso + material complementar) será utilizado nas atividades programadas.
Essas atividades, por sua vez, procurarão ser o mais aplicadas possível. Isso porque a familiarização com
os processos e procedimentos de métodos depende não apenas da teoria, mas também (e muito) da
atividade prática.

Lembramos, por fim, que estamos sempre prontos para dialogar com os alunos. Por isso, estamos à
disposição para interagir com os alunos para além do material e das atividades previstas. Sendo assim, fique
à vontade para entrar em contato conosco sobre tudo que lhe interessar sobre o tema de monitoramento
e avaliação.

A metodologia quantitativa é um método de pesquisa social que utiliza técnicas


estatísticas para trabalhar dados acerca de uma determinada realidade. Como
visto na matéria sobre métodos qualitativos, a análise e o monitoramento de
políticas públicas utilizam diversas ferramentas metodológicas. O que influencia
a determinação dos métodos a serem utilizados são as perguntas e as hipóteses
elaboradas no início do processo de análise.

8
Se buscarmos, por exemplo, definir as percepções que os beneficiários de
determinado programa detêm sobre o benefício, talvez seja mais eficiente
utilizar uma metodologia qualitativa. Se o foco da avaliação é buscar os resultados
numéricos, isto é, o número de pessoas beneficiadas, a idade do público-alvo, o
impacto da política social em indicadores socioeconômicos, entre outros aspectos,
a pesquisa quantitativa é mais indicada.

Além disto, podemos afirmar que a pesquisa quantitativa muitas vezes é utilizada
posteriormente à realização do levantamento qualitativo. Um grupo focal permite
ao pesquisador elucidar questões que posteriormente podem ser exploradas em
um questionário quantitativo. Em muitos casos, a pesquisa qualitativa auxilia na
elaboração da pesquisa quantitativa. Ressalte-se que existem diversos mecanismos
de pesquisa quantitativa, sendo o mecanismo de survey um dos mais utilizados: “[...]
tipicamente, métodos de survey são usados para fazer estimativas sobre a natureza
da população total da qual a amostra foi selecionada” (BABBIE, 2003). Isso que
dizer que os suveys permitem analisar uma determinada população, partindo do
estudo de uma amostra. A lista abaixo é um glossário inicial e introdutório aos
termos que serão utilizados no decorrer da disciplina.

Podemos afirmar que a estatística é um conjunto de princípios e procedimentos


Estatística utilizados para coletar e processar informações. Estes procedimentos e métodos
nos ajudam a tomar decisões e caracterizar realidades. (BABBIE, 2003)
Uma população pode ser caracterízada como a agregação específica dos
elementos do survey, isto é: o conjunto de elementos a serem analisados em uma
População pesquisa. Se eu desejo analisar os impactos da merenda escolar na frequência
dos alunos da rede pública, a minha população deve ser especificada: são todos
os alunos? ou apenas os que do ensino fundamental? (BABBIE, 2003)
Uma amostra é a seleção estatística de parte da população. Para ser uma
Amostra amostra válida estatisticamente, deve ser generalizável, isto é, seus resultados
devem ser generalizáveis a toda a população. (BABBIE, 2003)
O viés de seleção é o termo utilizado para expressar algum tipo de erro na
Viés de seleção determinação e seleção da amostra: ex. quando um indivíduo tem probabilidade
diferente de ser selecionado em relação a outro indívíduo. (BABBIE, 2003)
Surveys são instrumentos de coleta de dados da metodologia quantiativa
Survey para a obtenção de dados acerca de uma determinada realidade. Surveys
normalmente são aplicados na forma de questionários. (BABBIE, 2003)
Cacterísticas mutuamente excludentes como sexo, idade, emprego etc.
Podemos descrever os elementos de uma população em termos das suas
Variável características individuais numa variável”. Atente-se que variável é algo que
varia. Por exemplo, se toda a população da sua pesquisa é necessariamente de
“mulheres”, não há necessidade de se criar uma variável “sexo”.
“Dados são coleções de números ou informações aos quais se atribui um
Dados
determinado significado” (VASCONCELLOS,
É um recurso metodológico, estatisticamente elaborado, empiricamente referido,
Indicadores que informa algo sobre um aspecto da realidade social ou sobre mudanças que
estão nela se processando. (JANUZZI, 2005)

9
unidade
Introdução à pesquisa
quantitativa (etapas) I
Unidade
Introdução à pesquisa
quantitativa (etapas) I
Assim como todo processo de pesquisa, a análise quantitativa também segue um esquema de etapas. Para
determinar qual caminho metodológico devemos seguir, um primeiro momento é a definição do objetivo
da pesquisa, isto é, quais são as perguntas que eu desejo responder? Uma pesquisa que busque avaliar as
ações de prevenção de DST/Aids em determinada cidade, por exemplo, deve definir de forma clara seus
objetivos, a saber:

1. Identificar as unidades que realizam ações de prevenção das DST/Aids com o efetivo
foco na distribuição e na sensibilização para o uso de preservativos (femininos e
masculinos).

2. Caracterizar as ações de prevenção realizadas neste perfil.

3. Identificar, nas ações de prevenção realizadas, os contextos e a metodologia


empregada.

4. Analisar a compreensão dos usuários acerca da informação veiculada.

5. Avaliar o perfil e a capacitação dos profissionais para estas atividades.

6. Analisar a frequência em que ocorrem essas ações e a cobertura atingida entre a


população usuária do serviço.

Após a delimitação dos objetivos e perguntas, há a necessidade de definir uma metodologia adequada.
Quais serão os mecanismos utilizados para obter as respostas? No caso da nossa pesquisa fictícia, serão
utilizados métodos quantitativos e qualitativos:

»» Será feita sondagem inicial com os gestores de cada unidade para levantar quais
unidades realizam ações de prevenção com as características mencionadas. Essa
sondagem inicial será realizada por pesquisa qualitativa, especificamente uma
entrevista por telefone. Serão visitadas apenas aquelas identificadas neste perfil.

»» Para análise quantitativa será aplicado, pela equipe de pesquisa, um questionário


aos profissionais identificados como executores e responsáveis pelas ações. Neste
instrumento serão indagadas as ações que concernem um determinado período, sua
clientela e metodologia. Também serão investigadas a capacitação e a motivação dos
profissionais para tal exercício.

13
UNIDADE I | Introdução à pesquisa quantitativa (etapas)

»» Para análise qualitativa também serão aplicados roteiros de entrevistas aos usuários,
investigando sua compreensão das informações e orientações e a adesão ao uso de
preservativos.

»» Com base nos registros de logística de distribuição de preservativos serão aplicadas


técnicas estatísticas para analisar o quantitativo de preservativos demonstrados e
distribuídos em relação número de usuário/mês em cada unidade selecionada.

Uma vez delimitada a pesquisa quantitativa a ser utilizada, o terceiro momento consiste na definição da
população e da amostra da pesquisa. Por população entende-se: “a agregação teoricamente especificada de
elementos do survey” (BABBIE, 2003). A população caracteriza-se, portanto, como todos os indivíduos,
ou elementos que serão analisados. Se, por exemplo, o objetivo é monitorar o acesso a serviços de
pré-natal do SUS, no município ‘x’, a população é “mulheres, em idade fértil, da cidade ‘x’”.

No caso de um processo censitário, ocorre pesquisa quantitativa que trabalha necessariamente com a
totalidade da população ou o universo de todos os indivíduos. Todos os domicílios são recenseados, não
havendo a necessidade de elaboração de amostra. Amostras são elaboradas apenas quando realizam-se
pesquisas com uma parcela da população de uma determinada localidade ou com características comuns.
Quando se pesquisa o universo total da população, sempre se fala em pesquisa censitária.

A definição da amostra está diretamente relacionada à definição da população. Em uma pesquisa de


quantitativa que utiliza surveys, o intuito, ao se adotar uma amostra, é usar os dados levantados para
generalizar os resultados para toda a população do estudo. A amostra é o mecanismo estatístico que
permite que esta generalização ocorra. Para tanto, essa amostra necessita ser probabilística ou também
conhecida como aleatória, ou seja, a chance de os indivíduos de uma determinada população serem
selecionados para a pesquisa necessita ser a mesma. Quando se realiza uma pesquisa com amostragem
aleatória, esta amostra é calculada com base em regras estatísticas específicas.

Na pesquisa sobre o acesso aos serviços de pré-natal da cidade ‘x’, por exemplo, a população corresponde
a 10 mil mulheres. Um estudo de survey que entrevistasse cada uma destas 10 mil pessoas, ou seja, a
população em sua totalidade sairia extremamente custoso. A amostra é a ferramenta que permite que a
generalização dos resultados ocorra partindo de um número reduzido de casos, com segurança de que essa
amostra seja representativa da população. Existem diversos tipos de amostra probabilística ou aleatória
que serão tratados na etapa seguinte, no entanto, é importante enfatizar que o processo de definição da
amostra é extremamente relevante, pois esta precisa ser representativa da população analisada. Caso não
seja bem calculada, pode comprometer todo o processo de pesquisa.

A quarta etapa é partir para a elaboração dos questionários. Neste momento é necessário que se tenha muita
atenção, pois os questionários de surveys devem buscar traduzir as perguntas elaboradas no momento
inicial da pesquisa. Depois de elaborado, é recomendado realizar um ‘pré-teste’ do questionário, isso é:
algumas entrevistas são realizadas previamente como forma de testar se as perguntas estão inteligíveis, se
estão traduzindo o que foi desenhado como objetivo, entre outras características relevantes.

Após a elaboração e o teste dos questionários, parte-se para a pesquisa de campo, aplicação dos
questionários. Existem diversas formas de aplicar questionários que serão tratadas na unidade II deste

14
Introdução à pesquisa quantitativa (etapas) | UNIDADE I

Caderno de Estudos e Pequisa, entretanto é relevante registrar que o momento de ir a campo e aplicar os
questionários é apenas uma das etapas de um complexo desenho de pesquisa.

Depois de aplicados os questionários, é necessário que se processem os dados levantados. Muitas vezes
essa etapa é feita de forma concomitante à ida a campo. Conforme os pesquisadores vão entrevistando,
os dados vão sendo inseridos em programas específicos de survey. Quando todo o processo de inserção,
crítica dos dados e tabulação está concluído, parte-se para a análise dos resultados encontrados, a etapa
7. A crítica dos dados consiste em conferir se não existem inconsistências (informações digitadas ou
coletadas de maneira equivocada) e a tabulação corresponde ao cruzamento de diferentes variáveis a
partir do banco de dados construído. Essa tabulação, em geral, já é previamente definida pelo analista
para o estatístico responsável por construir e criticar o banco de dados.

A etapa 7 consiste na leitura e interpretação dos dados encontrados. Neste momento, diversas ferramentas
da estatística podem ser utilizadas, como a utilização de correlações e criação de indicadores. O momento
de análise permite responder às questões propostas no início do processo, bem como corroborar, ou
refutar as hipóteses elaboradas. A etapa final é a elaboração de um relatório e apresentação dos resultados
encontrados e dados gerados.

Sintetizando as etapas
1. Definição dos objetivos e perguntas da pesquisa.

2. Escolha da metodologia apropriada.

3. Delimitação da população e da amostra.

4. Elaboração dos questionários e pré-teste.

5. Coleta dos dados em campo.

6. Processamento dos dados, crítica e tabulação.

7. Análise dos resultados encontrados.

8. Apresentação e divulgação dos resultados, elaboração de relatório.

15
CAPÍTULO 1
A amostragem na metodologia quantitativa

Como mencionado anteriormente, o processo de definição da amostra é extremamente relevante para a


avaliação quantitativa. Caso não realizada com cuidado uma amostra pode representar erroneamente sua
população, ou seja, partir para uma generalização falsa. Segundo Babbie (2003, p. 88):

O pesquisador que usa métodos de amostragem enfrenta um perigo inevitável. No


entanto, surveys por amostragem podem permitir estimativas muito precisas sobre as
populações que retratam. Mas o pesquisador de surveys por amostragem deve estar
preparado para tolerar uma certa ambigüidade, uma vez que raramente é possível
determinar o grau de precisão dos achados de uma amostra.

É imprescindível, portanto, que o processo amostral seja realizado de forma metódica. A seção seguinte
demonstra os diversos tipos existentes de amostra.

A Pesquisa Mensal de Emprego


A Pesquisa Mensal de Emprego (PME) tem como objetivo produzir indicadores
mensais sobre a força de trabalho que permitam avaliar as flutuações e a
tendência, a médio e a longo prazos, do mercado de trabalho metropolitano. É um
levantamento utilizado para dar indicativo ágil dos efeitos da conjuntura econômica
sobre o mercado de trabalho, além de atender outras necessidades importantes
para o planejamento socioeconômico do País.

A PME é uma pesquisa domiciliar, de periodicidade mensal, que investiga


características da população residente na área urbana das regiões metropolitanas
de abrangência, com vistas à medição das relações entre o mercado de trabalho
e a força de trabalho associadas a outros aspectos socioeconômicos, incluindo
todas as atividades econômicas e todos os segmentos ocupacionais. Logo, o
tema básico da PME é trabalho, constando na pesquisa algumas características
sociodemográficas e educacionais com o objetivo de possibilitar melhor
entendimento da força de trabalho.

Atualmente a PME abrange as Regiões Metropolitanas de Recife, Salvador, Belo


Horizonte, Rio de Janeiro, São Paulo e Porto Alegre. Os resultados são construídos
para cada uma das regiões metropolitanas abrangidas pela PME e para o conjunto
das seis regiões pesquisadas desde 1980. As informações sociodemográficas são

16
Introdução à pesquisa quantitativa (etapas) | UNIDADE I

obtidas para todos os moradores entrevistados e as referentes à educação e


trabalho, para os de 10 anos ou mais de idade.
A Pesquisa Mensal de Emprego é realizada por meio de uma amostra probabilística
de domicílios, planejada de forma a garantir a representatividade dos resultados
para os níveis geográficos em que a pesquisa é produzida.

Fonte: Pesquisa Mensal de Emprego, IBGE, 2007.

Tipos de Amostra
Existem dois grandes grupos de amostra: aquelas baseadas em cálculos probabilísticos, chamada
“amostragem probabilística e aquela que não se baseia em números aleatórios para sua elaboração,
chamada de amostragem não probabilística” (FREITAS, 2003, p.105). Em pesquisas quantitativas, o mais
comum é que se utilize a amostragem calculada com base na probabilidade. As pesquisas de opinião
eleitoral, por exemplo, são realizadas partindo de um processo de amostragem. Entrevistam-se parcelas
da população, previamente selecionadas baseando-se nas características heterogêneas do eleitorado.

A heterogenia da população com que se está lidando torna a seleção das amostras ainda mais relevante. Um
químico, ao analisar as propriedades da água, por exemplo, está lidando com uma unidade homogênea,
isto é, a água sempre se comportará da mesma forma, o processo de generalização é sempre mais simples.
Por sua vez, uma pesquisa que considere o eleitorado brasileiro lida com uma grande diferença: jovens,
mulheres, homens, idosos etc. Encontrar uma amostra que represente essa população é mais trabalhoso.

Na amostragem não probabilística é definido algum tipo de critério estabelecido de forma não randômica, ou
seja, a seleção não é por sorteio. Por não permitirem que cada elemento da população tenha a mesma chance
de ser selecionado, as amostras não probabilísticas não são generalizáveis. Guardando suas limitações,
este tipo de amostra pode ser conveniente quando os respondentes são pessoas difíceis de identificar ou,
ainda, quando existe restrição no orçamento da pesquisa. Um claro exemplo de amostra não probabilística
é a amostra realizada por cotas, ou seja, é definido ex-ante o número de indivíduos a serem pesquisados a
partir de atributos tais como raça, sexo, idade, sem que essa seleção seja sorteada. O pesquisador aborda um
determinado número de pessoas com os atributos previamente definidos e encerra a pesquisa no momento
em que atingiu o número de entrevistas determinado (a cota) para aquele conjunto de atributos.

Pesquisas qualitativas utilizam a metodologia de amostragem não probabilística. Isso ocorre porque a
pesquisa qualitativa, por definição, não é estatisticamente significativa, ou seja, não precisa representar o
conjunto da população. Por outro lado, uma grande vantagem das pesquisas quantitativas está justamente
em permitir a generalização dos resultados para o conjunto da população e isso só pode ocorrer em caso
amostra probabilística.

Uma pesquisa qualitativa de entrevistas com ministros, por exemplo, pode se basear amostras não
probabilísticas, como na amostragem de bola de neve, ou ‘indicação’. Freitas (2003) enumera alguns
exemplos deste tipo de amostragem:

»» Por conveniência (convenience) – os participantes são escolhidos por estarem


disponíveis para o processo de pesquisa;

17
UNIDADE I | Introdução à pesquisa quantitativa (etapas)

»» Similares ou mais diferentes (most similar/dissimilar cases) – os participantes são


escolhidos por julgar-se que representam uma situação similar ou o inverso, uma
situação muito diferente;

»» Por quotas (quota) – os participantes são escolhidos proporcionalmente a um


determinado critério, a amostra é composta por subgrupos;

»» Bola de neve (snowball) – os participantes iniciais indicam novos participantes;


»» Casos críticos (critical cases) – os participantes são escolhidos em função de
representarem casos essenciais ou chaves para o foco da pesquisa;

»» Casos típicos (typical cases) – os participantes são escolhidos por representarem a


situação típica, não incluindo extremos.

A amostragem probabilística é hoje amplamente utilizada, por sua capacidade de generalização. É


fundamental que a amostra seja probabilística para efeito de avaliações de impacto de política pública,
por ser generalizável e por não apresentar viés de seleção. O viés de seleção ocorre quando as chances de
seleção daqueles presentes na amostra são diferentes das chances de seleção de qualquer outra pessoa da
população estudada, que não está na amostra.

O que torna a possível generalização é o fato de que todos os elementos da população têm a mesma
chance de serem escolhidos e pesquisados, isto é, a amostra probabilística evita o viés, evita que a
pesquisa foque apenas num determinado grupo da população. Podemos identificar quatro importantes
tipos de amostragem probabilística. São elas: amostragem aleatória simples; amostragem sistemática;
amostragem aleatória estratificada e amostragem por conglomerado.

A amostragem aleatória simples (AAS) é a maneira mais básica para selecionar uma amostra probabilística
de uma população. Apesar de o cálculo matemático ser bastante complexo, alguns conceitos devem ser
elucidados. Para que se obtenha uma AAS devemos possuir uma listagem com todas as unidades da
população, esta listagem é numerada e dela sorteia-se um número ‘x’ de elementos que representem sua
amostra. Segundo Babbie (2003, p. 145):

você numera cada elemento da lista, atribuindo um e só um número a cada um, sem
saltar nenhum número. A seguir, usa uma tabela de números aleatórios para selecionar
os elementos da amostra. Se sua moldura de amostragem está em formato próprio para
computadores, uma amostra aleatória simples pode ser extraída automaticamente,
usando um programa de computador relativamente simples. Com efeito o computador
pode numerar os elementos da moldura de amostragem, gerar sua própria série de
números aleatórios e imprimir a lista de elementos selecionados.

Apesar de ser o método básico, a AAS é mais trabalhosa de ser realizada. A lista total da população,
no limite, é dada pelo Censo Populacional, realizado pelos Institutos de Estatística de cada país. Daí a
importância da realização de censos populacionais a cada 10 anos, de maneira a atualizar dados censitários
da população e permitir pesquisas amostrais com segurança.

18
Introdução à pesquisa quantitativa (etapas) | UNIDADE I

Quando a lista da população em sua totalidade está disponível, muitas vezes os pesquisadores utilizam o
segundo modelo de amostragem: a sistemática. Neste modelo a retirada dos elementos da amostra é feita
periodicamente, a partir de um intervalo predefinido. Segundo Babbie (2003, p. 134):

Na amostragem sistemática, cada Kº elemento na lista total é escolhido para inclusão


na amostra. Se a lista populacional tem 10.000 elementos, e você quer uma amostra de
1.000 elementos, seleciona cada décimo elemento para a amostra. Para garantia contra
algum viés humano possível ao usar este método, você seleciona o primeiro elemento
aleatoriamente”, ou seja, por sorteio.

A amostra aleatória estratificada, como o nome demonstra, é separada por grupos, os chamados estratos.
É obtida quando separamos as unidades da população em subgrupos, não superpostos. Uma pesquisa
sobre o eleitorado, por exemplo, pode ser estratificada de diversas formas: subgrupo dos eleitores
masculinos, com 16 anos; subgrupo das eleitoras femininas de 16 a 24 anos, com escolaridade até o ensino
fundamental e assim por diante. A diferença entre uma amostra estratificada, que é probabilística, e uma
amostra por cotas, não probabilística, está em que, no primeiro tipo de amostra, os elementos do grupo
são sorteados, enquanto no segundo tipo de amostra os elementos são escolhidos sem sorteio.

Uma amostra por conglomerado é uma amostra aleatória simples na qual cada unidade de amostragem é
um grupo ou um conglomerado de elementos, ou seja, a listagem geral é feita a partir de grupos. O primeiro
passo na amostragem por conglomerado é especificar conglomerados apropriados. Os elementos em um
conglomerado tendem a ter características similares. Como regra geral, o número de elementos num
conglomerado deverá ser pequeno em relação ao tamanho da população e o número de conglomerados
deverá se razoavelmente grande. Na amostragem por conglomerado, a população é dividida em grupos.
Selecionam-se amostras aleatórias simples de grupos e, então, todos os itens dos grupos (conglomerados)
selecionados farão parte da amostra.

Exemplo: Em um levantamento da população de uma cidade, pode-se dispor do mapa indicando cada
quarteirão e não dispor de uma relação atualizada dos seus moradores. Pode-se, então, colher uma
amostra aleatória dos quarteirões e fazer a contagem completa da população de todos os que residem
naqueles quarteirões sorteados.

Síntese dos tipos amostrais


Amostragem não probabilística Amostragem probabilística
Acidental ou conveniência Aleatória Simples
Similares ou diferentes Sistemática
Quotas ou proporcional Aleatória Estratificada
Snow ball, ou bola de neve. Conglomerado
Casos Críticos
Casos Tipicos

Apesar de o mecanismo de amostragem ser extremamente importante para a pesquisa quantitativa, não
é possível afirmar que uma amostra represente perfeitamente uma determinada população. Ainda que os
testes estatísticos sejam realizados de forma minuciosa, sempre haverá algum tipo de erro amostral (ou
19
UNIDADE I | Introdução à pesquisa quantitativa (etapas)

margem de erro). Pesquisas eleitorais, por exemplo, normalmente trabalham com uma margem de erro
de dois pontos percentuais, isto é: o valor encontrado a partir de uma amostragem, pode variar para 2%
a mais, ou 2% a menos. Segundo o IBOPE:

A margem de erro amostral existe em toda pesquisa porque não se está entrevistando
todo o universo. Como se trabalha com amostras, existe um erro amostral conhecido
e calculado. Esse erro é calculado em função do tamanho da amostra e dos resultados
obtidos na pesquisa.
(Extraído de: IBOPE, Guia de pesquisa eleitoral, 2004. In: < http://www.ibope.com.br/calandraWeb/servlet/
CalandraRedirect?temp=5&proj=PortalIBOPE&pub=T&comp=Biblioteca&db=caldb&docid=A5352299F7
6B4EEC83256EB5006C54E9).>)

Tipos de bases de dados


Pesquisas quantitativas contam com dois grandes grupos de bases de dados: primários e secundários.
Estes grupos podem ainda se dividir em outras categorias: dados censitários, ou amostrais, e registros
administrativos. A seção abaixo busca analisar e diferenciar estes tipos de bases apontando as características,
benefícios e aplicabilidade de cada uma.

Dados primários x dados secundários


Os dados primários, de acordo com FOGUEL (2006), podem ser caracterizados como um conjunto de
informações desenvolvidas especificamente para um determinado fim, isto é, podemos dizer que os dados
primários atendem a uma demanda previamente delimitada. Se se deseja avaliar um programa “x” e, para
isto, utilizam-se surveys, entrevistas e grupos focais, realiza-se um levantamento de dados primários.
Segundo FOGUEL (2006): “o exemplo típico é a base que contém informações sobre os indivíduos dos
grupos de tratamento e controle, definidos de forma aleatória”.

Por sua vez, os dados secundários são aqueles usados a partir de bases de dados primárias, previamente
coletadas, sem o intuito de fornecer dados exclusivamente para a avaliação de um determinado programa
ou objeto de pesquisa. As bases de dados secundárias são aquelas que dão informações gerais sobre diversos
assuntos, sem se preocupar com especificidades (FOGUEL, 2006). Bons exemplos de bases secundárias
são a Pesquisa Nacional por Amostra de Domicílios (PNAD) e a Pesquisa Mensal de Emprego (PME),
ambas realizadas pelo IBGE.

Muitos aspectos influenciam a opção por utilizar uma base primária ou secundária. O processo de coleta
de dados primários, por exemplo, é muito mais custoso que o processo de seleção de dados secundários,
pois envolve todo o processo de criação de survey, coleta de dados etc. Entretanto, apesar de mais custosos
e demorados, os dados primários permitem controlar as informações que se desejam coletar. Com os dados
secundários, muitas vezes, tem-se que adaptar o processo de pesquisa, aos questionários e dados já existentes.

Os dados secundários são muito utilizados em análises de programas universais como, por exemplo, a
educação fundamental. Nestes casos, utilizar o processo de amostragem para a realização de um survey é
extremamente complicado, além de custoso. Muitas vezes uma pesquisa também pode incorporar os dois
tipos de dados: realiza-se um survey, mas também se trabalha com os dados existentes em censos e outras

20
Introdução à pesquisa quantitativa (etapas) | UNIDADE I

pesquisas. O quadro abaixo, apresenta uma comparação das vantagens e desvantagens da utilização de
cada tipo de base de dados:

Quadro 1. Dados primários x dados secundários

Vantagens desvantagens
»» Controle sobre a construção dos grupos de »» Custo elevado.
tratamentos e controle.

»» Controle sobre as informações a serem »» Tipicamente menor precisão das


Bases primárias coletados. »» estimativas dos impactos.

»» Maior controle sobre os efeitos do viés de »» Tipicamente avaliações de impactos somente


substituição do grupo de controle. no curto prazo.

»» Custo baixo. »» Pouco controle sobre a definição de grupos


de tratamentos e controle.

»» Tipicamente maior precisão das estimativas »» Pouco controle sobre as variáveis


dos impactos. consideradas importantes.
Bases secundárias
»» Mais difícil de obter avaliação de impacto no »» Difícil determinar se existe viés de
longo prazo. substituição do grupo de controle.

»» Em alguns casos, menores erros de medidas


(registros administrativos).

Fonte: FOGUEL, 2006

Atualmente existem diversas fontes de dados secundários. A lista abaixo aponta algumas das principais,
demonstrando de forma geral os dados que cada uma oferece.

Pesquisa Nacional por Amostra de Domicílios (PNAD/IBGE): É uma pesquisa


abrangente, realizada por amostragem pelo IBGE. Pode ser utilizada para avaliação
de impacto para diversos programas sociais. Segundo o IBGE:

Obtém informações anuais sobre características demográficas


e socioeconômicas da população, como sexo, idade, educação,
trabalho e rendimento, e características dos domicílios, e, com
periodicidade variável, informações sobre migração, fecundidade,
nupcialidade, entre outras, tendo como unidade de coleta os
domicílios. Temas específicos abrangendo aspectos demográficos,
sociais e econômicos também são investigados.

Para informações complementares sobre os dados anuais da PNAD acesse:


<http://www.ibge.gov.br/home/estatistica/pesquisas/pesquisa_resultados.php?id_
pesquisa=40>.

Pesquisa Mensal de Emprego (PME/IBGE): A PME é uma pesquisa mensal que


abrange as seis maiores regiões metropolitanas do país (São Paulo, Rio de Janeiro,

21
UNIDADE I | Introdução à pesquisa quantitativa (etapas)

Belo Horizonte, Porto Alegre, Salvador e Recife). Esta base de dados caracteriza-se
por ser uma das séries mais antigas do IBGE datando de 1982. A PME entrevista 30
mil famílias de forma longitudinal, isto é: entrevista a mesma família durante quatro
meses, interrompe a entrevista por oito meses, depois volta a entrevistar por mais
quatro meses. Esta metodologia torna a pesquisa bastante útil para analisar as
flutuações do mercado de trabalho e avaliar programas e políticas de mercado de
trabalho. Segundo o IBGE:

Produz indicadores mensais sobre a força de trabalho que permitem


avaliar as flutuações e a tendência, a médio e a longo prazos, do
mercado de trabalho, nas suas áreas de abrangência, constituindo
um indicativo ágil dos efeitos da conjuntura econômica sobre esse
mercado, além de atender a outras necessidades importantes para
o planejamento socioeconômico do País. Abrange informações
referentes à condição de atividade, condição de ocupação,
rendimento médio nominal e real, posição na ocupação, posse de
carteira de trabalho assinada, entre outras, tendo como unidade de
coleta os domicílios

(Portal do IBGE, acessível em: <http://www.ibge.gov.br/home/


estatistica/pesquisas/pesquisa_resultados.php?id_pesquisa=38>)

Pesquisa de Orçamento Familiar (POF/IBGE): A pesquisa de orçamento


familiar não apresenta uma regularidade temporal. A última foi realizada entre
2008/2009. Seu objetivo principal é acompanhar o consumo e despesas das famílias
brasileiras e embasar a cesta de consumo da população brasileira que subsidia a
criação do índice mensal de inflação do IBGE. É realizada durante 12 meses para
captar a sazonalidade do consumo. Os pesquisadores analisam despesas com
transporte, moradia, vestuário, alimentação etc. Segundo o IBGE:

A Pesquisa de Orçamentos Familiares - POF é uma pesquisa domiciliar


por amostragem, que investiga informações sobre características de
domicílios, famílias, moradores e principalmente seus respectivos
orçamentos, isto é, suas despesas e recebimentos. A pesquisa busca
mensurar, a partir de amostras representativas de uma determinada
população, a estrutura de gastos (despesas), os recebimentos
(receitas) e as poupanças desta população. Tais informações sobre
as unidades familiares permitem estudar inúmeros e importantes
aspectos da economia nacional e como exemplos podemos citar
a composição dos gastos familiares, disparidades regionais e entre
áreas urbanas, e a dimensão do mercado para grupos de produtos
e serviços.

(Portal do IBGE, acessível em: <http://www.ibge.gov.br/home/


estatistica/populacao/condicaodevida/pof/default.shtm>)

22
Introdução à pesquisa quantitativa (etapas) | UNIDADE I

Economia Informal Urbana (ECINF/IBGE): Realizada em 1993 e 2007, a


pesquisa de economia informal cobre as áreas urbanas dos estados brasileiros.
A ECINF tem como objetivo analisar detalhadamente as características do
funcionamento da economia informal: quais são as receitas? Despesas? Lucros? É
relevante para quem deseja analisar os impactos de programas de política pública
a micro e pequenos empreendedores, ou dados do mercado de trabalho em geral.
Segundo o IBGE:

Obtém informações sobre o peso da economia informal na


geração de oportunidades de trabalho e rendimento, a partir do
levantamento do número de unidades e das suas características
de funcionamento, como tipo de atividade, local de trabalho, ativo
imobilizado, investimentos, horas trabalhadas, receitas e despesas
do mês, entre outras. São investigadas também as características
das pessoas ocupadas no setor informal, como sexo, idade, cor,
posição na ocupação, rendimento, nível de instrução, entre outras.
A pesquisa tem como unidade de coleta os domicílios urbanos onde
moram proprietários de unidades econômicas informais.

Acessível em: <http://www.ibge.gov.br/home/estatistica/pesquisas/


pesquisa_resultados.php?id_pesquisa=8>

Censo Demográfico (IBGE): Os censos realizados pelo IBGE talvez sejam


as pesquisas mais divulgadas pela imprensa nacional. Desde 1940 vem sendo
realizada de 10 em 10 anos. É útil para analisar diversos aspectos da sociedade,
especialmente se o objetivo é comparar municípios. O último foi realizado em
2010, segundo o IBGE:

O Censo 2010 compreendeu um levantamento minucioso de todos


os domicílios do país. Nos meses de coleta de dados e supervisão,
191 mil recenseadores visitaram 67,6 milhões de domicílios nos
5.565 municípios brasileiros para colher informações sobre quem
somos, quanto somos, onde estamos e como vivemos. Os primeiros
resultados definitivos, divulgados em novembro de 2010, apontaram
uma população formada por 190.732.694 pessoas.

Acessível em: <http://www.ibge.gov.br/home/estatistica/populacao/


censo2010/default.shtm>

Sistema de Avaliação da Educação Básica (SAEB/MEC): Deste levantamento


de exemplos de pesquisas, o SAEB é o único banco de dados não realizado pelo
IBGE. Aplicado bianualmente pelo Instituto Nacional de Estudos e Pesquisas
Educacionais (INEP), esta pesquisa visa acompanhar a evolução do desempenho dos
alunos e dos diversos fatores socioeconômicos que influenciam este desempenho.
Segundo o INEP:

23
UNIDADE I | Introdução à pesquisa quantitativa (etapas)

O Sistema de Avaliação da Educação Básica é composto por duas


avaliações complementares.

A primeira, denominada Aneb – Avaliação Nacional da Educação


Básica, que abrange de maneira amostral os estudantes das redes
públicas e privadas do país, localizados na área rural e urbana e
matriculados no 5º e 9º anos do ensino fundamental e também
no 3º ano do ensino médio. Nesses estratos, os resultados são
apresentados para cada Unidade da Federação, Região e para o
Brasil como um todo.

A segunda, denominada Anresc - Avaliação Nacional do Rendimento


Escolar, é aplicada censitariamente em alunos de 5º e 9º anos do
ensino fundamental público, nas redes estaduais, municipais e
federais, de área rural e urbana, em escolas que tenham no mínimo
20 alunos matriculados na série avaliada. Nesse estrato, a prova
recebe o nome de Prova Brasil e oferece resultados por escola,
município, Unidade da Federação e país que também são utilizados
no cálculo do Ideb. As avaliações que compõem o Saeb são realizadas
a cada dois anos, quando são aplicadas provas de Língua Portuguesa
e Matemática, além de questionários socioeconômicos aos alunos
participantes e à comunidade escolar”.

Extraído de: <http://portal.inep.gov.br/web/prova-brasil-e-saeb/prova-


brasil-e-saeb>

Dados censitários x dados amostrais x registros


administrativos
Nesta seção vamos analisar as diferenças e especificidades de cada grupo de dados: censitários, amostrais
e administrativos.

Os dados censitários são aqueles em que há informações acerca da população da pesquisa em sua
totalidade, isto é, os dados coletados correspondem a todos os indivíduos da população. Por sua vez, os
dados amostrais são aqueles obtidos através de um survey realizado por amostra. Ambos são coletados
por meio de questionários, autopreenchidos, ou aplicados por entrevistadores. Os dados de registros
administrativos são obtidos mediante preenchimento de formulários individuais para um determinado
grupo que atende a uma característica específica. Exemplo: O Cadastro Único de Benefícios Sociais
(CadÚnico) só é preenchido para os indivíduos elegíveis a benefícios sociais oferecidos pelo Ministério
do Desenvolvimento Social (MDS).

É importante ressaltar que os dados obtidos mediante questionários ou formulários nos permitem criar
indicadores diversos: econômicos, sociais, de saúde etc. O elaboração de indicadores relevantes nos ajuda
a monitorar programas sociais, desempenho econômico, aspectos relevantes da sociedade etc. Januzzi
(2005) afirma que atualmente há uma crescente demanda por indicadores sociais que ajudem a informar e
acompanhar o processo de políticas públicas. Segundo o autor, os indicadores são formados com base em

24
Introdução à pesquisa quantitativa (etapas) | UNIDADE I

um esquema de quatro etapas: (1) definição de um conceito temático; (2) definição das dimensões a serem
analisadas; (3) coleta de dados; (4) criação dos indicadores. A figura 1 abaixo ilustra o processo de etapas.

Figura 1. Indicadores Sociais

Conceito Abstrato ou Temática Social de Interesse

Definição das dimensões ou diferentes formas de


interpretação operacional do conceito

Dado 1 Dado 2 Dado 3 Dado 4

Indicador Social 1 Indicador Social i


Fonte: JANUZZI, 2005, p.18.

25
Unidade
Ferramentas da metodologia
quantitativa II
unidade
Ferramentas da metodologia
quantitativa Ii
As ferramentas quantitativas são os mecanismos utilizados para realizar as pesquisas. Uma vez
selecionada a amostra é preciso determinar de que forma as hipóteses serão testadas: por meio de
questionários aplicados em domicílio ou por meio de formulários administrativos preenchidos
pelos próprios indivíduos. Esta unidade busca elucidar algumas das ferramentas existentes para
pesquisas quantitativas.

29
CAPÍTULO 2
Surveys

Como visto anteriormente, a utilização de surveys é recorrente nas pesquisas quantitativas. Pesquisas
de opinião, por exemplo, utilizam largamente esta metodologia baseando-se em amostras. Pode-se
definir um survey como: “o processo de obtenção de dados ou informações sobre características, ações
ou opiniões de determinado grupo de pessoas, indicado como representante de uma população-alvo, por
meio de um instrumento de pesquisa, normalmente um questionário” (TANUR apud PINSONNEAULT;
KRAEMER, 1993, p. 76). Em outras palavras, as pesquisas de survey nos permitem criar e elaborar dados
acerca de determinada realidade, com base na aplicação de um questionário. Com este modelo, é possível
testar as hipóteses desenvolvidas e analisar as relações entre as variáveis.

Pode-se separar uma pesquisa de survey em de três categorias (FREITAS, 2000): (1) explanatória; (2)
exploratória; (3) descritiva. A primeira visa descobrir e explicar as relações causais entre os fenômenos.
Intuitivamente podemos dizer que o aumento dos gastos públicos em saúde melhora o atendimento aos
usuários do sistema de saúde. Mas será que esta relação positiva, de fato, ocorre? O survey explanatório
permite responder a questões como esta.

A segunda categoria, exploratória, visa realizar um mapeamento inicial de uma determinada realidade.
Busca-se descobrir novos aspectos sobre a população-alvo. A pesquisa descritiva, como o nome já diz,
ajuda a descrever situações, atitudes, opiniões. Neste modelo, não se deseja testar hipóteses e relações
causais, apenas levantar mais informações. Um survey pode combinar mais de uma categoria.

Arlene Fink (2003) aponta que, para que um survey seja efetivo e retrate bem seus objetivos iniciais, deve-se
atentar para seis características: (1) objetivos específicos e passíveis de mensuração; (2) bom desenho de
pesquisa; (3) boa seleção de população, ou amostra; (4) instrumentos de pesquisa válidos e confiáveis; (5)
análises apropriadas; (6) bom relatório de resultados. Para a autora, todas as etapas desse processo são
igualmente relevantes.

Instrumentos dos surveys

Questionários

O questionário é o instrumento mais utilizado para a coleta de dados, pois ele concentra as informações
mais relevantes para o processo de pesquisa. O processo de elaboração do questionário é crucial para uma

30
| UNIDADE II
Ferramentas da metodologia quantitativa

pesquisa representativa. Questionários de survey, normalmente são estruturados, isto é, apresentam todas
as perguntas a serem realizadas aos entrevistados.

Segundo FOWLER (1998) para que um questionário proporcione repostas válidas, deve-se atentar para
cinco características básicas:

(1) a pergunta precisa ser compreendida consistentemente; (2) a pergunta precisa ser
comunicada consistentemente; (3) as expectativas quanto a resposta adequada precisam
ser claras para o respondente; (4) a menos que se esteja verificando conhecimento,
os respondentes devem ter toda informação necessária; (5) os respondentes precisam
estar dispostos a responder.

Fowler aponta questões relevantes para a elaboração de questionários: as perguntas devem ser inteligíveis
para a população a ser entrevistada. Se não se consegue entender a pergunta, a resposta fica comprometida.
Perguntas claras e bem escritas são sempre desejáveis. Além disto, entrevistadores devem ser treinados
de forma adequada para se fazerem entender, devem conseguir traduzir para o respondente o que se
deseja perguntar. Günther (2004) menciona que deve-se atentar para o vocabulário utilizado e adequá-lo
a amostra da pesquisa.

Pode-se classificar as perguntas em três grandes grupos: abertas, fechadas, ou semiabertas (BABBIE,
2003). As perguntas abertas são aquelas que permitem aos entrevistados fornecer uma resposta própria.
Perguntas fechadas proporcionam o respondente tanto com um questionamento, quanto com uma
resposta previamente determinada. A pergunta semiaberta é a junção de uma pergunta fechada a uma
aberta em que, em um primeiro momento, o entrevistado responde a uma das opções de alternativas
previamente determinadas e depois justifica ou explica a sua resposta. Günther (2004) aponta que a
escolha de usar uma ou outra forma de pergunta vai de acordo com os objetivos da pesquisa.

Para uma pesquisa inicial, exploratória, não conhecendo a abrangência ou a


variabilidade das possíveis respostas, são necessárias perguntas abertas. Uma vez que
se conhecem os tópicos geralmente mencionados pelos respondentes a cerca de uma
dada temática, especialmente quando existem muitos respondentes e/ou pouco tempo,
deve-se usar perguntas fechadas. (GÜNTHER, 2004, p. 16).

As perguntas fechadas permitem que os entrevistados classifiquem suas opiniões pessoais, partindo das
categorias previamente mencionadas. Um questionário pode ser elaborado contendo tanto perguntas
abertas quanto fechadas. A figura 2 abaixo proporciona exemplos de perguntas fechadas e abertas
extraídas dos instrumentos de pesquisa de avaliações de políticas sociais realizadas pelo Ministério do
Desenvolvimento Social (MDS).

31
UNIDADE II | Ferramentas da metodologia quantitativa

Figura 2. Exemplos de perguntas fechadas e abertas

Questionário – Secretarias Municipais

8.6. Concorda com a proibição de exercício de atividade remunerada para os idosos beneficiários do BPC-LOAS?
1. Sim 2. Não 3. Não sabe

8.7. Concorda que só as pessoas portadoras de deficiência incapacitadas para o trabalho devam receber o BPC-LOAS?
1. Sim 2. Não 3. Não sabe

8.8. Como avalia a importância do BPC-LOAS?


1. Muito importante 3. Pouco importante
2. Importante 4. Desnecessário

8.9. Na sua opinião, o que deveria ser feito para melhorar a situação de vida dos beneficiários do BPC-LOAS em seu
município?
____________________________________________________________________________
____________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
__________________________________________________________________________

Fonte: Ministério do Desenvolvimento Social e Combate a Fome: Metodologias e Instrumentos de Avaliação de Programas do MDS, 2007. Disponível em: <http://www.
mds.gov.br/biblioteca/secretaria-de-avaliacao-e-gestao-de-informacao-sagi/livros/metodologias-e-instrumentos-de-pesquisas-de-avaliacao-de-programas-do-mds>

Apesar de ser possível citar três tipos principais de questionamentos, existe uma diferenciação considerável
se for analisado o tipo de resposta que pode-se obter a partir de uma determinada questão. Denomina-se
pergunta como “fechada e dicotômica” se o entrevistado só possui duas respostas dicotômicas possíveis:
sim ou não, gosta ou não gosta etc.

Entretanto, muitas vezes as perguntas fechadas podem ser elaboradas com intuito de classificar as
preferências dos indivíduos em escala, isto é, não apenas analisar respostas bipolares como sim e não;
estou ou não satisfeita, mas criar um continuum de respostas, uma escala. As chamadas perguntas
unipolares permitem criar uma escala de preferências, concordâncias, rejeição. Segundo Sâmara (1997)
existem diversas formas de elaborar escalas em perguntas unipolares. As mais comuns são:

Pergunta com ordem de preferência: é dado ao entrevistado a sua preferência por um determinado
candidato político, numerando de 1 a 5, sendo 1 a de maior preferência e 5 para a de menor preferência.

Escala ordinal de ranking: pede para o entrevistado listar de acordo com as suas preferências, sem
estabelecer uma numeração prévia, o objeto analisado.

Escala de Likert: o respondente indica o grau de concordância ou discordância de acordo com as variáveis
e atitudes relacionadas ao objeto:

32
Ferramentas da metodologia quantitativa | UNIDADE II

Figura 3. Exemplo de escala de Likert

Discordo Não concordo Concordo


Discordo Concordo
completamente nem discordo completamente

O Governo Dilma é preocupado


com os pobres

O Governo Dilma combate a


corrupção

O Governo Dilma está cumprindo


as promessas de campanha

A presidente será reeleita nas


eleições de 2014

A figura 4 abaixo apresenta dois exemplos de perguntas unipolares, também elaboradas com a escala de
Likert e uma pergunta bipolar:

Figura 4. Perguntas Unipolares ou Perguntas Bipolares?

Você se considera mais próximo(a) de que religião:


Catolicismo..............................................................................................1
Protestantismo..........................................................................................2
Que igreja? _______________
< segue outras religiões existentes na população-alvo?

Você considera sua fé


Muito forte...............................................................................................1
Forte.......................................................................................................2
Mais ou menos.........................................................................................3
Não tão forte............................................................................................4
Fraca......................................................................................................5

No último mês, você frequentou os cultos


Quase diariamente....................................................................................1
Duas ou três vezes por semana..................................................................2
Uma vez por semana.................................................................................3
Semana sim, semana não..........................................................................4
Uma vez..................................................................................................5
Geralmente assiste às festas religiosas.........................................................6

Fonte: GÜNTHER, 2004: UnB/IP Laboratório de Psicologia

Na elaboração dos questionários diversas questões devem ser consideradas. A forma como ele será aplicado
é uma delas. Os chamados questionários autopreenchidos têm aumentado sua freqüência nas pesquisas de
survey. Este modelo, em que o próprio respondente preenche suas respostas, requer cuidados especiais. O
questionário deve conter os objetivos da pesquisa e as perguntas devem ser extremamente bem elaboradas
e instigantes, com o intuito de ‘prender’ a atenção do respondente. A figura abaixo apresenta um fragmento
do questionário socioeconômico aplicado no Exame Nacional do Ensino Médio (ENEM) de 2009.

33
UNIDADE II | Ferramentas da metodologia quantitativa

Figura 5. Questionário socioeconômico ENEM

Fonte: Ministério da Educação, ENEM, 2009. Disponível em:< http://www.enem.inep.gov.br/>

Formulários
Os formulários, apesar de parecidos com o modelo de questionário, apresentam algumas especificidades.
Neles não há perguntas abertas, tampouco há a possibilidade de marcar questões com “não sei”, ou “não
respondeu”. Formulários são preenchidos como um ‘livro’ das atividades. Atualmente, os formulários
são muito utilizados nos registros administrativos, isto é, no registro das instituições: “as diferentes
organizações, normalmente, produzem um volume enorme de informações, dados e registros voltados
para a tomada de decisões e, em última análise, para o próprio agir administrativo” (FERREIRA, 2008).

34
Ferramentas da metodologia quantitativa | UNIDADE II

Veja um exemplo de formulário do Sistema Único de Saúde (SUS):

Figura 6. Exemplo de formulário do SUS

Fonte: Ministério da Saúde: Datasus, 2008. Disponível em: <ftp://ftp.datasus.gov.br/siasus/Documentos/MANUAL_SIA_Maio_2008.pdf >

É importante ressaltar que há uma infinidade de formulários administrativos que são preenchidos
diariamente pela população usuária de diferentes serviços públicos e, estes, não são utilizados para
monitoramento e avaliação de políticas públicas, seja no executivo, no legislativo ou no judiciário, seja
em nível local, estadual ou federal. Clarificando, apresentam-se dois exemplos distintos:

1. O Cadastro Único de Políticas Sociais (CadÚnico), adotado pelo Ministério do


Desenvolvimento Social (MDS) é um exemplo de um registro administrativo usado
recorrentemente para monitoramento de políticas sociais e para monitoramento da
atuação administrativa do próprio ministério.

2. A informação antropométrica (dados relativos a peso e medidas do indivíduo)


coletada anualmente pelo Exército Brasileiro, de todo jovem brasileiro do sexo
masculino aos 18 anos, há mais de 60 anos, quando este se apresenta ao serviço
militar, poderia ser de grande uso para monitoramento de políticas nutricionais

35
UNIDADE II | Ferramentas da metodologia quantitativa

e avaliação do Ministério da Saúde quanto a evolução do perfil antropométrico


da população masculina ao longo dos anos. Todavia, isso não ocorre, seja por
desconhecimento burocrático seja por falta de comunicação entre os diferentes
órgãos da administração pública.

O uso de formulários administrativos no monitoramento da gestão pública e das políticas sociais


implica necessariamente que esses formulários sejam usados para construir bases de dados acessíveis
a pesquisadores e diferentes órgãos da administração pública, além da consciência do gestor, quando
desenvolve o formulário ou o reformula, da importância e objetivo da coleta daqueles dados solicitados
ao indivíduo.

Formas de aplicação de survey


Uma vez elaborados os questionários ou formulários, os pesquisadores devem considerar qual a melhor
forma de aplicar estes questionários: qual a melhor forma de ‘ir a campo’? Se a sua população está
distante de você, talvez o melhor seja utilizar a internet. Pesquisas eleitorais, por exemplo, aplicam
questionários individuais e presenciais, geralmente em ruas movimentadas. Muitas vezes, ao comprar
um produto via internet, somos redirecionados a questionários de satisfação do consumidor, uma
pesquisa de survey via Internet.

O questionário, ou método de comunicação, experimenta diferentes modalidades de


implementação, seja em função da sua natureza, das características dos prestadores
de informação, dos recursos disponíveis para a investigação ou de exigências do
delineamento da própria pesquisa que se conduz. Há fundamentalmente três
modalidades usuais: entrevista pessoal, entrevista por telefone ou questionário
autopreenchido” (GUEDES; VASCONCELLOS, 2007, p. 6)

Pessoal

A entrevista pessoal é aquela em que os pesquisadores interagem com os entrevistados. Ainda é a forma
mais comum de realização de surveys. Pesquisas de opinião eleitoral, por exemplo, utilizam entrevistadores
em ruas de grande movimentação que abordam os eleitores de forma aleatória. Essa forma de entrevista,
que permite a interação, é vantajosa, pois estimula o entrevistado a responder ao questionário por
completo. Também apresenta desafios, como a possibilidade de as pessoas não pararem para responder
aos questionários, ou a influência dos entrevistados por parte daqueles que estão realizando a pesquisa.
Para evitar que os entrevistados sejam influenciados pelos pesquisadores, o treinamento destes antes de
a pesquisa ser realizada é fundamental. Além disso, amostras muito grandes ou em territórios distantes
podem dificultar esta forma de aplicação de survey.

Domiciliar

A pesquisa domiciliar (também pessoal) consiste na aplicação de questionários na residência dos


pesquisados. Um bom exemplo deste modelo são os recenseamentos. Quando um país deseja recensear
e obter dados sobre sua população, envia os pesquisadores aos domicílios de toda a população. O Censo

36
Ferramentas da metodologia quantitativa | UNIDADE II

de 2010, realizado pelo IBGE, adotou esta metodologia ao visitar as residências de toda a população
brasileira: “O Censo 2010 compreendeu um levantamento minucioso de todos os domicílios do país. Nos
meses de coleta de dados e supervisão, 191 mil recenseadores visitaram 67,6 milhões de domicílios nos
5.565 municípios brasileiros para colher informações sobre quem somos, quanto somos, onde estamos e
como vivemos.”1. A Pesquisa Mensal de Emprego, mencionada anteriormente, também é feita a partir de
visita domiciliar, porém é uma pesquisa amostral.

As pesquisas domiciliares, além de muito custosas, pois envolvem o deslocamento de pesquisadores até
os domicílios, também necessitam a obtenção de informações completas sobre a população do estudo,
ou amostra. Assim, essas pesquisas, em geral, adotam informações oriundas do Censo para construir
suas amostras.

Call Center e Telefone

A pesquisa por call center é muito realizada por grandes empresas de telecomunicações e automobilísticas.
São as conhecidas pesquisas de satisfação. Neste modelo, uma determinada empresa entra em contato com
seu consumidor por meio do telefone para avaliar seu nível de satisfação. Paralelo ao uso do call center
para pesquisas de satisfação, ou mercado, o uso do telefone também é utilizado para pesquisas acadêmicas
ou políticas públicas. Esse tipo de pesquisa é adotado quando se está distante do objeto estudado, quando
há necessidade de confirmar informações de um outro questionário ou quando se segue uma mesma
população no tempo, já havendo dados cadastrais da mesma. Um exemplo desse último caso é a pesquisa
de monitoramento da evolução da saúde de pessoas com doenças crônicas (diabetes, cardiopatias etc.)
que o Ministério da Saúde monitora regularmente.

Ford mais perto do cliente


Artigo publicado no portal callcenter.inf.br pode ser acessado em: <http://www.callcenter.inf.br/
cases/46199/ford-mais-perto-do-cliente/ler.aspx>

Montadora recebe troféu pela criação de células regionais de atendimento


16/5/2012

Pelo quarto ano consecutivo, a Ford foi reconhecida pelo serviço de atendimento
ao cliente no Prêmio Abemd, da Associação Brasileira de Marketing Direto. Desta
vez, a empresa recebeu Ouro pela criação de células regionais de atendimento
para agilizar a interação dos consumidores com os distribuidores e departamentos
internos.

“Esta é uma das iniciativas inovadoras que contribuem para a Ford atender
às expectativas dos clientes. As células regionais tornam ágeis o atendimento e
buscam soluções rápidas sem ter que enviar o cliente a uma central única e nacional
de atendimento”, diz Antonio Taranto, diretor de operações de serviço ao cliente
da Ford América do Sul.

1 Extraído do portal do IBGE: <http://www.ibge.gov.br/home/estatistica/populacao/censo2010/default.shtm> acesso em 10/5/2012.

37
UNIDADE II | Ferramentas da metodologia quantitativa

Outra base do programa foi a criação de um sistema integrado que permite o acesso
imediato ao histórico do proprietário de cada veículo e do atendimento feito nos
mais de 400 distribuidores Ford no Brasil. “Hoje, somos a marca automobilística que
mais investe na qualidade do serviço de atendimento ao cliente. Os resultados são
expressados tanto nas nossas pesquisas diretas com os usuários dos veículos Ford
quanto nos reconhecimentos de entidades especializadas. Nos últimos sete anos,
foram 22 prêmios nacionais e internacionais concedidos à Ford por este serviço.

Internet

As pesquisas via Internet têm sido cada vez mais utilizadas, seja pelo mercado, seja pela academia.
Pode-se afirmar que a Internet tem substituído o envio de questionários via correio comum (Guedes &
Vasconcellos, 2007). Os mecanismos virtuais permitiram expandir os limites do processo de produção
de informações. Em termos acadêmicos, muitas pesquisas têm sido realizadas a partir da criação de
bancos de dados hospedados na rede, isto é, após o questionário ser elaborado, um banco de dados
on-line é criado. Este banco contém as informações do questionário e é enviado através de e-mails para os
indivíduos a serem pesquisados. Não há a necessidade de pesquisadores “indo a campo”.

Algumas empresas também realizam pesquisas de satisfação via Internet. É comum que, ao final de
alguma compra digital, o consumidor seja redirecionado para um endereço que contenha um survey.
Existem empresas especializadas em elaboração de pesquisas de satisfação via Internet. Algumas empresas
oferecem, inclusive, promoções e bônus, aos clientes que se disporem a completar os questionários2.

Para pesquisas acadêmicas e de avaliações de programas sociais, o processo de survey via Internet permite
um menor tempo de realização, pois o envio dos questionários é mais rápido se comparado com o método
via correio comum. Além disto, o banco de dados on-line poupa tempo, pois já acumula os dados no
computador, não há a necessidade de passá-los do papel para o meio digital. Entretanto, dependendo do
tipo de amostra e da população selecionada, a Internet apresenta viés de seleção, pois não são todos os
indivíduos da sociedade que possuem acesso a ela e que se disponibilizam a responder o questionário.

Existem diversas formas de envio de questionários via internet e escolha por uma destas formas vai depender
dos recursos existentes, bem como, das finalidades da pesquisa (FREITAS, MOSCAROLA; BAULAC,
2002). Como mencionado anteriormente, é possível criar um banco de dados online especificamente para
a pesquisa. Com a criação desse banco, um e-mail é enviado redirecionando o indivíduo ao portal da
pesquisa. Também é possível anexar o questionário diretamente no e-mail. A criação do banco de dados,
apesar de mais trabalhosa inicialmente, pode obter um nível de sucesso maior, uma vez que o respondente
não precisa “voltar” com o questionário: a medida que responde, os dados vão sendo registrados no
próprio banco. A figura seguinte apresenta um esquema das etapas de uma pesquisa via Internet.

2 A Bizrate, é um bom exemplo de empresa que se especializou em surveys de satisfação: <http://merchant.shopzilla.com/oa/customer_


ratings/>.

38
| UNIDADE II
Ferramentas da metodologia quantitativa

Figura 7. Etapas do processo de pesquisa via Internet

Fonte: FREITAS, JANISSEK-MUNIZ, ANDRIOTTI, FREITAS e COSTA, 2005.

Todavia, há desvantagens na pesquisa realizada pela Internet quando esta necessita garantir determinados
padrões estatísticos de aleatoriedade para avaliação de políticas sociais. Como já dito, considerando-se a
população brasileira, há um acesso limitado à internet, com claro viés de seleção de maior acesso entre
as classes econômicas mais abastadas da população. Isso significa a probabilidade de um maior número
de respostas de questionários entre os ricos se considerarmos a distribuição da população, ou seja, uma
sobrerrepresentatividade dos ricos em relação aos pobres. De outro lado, há a possibilidade de outro
viés de seleção, que é o viés dos autoestimulados. Entre os indivíduos, independentemente da condição
socioeconômica, há aqueles que são mais participantes e respondem todas as pesquisas e aqueles que nunca
respondem. Isso gera a seguinte consequência: ter bases de dados respondidas sempre por um grupo que
se interessa mais em expressar a sua opinião, não considerando outros perfis de indivíduos na população.

Porém, isso não elimina a validade da pesquisa realizada por meio da Internet. Apenas deixa claro que
é preciso desenhar muito bem a pesquisa e ter claro o objetivo dela antes de definir o meio de acesso ao
entrevistado. Assim, o uso ou não da internet é definido pelo desenho da pesquisa, conservando-se todas
as características técnicas necessárias a uma pesquisa sem viés de seleção.

39
UNIDADE II | Ferramentas da metodologia quantitativa

O quadro a seguir sintetiza e compara os benefícios e desafios das diversas formas de aplicação de
questionários.

Quadro 2. Quadro comparativo: aplicação de questionários

Entrevista Entrevista por Questionário


Característica Descrição e Observações
pessoal telefone autopreenchido
Possibilidade de esclarecimento de dúvidas e utilização de
Versatilidade Alta Média Baixo
aterial de apoio
Custo Horas de trabalho, deslocamento e nível da equipe Alto Médio Baixo

No caso da entrevista o tempo pode ser reduzido


aumentando o número de entrevistadores. A devolução do
Tempo para aplicação questionário ocorre em maior volume, 2 a 3 semanas após a Alto Baixo Médio
postagem. Para reduzir o prazo pode ser feito o envio de
postagem estimuladores
Controle em relação a quem respondeu e se este constitui
Controle amostral Alto Médio Baixo
uma amostra representativa da população.

Quantidade de dados gerados Alta Média Média


Quantidade de dados possível de se obter.
Graus em que os dados estão livres de vieses em função do
Qualidade dos dados Baixa Baixa Média
método de coleta.
O anonimado ajuda a coleta de dados sinceros, mas dificulta
Garantia de anonimato Alta Alta Baixa
o controle amostral,
Habilidade exigida para A qualidade dos dados depende da fonte de
aplicação Perfil de qualificação dos entrevistadores. vieses consideradas
Padronização de frases, ordem das perguntas, opções de
Uniformidade da mensuração Baixa Média Alta
respostas.
Índice de resposta Pressão para obtenção de respostas. Alto Alto Médio
O questionário autopreenchido é mais adequando para
Nível educacional exigido dos
públicos com educação formal elevada, restringingo sua Baixo Baixo Alto
respondentes
possibilidade de aplicação.
Possibilidade de verificação da Possibilidade do entrevistador observar o comportamento do
Alta Baixa Baixa
sinceridade das respostas entrevistado
Tamanho da amostra Pequena Grande Grande

Fonte: (MATTAR, 1999 apud GUEDES; VASCONCELLOS, 2007)

Pesquisas quantitativas podem ser utilizadas tanto para auxiliar o monitoramento de políticas públicas,
quanto para o processo de avaliação, Lembrando que estes dois mecanismos apresentam objetivos
distintos: a avaliação busca levantar os resultados de determinado programa: foi efetivo? Eficiente? Já
o monitoramento, busca analisar como o processo tem ocorrido, os critérios do programa estão sendo
atendidos? Os capítulos a seguir descrevem como a metodologia quantitativa pode auxiliar estes dois
processos. Num primeiro momento será analisado o processo de monitoramento, num segundo serão
analisadas as técnicas para avaliação.

40
CAPÍTULO 3
Técnicas de monitoramento de políticas públicas

Análises descritivas de dados


A análise descritiva se preocupa com a organização, apresentação e sintetização de dados. Utilizam-se
gráficos, tabelas e medidas descritivas como ferramentas de análise. Essas ferramentas de análise podem
ser de tendência central ou de dispersão.

Medidas de tendência central


As medidas de tendência central são aquelas que produzem um valor em torno do qual os dados
observados se distribuem. São medidas que objetivam sintetizar em um único número o conjunto de
dados. As medidas de tendência central são: média aritmética, mediana e moda (MEDRI, 2011).

Medidas de dispersão
Como Medri (2011) bem defende, a dispersão de conjunto de dados é a variabilidade que os dados
apresentam entre si. Se todos os valores forem iguais, não há dispersão; se os dados não são iguais, existe
dispersão entre os dados. A dispersão é pequena quando os valores são próximos uns dos outros. Se os
valores são muito diferentes entre si, a dispersão é grande. Assim, as medidas de dispersão apresentam o
grau de agregação dos dados. As medidas de dispersão mais comuns na análise descritiva são: amplitude,
desvio médio, variância, desvio-padrão e coeficiente de variação.

A estatística descritiva é adotada no monitoramento de políticas públicas com o objetivo de se obter


informações gerais sobre a evolução de uma determinada política pública por meio de tabulações e
gráficos que trazem informações no tempo tanto de medidas de tendência de variáveis tais como renda
e escolaridade (por exemplo, a média de renda ou de anos de escolaridade de determinadas faixas
populacionais), quanto medidas de dispersão como, por exemplo, a amplitude de renda entre a faixa mais
rica e a mais pobre da população. Clareando: a distância da renda média ou em salários mínimos entre os
20% mais ricos e os 20% mais pobres da população brasileira.

Indicadores de monitoramento
Como mencionado anteriormente, a criação de indicadores é extremamente eficaz no processo de
monitoramento de políticas públicas. Quando uma política pública é desenhada, seus objetivos são traçados
no curto e longo prazo. A criação de indicadores permite acompanhar todo o processo. Ressalte-se que um
indicador pode ser tanto de diagnóstico, ou seja, um instrumento para evidenciar a realidade social a fim
41
UNIDADE II | Ferramentas da metodologia quantitativa

de dar suporte para as decisões políticas, quanto de processo, ou seja, um instrumento para acompanhar
o processo de implantação e evolução da política pública. A criação de indicadores envolve diversas
características importantes.
O quadro abaixo apresenta os principais aspectos desejáveis na construção de indicadores, entretanto
dificilmente se encontra um indicador com todas estas características. O relevante é selecionar os atributos
que mais se amoldam aos objetivos da sua pesquisa.
Quadro 3. Características relevantes aos indicadores

Relevância: é uma das propriedades fundamentais dos indicadores escolhidos em um sistema de formulação
e avaliação de programas. Devem responder à demanda de monitoramento da agenda
governamental de prioridades definidas em áreas temáticas centrais (saúde, educação etc.).
Validade: é importante que se disponha de medidas representativas do conceito abstrato que o indicador
pretende operacionalizar.
Confiabilidade: é uma propriedade relacionada à qualidade do levantamento dos dados empirícos. Medidas
confiáveis atribuem maior validade aos indicadores.
Grau de cobertura: deve-se procurar empregar indicadores de boa cobertura territorial ou populacional, que sejam
representativos da realidade empírica em análise. Indicadores de cobertura parcial também
podem ser úteis, desde que possam produzir conhecimento relevante, válido e confiável sobre
dinâmicas específicas.
Sensibilidade: é importante dispor de medidas capazes de refletir mudanças relativas às ações previstas nos
programas, e que possibilitem avaliar rapidamente os efeitos de determinada intervenção.
Especificidade: é necessário utilizar medidas que possam refletir alterações estritamente ligadas às mudanças
relacionadas à dimensão de interesse da pesquisa.
Inteligibilidade: recomenda-se que os procedimentos metodológicos e critérios adotados para a construção
dos indicadores sejam explicitados de forma clara e objetiva. Esse é um atributo fundamental
para garantir transparência no uso programático do indicador
Comunicabilidade: um bom indicador deve ser facilmente compreendido, para que possa ser legitimado
tecnicamente e auxilie na implementação de programas.
Factibilidade para obtenção: a obtenção factível do indicador (tempo e custo) é um aspecto crucial para sua construção e
seleção para acompanhamento de qualquer programa público.
Periodicidade na atualização: a periodicidade com que o indicador pode ser atualizado é importante para que se possa
acompanhar a mudança social, avaliar o efeito de programas implementados e corrigir
eventuais distorções de implantação. É fundamental que o indicador seja disponibilizado em
tempo eficaz para permitir a tomada de decisões pertinentes.
Desagregabilidade: é importante que os indicadores possuam desagregabilibdade populacional e territorial. Deve
ser possível construir indicadores referidos à população-alvo dos programas, a espaços
geográficos reduzidos, a grupos sociodemográficos ou a grupos vulneráveis específicos.
Historicidade: é uma característica relacionada à comparabilidade dos indicadores, o que possibilita a
inferência de tendências, como também a avaliação dos efeitos de programas implementados.
O ideal é que as cifras, em diferentes pontos temporais, sejam compatíveis, do ponto de vista
conceitual, e tenham confiabilidade similar.
Fonte: JANUZZI, 2006.

Algumas instituições de pesquisa já elaboram indicadores regulares. O quadro abaixo aponta alguns
destes indicadores e suas instituições responsáveis.

42
Ferramentas da metodologia quantitativa| UNIDADE II

Quadro 5. Alguns indicadores

Instiuição promotora Índice proposto


Fundação João Pinheiro – MG IDH-M: Índice de Desonvolvimento Humano Municipal
ICV: Índice de Condições de Vida Municipal
Fundação CIDE – RJ IQM: Índice de Qualidade Municipal – verde
IQM: Índice de Qualidade Municipal – carências
IQM: Índice de Qualidade Municipal – necessidades habitacionais
IQM: Índice de Qualidade Municipal – sustentabilidade fiscal
Fundação SEADE – SP IPRS: Índice Paulista de Responsabilidade Social
IVJ: Índice de Vulnerabilidade Juvenil
IPVS: Índice Paulista de Vulnerabilidade Social
Fundação Economia e Estatística – RS ISMA: Índice Social Municipal Ampliado
Sup. Estudos Econômicos e Sociais da Bahia SEI – BA IDS: Índice de Desenvolvimento Social
IDS: Índice de Desenvolvimento Econômicos
Prefeitura Municipal de Belo Horizonte/PUC-Minas – MG IQVU: Índice de Qualidade de Vida Urbana
IVS: Índice de Vulnerabilidade Social
INEP/Cedeplar/NEPO IMDE: Indicador Municipal de Desenvolvimento Educacional

43
CAPÍTULO 4
Técnicas de Avaliação de Políticas Públicas

Análise de painel
São muito utilizadas para conhecer as mudanças ocorridas ao longo do tempo. É possível dizer que as
análises de painel têm como característica principal o estudo das unidades de uma população, isto é,
estudos de painel acompanham os dados de mesmos indivíduos, empresas, instituições, países etc. ao
longo de um determinado intervalo de tempo regular (PETERSEN, 2004). Cada um dos intervalos de
tempo é chamado de “onda”. Uma análise de painel pode comparar as diferentes ‘ondas’ de diversas formas:
(1) comparar os “Ts” (coletas de dados em diferentes períodos de tempo) de um mesmo indivíduo; (2)
analisar os resultados obtidos entre as diversas ondas. O quadro abaixo ilustra como um painel pode
analisar diversas “unidades” em diferentes “intervalos de tempo”.

Figura 8. Exemplo de painel

Fonte: AMARAL, INÁCIO, 2010.

Análises de painel são extremamente úteis, pois permitem explorar aspectos sociais partindo de uma série
temporal. É possível, por exemplo, determinar como os indivíduos se comportam com as flutuações do
mercado de trabalho comparando as diferentes datas do painel (PETERSEN, 2004). A Pesquisa Mensal
de Emprego (PME), do IBGE, é um exemplo de painel ao longo de 1 ano, pois entrevista os mesmos
indivíduos naquele ano, em diferentes momentos do ano.

No caso de uma avaliação de políticas públicas, os estudos de painel permitem determinar um tempo
inicial, anterior a implementação do programa e um tempo final, posterior. Desta forma, analisa-se a
mudança que ocorreu ou não. Este modelo de análise permite que se acompanhe um mesmo indivíduo
durante todo o processo da política pública, podendo fazer afirmações sobre o impacto da política pública
sobre aqueles indivíduos.

Estudos longitudinais
Estudos longitudinais são caracterizados como “uma amostra de unidades de análise, em que pelo menos
uma das unidades é medida duas vezes, ou mais no tempo”. Dados longitudinais são dados coletados de
uma mesma população ao longo do tempo, podendo variar a amostra de indivíduos dessa população,

44
| UNIDADE II
Ferramentas da metodologia quantitativa

enquanto análises de painel compreendem a coleta de dados dos mesmos indivíduos de uma determinada
amostra duas vezes, ou mais no tempo. Um exemplo de pesquisa longitudinal é a Pesquisa Nacional por
Amostra Domiciliar (PNAD), do IBGE, em que, a cada ano, são pesquisadas as mesmas variáveis de
amostras diferentes da população.

No caso de uma avaliação de políticas públicas, os estudos longitudinais nos permitem determinar um
tempo inicial, anterior a implementação do programa e um tempo final, posterior. Desta forma, analisa-se
a mudança que ocorreu, ou não. Este modelo de análise permite que se acompanhe uma mesma amostra
de indivíduos durante todo o processo da política pública. São análises que permitem mostrar a evolução
de uma determinada população com base em uma característica pesquisada, a exemplo de: renda,
desigualdade, escolaridade etc.

Avaliação de impacto
As avaliações de impacto necessariamente apresentam aspectos longitudinais, na medida em que são
estudos temporalmente comparativos, isto é, para analisar o impacto de determinada ação em uma
localidade, precisa-se conhecer nosso objeto de pesquisa no momento anterior a intervenção. A avaliação
de impacto permite avaliar o efeito específico de uma determinada política social sobre um determinado
grupo social. Por exemplo, a Avaliação de Impacto do Programa Bolsa Família (AIBF), realizada pelo
Ministério do Desenvolvimento Social (MDS, 2007), permite avaliar exclusivamente o impacto do
Programa Bolsa Família na escolaridade e saúde das crianças, isolando-se desse impacto outros programas
sociais do Ministério da Educação e da Saúde que atuem sobre o mesmo grupo. A avaliação de impacto é
um método específico de avaliação de políticas públicas.

Para se considerar uma avaliação de política pública, uma análise de uma avaliação de impacto são
necessárias algumas características, a saber: 1) a pesquisa precisa conter um grupo de controle (grupo que
não recebe o benefício ou não participa da política social pesquisada) e um grupo de tratamento (grupo
que recebe o benefício ou participa da política social pesquisada), sendo que ambos os grupos precisam
ter as mesmas características amostrais quanto características tais como a renda, escolaridade, idade etc.;
2) a pesquisa necessita ser realizada com amostra probabilística; 3) a pesquisa deve ser realizada por
análise de painel; 4) a primeira coleta de dados no tempo deve ser realizada tanto para o grupo de controle
quanto para o grupo de tratamento antes que o grupo de tratamento receba o benefício ou seja alvo da
implementação da pesquisa (esse momento da pesquisa é conhecido por tempo zero – t0 – ou por baseline);
5) a realização de uma ou mais coleta de dados depois de concedido o benefício ou implementada a
política para o grupo de tratamento, sendo que essas coletas de dados devem ser igualmente realizadas
para o grupo de controle e o grupo de tratamento. É a diferença apurada na (s) variável (is) resultado da
pesquisa entre os grupos de controle e tratamento, ao longo do tempo, que indicará se a política social fez
ou não fez efeito e quanto de efeito foi obtido sobre a população beneficiada.

45
Unidade
Exemplos dos Principais usos da
Metodologia QuaNTItativa IIi
unidade
Exemplos dos Principais usos da
Metodologia QuaNTItativa Iii
A unidade 3 vai nos mostrar exemplos tanto de casos de monitoramento, quanto de casos de avaliação de
políticas públicas. O objetivo é demonstrar como as técnicas quantitativas têm sido utilizadas tanto pelo
governo como pela academia e instituições de pesquisa. Serão apresentados dois casos de monitoramento
e dois casos de avaliação.

49
CAPÍTULO 5
Casos de monitoramento de política pública

O monitoramento de políticas públicas acontece num período longitudinal, pois acompanha o processo
da política. Não apresenta um tempo final definido, deseja analisar o andamento das ações programáticas.
Neste aspecto o Ministério da Saúde apresenta uma base de dados consolidada. O Departamento de
Informática do SUS – DATASUS, reúne todas as informações relativas a Saúde no Brasil e acompanha os
diversos indicadores como de mortalidade e natalidade. Segundo o próprio Ministério, o DATASUS abriga:

A mensuração do estado de saúde da população é uma tradição em saúde pública.


Teve seu início com o registro sistemático de dados de mortalidade e de sobrevivência
(Estatísticas Vitais – Mortalidade e Nascidos Vivos). Com os avanços no controle das
doenças infecciosas (informações Epidemiológicas e Morbidade) e com a melhor
compreensão do conceito de saúde e de seus determinantes populacionais, a análise da
situação sanitária passou a incorporar outras dimensões do estado de saúde.

Dados de morbidade, incapacidade, acesso a serviços, qualidade da atenção, condições


de vida e fatores ambientais passaram a ser métricas utilizadas na construção de
Indicadores de Saúde, que se traduzem em informação relevante para a quantificação e
a avaliação das informações em saúde”.
(Fonte: portal do Ministério da Saúde)

O Sistema de Informação da Atenção Básica (SIAB), integrante da plataforma DATASUS, é um sistema de


monitoramento e acompanhamento do programa Saúde da Família (PSF). No portal do SIAB, é possível
acessar dados acerca do saneamento básico, do número de famílias atendidas, dentre outras informações.
Segundo o próprio ministério:

O SIAB foi desenvolvido como instrumento gerencial dos Sistemas Locais de Saúde e
incorporou em sua formulação conceitos como  território, problema e responsabilidade
sanitária, completamente inserido no contexto de reorganização do SUS no país, o que
fez com que assumisse características distintas dos demais sistemas existentes. Tais
características significaram avanços concretos no campo da informação em saúde. 

Dentre elas, destacamos:

»» Microespacialização de problemas de saúde e de avaliação de intervenções;


»» Utilização mais ágil e oportuna da informação;
»» Produção de indicadores capazes de cobrir todo o ciclo de organização das
ações de saúde a partir da identificação de problemas;

50
Exemplos Principais usos da Metodologia QuaNTItativa | UNIDADE III

»» Consolidação progressiva da informação, partindo de níveis menos


agregados para mais agregados.

»» Por meio do SIAB obtêm-se informações sobre cadastros de famílias,


condições de moradia e saneamento, situação de saúde, produção e
composição das equipes de saúde.

»» Principal instrumento de monitoramento das ações do Saúde da Família,


tem sua gestão na Coordenação de Acompanhamento e Avaliação/DAB/
SAS (CAA/DAB/SAS), cuja missão é monitorar e avaliar a atenção
básica, instrumentalizando a gestão e fomentar/consolidar a cultura
avaliativa nas três instâncias de gestão do SUS.

»» A disponibilização da base de dados do SIAB na internet, faz parte das


ações estratégicas da política definida pelo Ministério da Saúde com o
objetivo de fornecer informações que subsidiem a tomada de decisão
pelos gestores do SUS, e a instrumentalização pelas instâncias de
Controle Social, publicizando, assim,  os dados para o uso de todos os
atores envolvidos na consolidação do SUS.

»» Atualmente, para que o sistema se transforme, de fato, num sistema


que permita o monitoramento e favoreça a avaliação da atenção
básica, o Departamento de Atenção Básica/SAS em conjunto com o
Departamento de Informação e Informática do SUS/Datasus/SE vem
investindo em sua reformulação, articulada com os demais sistemas de
informação dos outros níveis de atenção. Este processo está envolvendo
todas as áreas técnicas do MS que implementam ações básicas de saúde
e,  posteriormente, será discutido nas instâncias de deliberação do SUS”.
(Fonte: Ministério da Saúde: SIEB. Disponível em: <http://www2.datasus.gov.br/SIAB/index.php?area=01>.
Acesso em: 1º/6/2012)

A figura abaixo aponta a interface principal do portal do SIEB. Através dele é possível gerar dados sobre
diversos aspectos. Ressalte-se que, dependendo do tipo de monitoramento que se realize, as informações
podem ser utilizadas de forma comparativa, ou elucidatória.
Figura 9. Dados quantitativos e o monitoramento da Saúde

Fonte: Ministério da Saúde: <http://www2.datasus.gov.br/SIAB/index.php?area=04A03&item=3>

51
CAPÍTULO 6
Casos de avaliação de política pública

O Ministério do Desenvolvimento Social3 lançou em 2007 uma extensa publicação em que apresenta os
diversos mecanismos e metodologias para a avaliação de suas políticas implementadas. Nesta publicação
os programas são analisados por Instituições contratadas, normalmente instituições de ensino e pesquisa
como as Universidades. O Programa Bolsa Família, por exemplo, foi objeto de uma análise de impacto
realizada pela Universidade Federal de Minas Gerais (UFMG). No entanto, para este exemplo selecionamos
uma avaliação da implementação do programa “Benefício de Prestação Continuada (BPC)”, realizado
pela Universidade Federal Fluminense (UFF), de 2004 a 2006.

Com um período de execução de pouco menos de dois anos, os objetivos da pesquisa eram:

(1) analisar o processo de gestão do Benefício de Prestação Continuada (BPC),


considerando aspectos da concepção do benefício e de seus processos de requerimento
e concessão, tanto no que diz respeito a gargalos e conflitos, como a inovações [...]

(2) analisar os efeitos diretos e indiretos do benefício sobre a população beneficiária,


considerando aspectos desde o acesso à utilização do benefício, bem como de satisfação
e perspectivas futuras (MDS, 2007)

Para tanto, a metodologia quantitativa foi selecionada para a aplicação de um survey amostral, que
entrevistasse os beneficiados pelo programa:

A Região Sudeste foi selecionada como universo analítico da pesquisa por causa da
maior presença absoluta de beneficiários do Programa, da maior estrutura de gestão
e por concentrar boa parte dos problemas e expectativas de efeito do benefício sobre
os beneficiários.

Considerando a limpeza do cadastro, que inicialmente era composto por 390.190


registros de beneficiários e 112.026 registros de usuários com benefício indeferido
por renda associados a 440 APS situadas em 342 municípios, passou a contar com
92.092 beneficiários (19.662 PCDM, 22.291 PCDF e 50.139 idosos) e 41.781 usuários
associados a 398 APS em 341 municípios. Assim, considerando o cadastro descrito
acima e uma amostra pré-fixada para a visita de 100 (cem) APS em 60 (sessenta)
municípios, o desenho amostral da pesquisa pôde ser dividido em dois estágios:

No primeiro estágio, para a seleção das 100 (cem) APS a serem visitadas nos 60
(sessenta) municípios, optou-se por um desenho de amostra estratificado cujos estratos
foram constituídos da seguinte forma:

3 Disponível em: <http://www.mds.gov.br/biblioteca/secretaria-de-avaliacao-e-gestao-de-informacao-sagi/livros/metodologias-e-instrumen


tos-de-pesquisas-de-avaliacao-de-programas-do-mds>.

52
Exemplos Principais usos da Metodologia QuaNTItativa | UNIDADE III

(1) um estrato para cada município incluído com certeza na amostra, seja por ter
proporção de tamanho maior que um, seja por ter uma ou mais APS, seja ainda por ter
sido escolhido por alguma atipicidade em relação ao número de beneficiários;

(2) um estrato para todos os demais municípios do Sudeste com apenas uma APS.
Fonte: (MDS, 2007)

Os questionários aplicados continham perguntas abertas e fechadas, enfocando as condições


socioeconômicas dos entrevistados tanto no período anterior ao benefício quanto no período posterior. No
total, foram aplicados 1.300 questionários delimitando a amostra da pesquisa. A metodologia quantitativa,
especialmente aquela implementada por meio de surveys auxilia os avaliadores a coletarem informações
relevantes que as bases de dados secundárias não produzem. As perguntas são elaboradas especificamente.

Atualmente, o Ministério do Desenvolvimento Social possui uma secretaria estratégica dedicada


exclusivamente a avaliação e monitoramento de políticas públicas (Secretaria de Avaliação e Gestão da
Informação - SAGI). A SAGI utiliza como metodologia principal a construção de indicadores sociais a
partir das bases de dados existentes (IBGE, CadÚnico, PNAD etc.). Hoje a Secretaria trabalha com os
seguintes indicadores de avaliação, expostos no quadro seguinte:

Quadro 6. Indicadores de avaliação e monitoramento

Programa Indicador Descrição Desagregação Classificação Periodicidade Unidade Fórmula


Bolsa Cobertura Expressa a cobertura Brasil/Região/ Resultado Mensal Porcentagem i0019= (Quantidade de
Família do Programa do Programa Bolsa Mesorregião/ famílias que recebem
Bolsa Família Família numa área Microrregião/ o benefício Bolsa
segundo geográfica segundo UF/Município Família dividida pela
estimativa de a periodicidade e o Quantidade de famílias
pobreza nível de desagregação com renda familiar per
tendo como base capita até R$ 100,00)
a estimativa da multiplicada por 100
quantidade de famílias (cem), no período
com renda per capita de desagregação de
até R$ 100,00. referência
Bolsa Percentual de Expressa a relação Brasil/Região/ Processo Mensal Porcentagem i0016= (Quantidade
Família alcance da entre o número de Mesorregião/ de famílias cadastradas
meta de famílias inscritas no Microrregião/ no CadÚnico com
cadastramento CadÚnico com renda UF/Município renda familiar per capita
para o familiar per capita igual ou inferior a R$
programa igual ou inferior a R$ 100,00) multiplicada
Bolsa Família 100,00 e a estimativa por 100)(cem)
do números de famílias
com renda familiar per
capita até 100,00 R$.
Construção Número de Expressa o número de Brasil/ UF/ Resultado Anual Unidade i0020= Quantidade
de Cisternas cisternas cisternas construídas Município de cisternas
construídas no município atendido construídas.
em cada pelo programa.
município
atendido pelo
programa
Construção Recursos Expressa o valor Brasil/Região/ Estrutura Mensal Reais i0119=Valor repassado
de Cisternas médios médio (R$) de cada Mesorregião/ para a construção de
repassados cisterna construída Microrregião/ cisternas dividida pela
quantidade de cisternas
por cisterna UF/Município
construídas.

Fonte: VAITSMAN, RODRIGUES, PAES-SOUZA, 2006.

53
PARA (NÃO) FINALIZAR

Os registros administrativos podem fortalecer o controle SOBRE AS POLÍTICAS PÚBLICAS?

Esta disciplina buscou demonstrar como os métodos quantitativos têm sido relevantes para a avaliação e
monitoramento das políticas públicas. Os surveys são amplamente utilizados na busca de conhecimento
sobre as realidades tanto no momento anterior a determinado processo de intervenção de política pública,
quanto no momento posterior. Demonstramos as diferentes fontes de dados, bem como suas aplicações.
Entretanto, é necessário ressaltar que algumas destas fontes ainda estão subutilizadas em termos de
acompanhamento de políticas públicas.

Atualmente, o governo brasileiro apresenta uma grande quantidade de informações não trabalhadas
na forma de registros administrativos, a exemplo dos dados antropométricos do exército, citados
anteriormente. Essas bases de dados secundárias são excelentes fontes de pesquisa. O Ministério da
Educação, por exemplo, disponibiliza os dados referentes ao SAEB, coletados em todas as escolas públicas
de ensino fundamental do Brasil. A tabela abaixo demonstra como estes dados podem ser utilizados de
forma relevante para analisarmos a realidade educacional do país.

Panorama educacional brasileiro

1999 2001 2003


Número médio de alunos por turma 29,7 29.4 29.0
Total de matrículas no EF 516.0 515.9 505.0
Média de hora-aula por dia 4,2 4.2 4.2
Escolas com acesso à internet 7.8% 18.6% 19.6%
Escolas com laboratório de informática 6.4% 10.9% 15.0%
Escolas com laboratório de ciências 10.15% 8.65% 10.90%
Escolas com biblioteca 45.86% 51.88% 55.26%
Problemas com professores faltosos 13.0% 15.4% 22.7%
Turmas que não sofreram com rotatividade de professor 80.8% 79.2% 77.3%
Utilização computador como recurso pedagógico 1.4% 10.2% 32,5%
Experiência diretor: menos de 5 anos 62.9% 54.0% 52.3%
Procedimento pelo qual o diretor assumiu a escola
»» Concurso Público 3.1% 4.2% 4.9%
»» Eleição 27.5% 26.7% 24.7%
»» Seleção e Eleição 7.5% 4.2% 8.8%
»» Indicação ( Técnicos,políticos ou outros) 62.0% 55,0% 55.5%
»» Outras formas – 9.9% 6.1%
Fontes: SAEB e Censo Escolar – Inep/MEC.

54
| PARA (NÃO) FINALIZAR

Com base neste registro de informações também é possível determinar os impactos dos diferentes
programas sociais na educação. Um banco de dados elaborado com dados anteriores e posteriores ao
programa Bolsa Família, por exemplo, pode nos proporcionar informações sobre o aumento da freqüência
escolar, ou aumento do número total de alunos. Os registros administrativos apresentam dados que
podem ser trabalhados das mais diversas formas.

Outro exemplo de base de dados subutilizada é o Cadastro Único para Programas Sociais (CadÚnico). O
Cadastro Único é um instrumento de identificação das famílias em situação vulnerável. Realizado pelos
polos municipais do Bolsa Família, o CadÚnico coleta diversas informações sociais sobre os beneficiários
dos programas sociais, como: escolaridade, qualificação profissional, despesas mensais, dentre outras
informações. A base de dados permite um acompanhamento minucioso do andamento do programa. A
figura a seguir demonstra um trecho do formulário preenchido. Esses dados, usados em conjunto com
outros registros administrativos municipais, poderiam permitir, por exemplo, o desenho de programas
municipais de emprego, qualificação profissional etc. complementares ao Programa Bolsa família,
possibilitando uma ação municipal mais efetiva para apoiar o beneficiário do Programa Bolsa Família no
alcance de melhor condição de renda.
Figura 2. O CadÚnico

Fonte: Cadastro Único de Políticas Sociais (MDS)

Para finalizar, estes bancos de informações administrativas podem ser boas fontes de dados para pesquisas
de avaliações e monitoramento. É importante refletir sobre a importância da sistematização e do
acompanhamento destes dados para o processo político como um todo. Os registros administrativos podem
pontuar coerências e incoerências nas políticas de governo. Além disto, quanto mais institucionalizado o
processo de monitoramento a partir dos registros administrativos e de avaliações das políticas públicas,
maior o controle social sobre os programas implementados.

55
referências
BABBIE, Earl. Métodos de pesquisa Survey. Trad: Guilherme Sezarino. Belo Horizonte: UFMG, 2003.

BANCO INTERAMERICANO DE DESENVOLVIMENTO. Evaluación: una herramienta de gesttión


para mejorar el desempeño. 1997.

______. A política das políticas públicas: progresso econômico e social na América Latina: relatório
2006. Rio de Janeiro: Campus, 2007.

FOGUEL, Miguel N. O uso de bases de dados secundárias na avaliação de programas sociais. Avaliação
de Políticas Públicas. ENAP/IPEA, Brasilia, 2006. 20pp.

FREITAS, Henrique; OLIVEIRA, Miriam; SACCOL, Amarolinda; MOSCAROLA, Jean. O método de


pesquisa survey. In: Revista de Administração. São Paulo, v.35, n3, p.105-112, julho/setembro 2000.

FREITAS, Herique. Método de Pesquisa Survey. Sphinx Brasil, 2003. Acesso em: http://sphinxbrasil.net.
br/revista/wp-content/blogs.dir/7/files/2011/12/AR-GT-A-metodo-pesquisa-survey.pdf

FREITAS, H., JANISSEK, R., MOSCAROLA, J. e BAULAC, Y. Pesquisa interativa e novas tecnologias
para coleta e análise de dados usando o Sphinx®. Porto Alegre: Sphinx, 2002, 381p.

FREITAS, Janissek-Muniz, Andriotti, Freitas e Costa. Pesquisa via internet: características, processo
e interface. UFRRS, 2005. Acesso em: http://sphinxbrasil.com.br/revista/wp-content/blogs.dir/7/
files/2011/12/AR-GT-A-pesquisa_processo_web.pdf

GÜNTHER, H. Como elaborar um questionário. Série: Planejamento de pesquisa nas ciências sociais,
n.1. Brasília, DF. UnB.

GUO, Guang & Hipp John. Longitudinal Analysis for Continuous Outcomes: Random Effects Models
and Latent Trajectory Models. IN: Hardy, Melissa & BRyman, Alan. Handobook of Data Analysis. Sage
Publications, 2004.

IBOPE, Guia de pesquisa eleitoral, 2004.

JANUZZI, P. Indicadores e sistema de informação: conceitos básicos. ENCE/IBGE. ENAP, abril de 2005.

MDS. Ministério do Desenvolvimento Social. Avaliação de Impacto do Programa Bolsa Família. Brasília,
2007. Acesso em: http://www.mds.gov.br/biblioteca/secretaria-de-avaliacao-e-gestao-de-informacao-
sagi/cadernos-de-estudos/avaliacao-de-impacto-do-programa-bolsa-familia/avaliacao-de-impacto-do-
programa-bolsa-familia

MEDRI., Waldir. Análise exploratória de dados. Universidade Estadual de Londrina. Londrina, 2011.
78pp.

PAES-SOUSA, Rômulo (Org.); VAITSMAN, Jeni (Org.). Metodologias e instrumentos de pesquisas


de avaliação de programas do MDS: bolsa família, assistência social, segurança alimentar e nutricional.
Brasília, DF: MDS; SAGI, 2007. 536 p
56
| REFERÊNCIAS

PETERSON, Trond. Analyizing Panel Data: Fized- and Random-Effects Models. IN: Hardy, Melissa &
BRyman, Alan. Handobook of Data Analysis. Sage Publications, 2004.

PINNSONEAULT, A. & KRAEMER, K. Survey Research in Management information systems: an


assessment. In: Journal of Management Information Systems, 1993.

SAMARA, Beatriz. Pesquisa de Marketing. São Paulo: Makron Books, 1997. Cap. 05

VASCONCELLOS, L.; GUEDES, L. F. A. E-surveys: Vantagens e Limitações dos

Questionários Eletrônicos via Internet no Contexto da Pesquisa Científica. In: X SemeAd

Seminário em Administração FEA/USP (São Paulo, Brasil), 2007.

VAITSMAN, Jeni, RODRIGUES, Roberto W. S, PAES-SOUSA, Rômulo. O Sistema de Avaliação e


Monitoramento das Políticas e Programas Sociais: a experiência do Ministério do Desenvolvimento
Social e Combate à Fome do Brasil. In: Policy Papers/17, Unesco, 2006.

57

Você também pode gostar