Escolar Documentos
Profissional Documentos
Cultura Documentos
MONITORAMENTO E AVALIAÇÃO
Brasília-DF.
Elaboração
Juliana Estrella
Julia Vogel de Albrecht
Produção
APRESENTAÇÃO...................................................................................................................................... 4
Introdução.......................................................................................................................................... 7
unidade I
CAPÍTULO 1
A amostragem na metodologia quantitativa............................................................................ 16
Unidade II
Ferramentas da metodologia quantitativa........................................................................................... 27
CAPÍTULO 2
Surveys................................................................................................................................. 30
CAPÍTULO 3
Técnicas de monitoramento de políticas públicas.................................................................. 41
CAPÍTULO 4
Técnicas de Avaliação de Políticas Públicas............................................................................ 44
Unidade III
Exemplos dos Principais usos da Metodologia QuaNTItativa.................................................................. 47
CAPÍTULO 5
Casos de monitoramento de política pública.......................................................................... 50
CAPÍTULO 6
Casos de avaliação de política pública................................................................................... 52
referências....................................................................................................................................... 56
APRESENTAÇÃO
Caro aluno
A proposta editorial deste Caderno de Estudos e Pesquisa reúne elementos que se entendem necessários
para o desenvolvimento do estudo com segurança e qualidade. Caracteriza-se pela atualidade, dinâmica
e pertinência de seu conteúdo, bem como pela interatividade e modernidade de sua estrutura formal,
adequadas à metodologia da Educação a Distância – EaD.
Pretende-se, com este material, levá-lo à reflexão e à compreensão da pluralidade dos conhecimentos a
serem oferecidos, possibilitando-lhe ampliar conceitos específicos da área e atuar de forma competente
e conscienciosa, como convém ao profissional que busca a formação continuada para vencer os desafios
que a evolução científico-tecnológica impõe ao mundo contemporâneo.
Elaborou-se a presente publicação com a intenção de torná-la subsídio valioso, de modo a facilitar sua
caminhada na trajetória a ser percorrida tanto na vida pessoal quanto na profissional. Utilize-a como
instrumento para seu sucesso na carreira.
Conselho Editorial
4
ORGANIZAÇÃO DO CADERNO
DE ESTUDOS E PESQUISA
Para facilitar seu estudo, os conteúdos são organizados em unidades, subdivididas em capítulos, de forma
didática, objetiva e coerente. Eles serão abordados por meio de textos básicos, com questões para reflexão,
entre outros recursos editoriais que visam a tornar sua leitura mais agradável. Ao final, serão indicadas,
também, fontes de consulta, para aprofundar os estudos com leituras e pesquisas complementares.
A seguir, uma breve descrição dos ícones utilizados na organização dos Cadernos de Estudos e Pesquisa.
Provocação
Para refletir
abc
Espaço para você, aluno, fazer uma síntese dos textos e enriquecê-los com sua
contribuição pessoal.
5
Sugestão de leituras, filmes, sites e pesquisas
Praticando
Referências
6
Introdução
Objetivos
O objetivo da disciplina “Técnicas Quantitativas de Monitoramento e Avaliação” é apresentar aos alunos
a relevância das técnicas do método quantitativo para as pesquisas científicas e aplicadas e, em especial,
o monitoramento e avaliação das políticas públicas. O principal intuito é demonstrar as diferentes
ferramentas que compõem o método, seus objetivos, vantagens e desvantagens. Foram selecionados
exemplos teóricos e aplicados para auxiliar e exemplificar o entendimento das ferramentas quantitativas.
Organização do curso
O material didático está organizado da seguinte forma:
1. Uma breve exposição sobre o tema ou objeto a ser tratado, com base na literatura
especializada.
7
3. Trechos atuais de artigos de jornais que ilustram as proposições e os posicionamentos
a respeito das práticas de “Técnicas Quantitativas de Monitoramento e Avaliação”
relacionados com a exposição, sempre que possível.
4. Referências de leituras sobre o tema ou objeto tratado que deverão ser acessadas na
plataforma do curso ou na Internet. Procuramos fornecer referências importantes
e, ao mesmo tempo, de fácil acesso. Essas leituras devem ser concebidas como
complementares ao curso e, portanto, é fundamental que sejam realizadas sempre
que recomendadas.
Lembramos, por fim, que estamos sempre prontos para dialogar com os alunos. Por isso, estamos à
disposição para interagir com os alunos para além do material e das atividades previstas. Sendo assim, fique
à vontade para entrar em contato conosco sobre tudo que lhe interessar sobre o tema de monitoramento
e avaliação.
8
Se buscarmos, por exemplo, definir as percepções que os beneficiários de
determinado programa detêm sobre o benefício, talvez seja mais eficiente
utilizar uma metodologia qualitativa. Se o foco da avaliação é buscar os resultados
numéricos, isto é, o número de pessoas beneficiadas, a idade do público-alvo, o
impacto da política social em indicadores socioeconômicos, entre outros aspectos,
a pesquisa quantitativa é mais indicada.
Além disto, podemos afirmar que a pesquisa quantitativa muitas vezes é utilizada
posteriormente à realização do levantamento qualitativo. Um grupo focal permite
ao pesquisador elucidar questões que posteriormente podem ser exploradas em
um questionário quantitativo. Em muitos casos, a pesquisa qualitativa auxilia na
elaboração da pesquisa quantitativa. Ressalte-se que existem diversos mecanismos
de pesquisa quantitativa, sendo o mecanismo de survey um dos mais utilizados: “[...]
tipicamente, métodos de survey são usados para fazer estimativas sobre a natureza
da população total da qual a amostra foi selecionada” (BABBIE, 2003). Isso que
dizer que os suveys permitem analisar uma determinada população, partindo do
estudo de uma amostra. A lista abaixo é um glossário inicial e introdutório aos
termos que serão utilizados no decorrer da disciplina.
9
unidade
Introdução à pesquisa
quantitativa (etapas) I
Unidade
Introdução à pesquisa
quantitativa (etapas) I
Assim como todo processo de pesquisa, a análise quantitativa também segue um esquema de etapas. Para
determinar qual caminho metodológico devemos seguir, um primeiro momento é a definição do objetivo
da pesquisa, isto é, quais são as perguntas que eu desejo responder? Uma pesquisa que busque avaliar as
ações de prevenção de DST/Aids em determinada cidade, por exemplo, deve definir de forma clara seus
objetivos, a saber:
1. Identificar as unidades que realizam ações de prevenção das DST/Aids com o efetivo
foco na distribuição e na sensibilização para o uso de preservativos (femininos e
masculinos).
Após a delimitação dos objetivos e perguntas, há a necessidade de definir uma metodologia adequada.
Quais serão os mecanismos utilizados para obter as respostas? No caso da nossa pesquisa fictícia, serão
utilizados métodos quantitativos e qualitativos:
»» Será feita sondagem inicial com os gestores de cada unidade para levantar quais
unidades realizam ações de prevenção com as características mencionadas. Essa
sondagem inicial será realizada por pesquisa qualitativa, especificamente uma
entrevista por telefone. Serão visitadas apenas aquelas identificadas neste perfil.
13
UNIDADE I | Introdução à pesquisa quantitativa (etapas)
»» Para análise qualitativa também serão aplicados roteiros de entrevistas aos usuários,
investigando sua compreensão das informações e orientações e a adesão ao uso de
preservativos.
Uma vez delimitada a pesquisa quantitativa a ser utilizada, o terceiro momento consiste na definição da
população e da amostra da pesquisa. Por população entende-se: “a agregação teoricamente especificada de
elementos do survey” (BABBIE, 2003). A população caracteriza-se, portanto, como todos os indivíduos,
ou elementos que serão analisados. Se, por exemplo, o objetivo é monitorar o acesso a serviços de
pré-natal do SUS, no município ‘x’, a população é “mulheres, em idade fértil, da cidade ‘x’”.
No caso de um processo censitário, ocorre pesquisa quantitativa que trabalha necessariamente com a
totalidade da população ou o universo de todos os indivíduos. Todos os domicílios são recenseados, não
havendo a necessidade de elaboração de amostra. Amostras são elaboradas apenas quando realizam-se
pesquisas com uma parcela da população de uma determinada localidade ou com características comuns.
Quando se pesquisa o universo total da população, sempre se fala em pesquisa censitária.
Na pesquisa sobre o acesso aos serviços de pré-natal da cidade ‘x’, por exemplo, a população corresponde
a 10 mil mulheres. Um estudo de survey que entrevistasse cada uma destas 10 mil pessoas, ou seja, a
população em sua totalidade sairia extremamente custoso. A amostra é a ferramenta que permite que a
generalização dos resultados ocorra partindo de um número reduzido de casos, com segurança de que essa
amostra seja representativa da população. Existem diversos tipos de amostra probabilística ou aleatória
que serão tratados na etapa seguinte, no entanto, é importante enfatizar que o processo de definição da
amostra é extremamente relevante, pois esta precisa ser representativa da população analisada. Caso não
seja bem calculada, pode comprometer todo o processo de pesquisa.
A quarta etapa é partir para a elaboração dos questionários. Neste momento é necessário que se tenha muita
atenção, pois os questionários de surveys devem buscar traduzir as perguntas elaboradas no momento
inicial da pesquisa. Depois de elaborado, é recomendado realizar um ‘pré-teste’ do questionário, isso é:
algumas entrevistas são realizadas previamente como forma de testar se as perguntas estão inteligíveis, se
estão traduzindo o que foi desenhado como objetivo, entre outras características relevantes.
Após a elaboração e o teste dos questionários, parte-se para a pesquisa de campo, aplicação dos
questionários. Existem diversas formas de aplicar questionários que serão tratadas na unidade II deste
14
Introdução à pesquisa quantitativa (etapas) | UNIDADE I
Caderno de Estudos e Pequisa, entretanto é relevante registrar que o momento de ir a campo e aplicar os
questionários é apenas uma das etapas de um complexo desenho de pesquisa.
Depois de aplicados os questionários, é necessário que se processem os dados levantados. Muitas vezes
essa etapa é feita de forma concomitante à ida a campo. Conforme os pesquisadores vão entrevistando,
os dados vão sendo inseridos em programas específicos de survey. Quando todo o processo de inserção,
crítica dos dados e tabulação está concluído, parte-se para a análise dos resultados encontrados, a etapa
7. A crítica dos dados consiste em conferir se não existem inconsistências (informações digitadas ou
coletadas de maneira equivocada) e a tabulação corresponde ao cruzamento de diferentes variáveis a
partir do banco de dados construído. Essa tabulação, em geral, já é previamente definida pelo analista
para o estatístico responsável por construir e criticar o banco de dados.
A etapa 7 consiste na leitura e interpretação dos dados encontrados. Neste momento, diversas ferramentas
da estatística podem ser utilizadas, como a utilização de correlações e criação de indicadores. O momento
de análise permite responder às questões propostas no início do processo, bem como corroborar, ou
refutar as hipóteses elaboradas. A etapa final é a elaboração de um relatório e apresentação dos resultados
encontrados e dados gerados.
Sintetizando as etapas
1. Definição dos objetivos e perguntas da pesquisa.
15
CAPÍTULO 1
A amostragem na metodologia quantitativa
É imprescindível, portanto, que o processo amostral seja realizado de forma metódica. A seção seguinte
demonstra os diversos tipos existentes de amostra.
16
Introdução à pesquisa quantitativa (etapas) | UNIDADE I
Tipos de Amostra
Existem dois grandes grupos de amostra: aquelas baseadas em cálculos probabilísticos, chamada
“amostragem probabilística e aquela que não se baseia em números aleatórios para sua elaboração,
chamada de amostragem não probabilística” (FREITAS, 2003, p.105). Em pesquisas quantitativas, o mais
comum é que se utilize a amostragem calculada com base na probabilidade. As pesquisas de opinião
eleitoral, por exemplo, são realizadas partindo de um processo de amostragem. Entrevistam-se parcelas
da população, previamente selecionadas baseando-se nas características heterogêneas do eleitorado.
A heterogenia da população com que se está lidando torna a seleção das amostras ainda mais relevante. Um
químico, ao analisar as propriedades da água, por exemplo, está lidando com uma unidade homogênea,
isto é, a água sempre se comportará da mesma forma, o processo de generalização é sempre mais simples.
Por sua vez, uma pesquisa que considere o eleitorado brasileiro lida com uma grande diferença: jovens,
mulheres, homens, idosos etc. Encontrar uma amostra que represente essa população é mais trabalhoso.
Na amostragem não probabilística é definido algum tipo de critério estabelecido de forma não randômica, ou
seja, a seleção não é por sorteio. Por não permitirem que cada elemento da população tenha a mesma chance
de ser selecionado, as amostras não probabilísticas não são generalizáveis. Guardando suas limitações,
este tipo de amostra pode ser conveniente quando os respondentes são pessoas difíceis de identificar ou,
ainda, quando existe restrição no orçamento da pesquisa. Um claro exemplo de amostra não probabilística
é a amostra realizada por cotas, ou seja, é definido ex-ante o número de indivíduos a serem pesquisados a
partir de atributos tais como raça, sexo, idade, sem que essa seleção seja sorteada. O pesquisador aborda um
determinado número de pessoas com os atributos previamente definidos e encerra a pesquisa no momento
em que atingiu o número de entrevistas determinado (a cota) para aquele conjunto de atributos.
Pesquisas qualitativas utilizam a metodologia de amostragem não probabilística. Isso ocorre porque a
pesquisa qualitativa, por definição, não é estatisticamente significativa, ou seja, não precisa representar o
conjunto da população. Por outro lado, uma grande vantagem das pesquisas quantitativas está justamente
em permitir a generalização dos resultados para o conjunto da população e isso só pode ocorrer em caso
amostra probabilística.
Uma pesquisa qualitativa de entrevistas com ministros, por exemplo, pode se basear amostras não
probabilísticas, como na amostragem de bola de neve, ou ‘indicação’. Freitas (2003) enumera alguns
exemplos deste tipo de amostragem:
17
UNIDADE I | Introdução à pesquisa quantitativa (etapas)
O que torna a possível generalização é o fato de que todos os elementos da população têm a mesma
chance de serem escolhidos e pesquisados, isto é, a amostra probabilística evita o viés, evita que a
pesquisa foque apenas num determinado grupo da população. Podemos identificar quatro importantes
tipos de amostragem probabilística. São elas: amostragem aleatória simples; amostragem sistemática;
amostragem aleatória estratificada e amostragem por conglomerado.
A amostragem aleatória simples (AAS) é a maneira mais básica para selecionar uma amostra probabilística
de uma população. Apesar de o cálculo matemático ser bastante complexo, alguns conceitos devem ser
elucidados. Para que se obtenha uma AAS devemos possuir uma listagem com todas as unidades da
população, esta listagem é numerada e dela sorteia-se um número ‘x’ de elementos que representem sua
amostra. Segundo Babbie (2003, p. 145):
você numera cada elemento da lista, atribuindo um e só um número a cada um, sem
saltar nenhum número. A seguir, usa uma tabela de números aleatórios para selecionar
os elementos da amostra. Se sua moldura de amostragem está em formato próprio para
computadores, uma amostra aleatória simples pode ser extraída automaticamente,
usando um programa de computador relativamente simples. Com efeito o computador
pode numerar os elementos da moldura de amostragem, gerar sua própria série de
números aleatórios e imprimir a lista de elementos selecionados.
Apesar de ser o método básico, a AAS é mais trabalhosa de ser realizada. A lista total da população,
no limite, é dada pelo Censo Populacional, realizado pelos Institutos de Estatística de cada país. Daí a
importância da realização de censos populacionais a cada 10 anos, de maneira a atualizar dados censitários
da população e permitir pesquisas amostrais com segurança.
18
Introdução à pesquisa quantitativa (etapas) | UNIDADE I
Quando a lista da população em sua totalidade está disponível, muitas vezes os pesquisadores utilizam o
segundo modelo de amostragem: a sistemática. Neste modelo a retirada dos elementos da amostra é feita
periodicamente, a partir de um intervalo predefinido. Segundo Babbie (2003, p. 134):
A amostra aleatória estratificada, como o nome demonstra, é separada por grupos, os chamados estratos.
É obtida quando separamos as unidades da população em subgrupos, não superpostos. Uma pesquisa
sobre o eleitorado, por exemplo, pode ser estratificada de diversas formas: subgrupo dos eleitores
masculinos, com 16 anos; subgrupo das eleitoras femininas de 16 a 24 anos, com escolaridade até o ensino
fundamental e assim por diante. A diferença entre uma amostra estratificada, que é probabilística, e uma
amostra por cotas, não probabilística, está em que, no primeiro tipo de amostra, os elementos do grupo
são sorteados, enquanto no segundo tipo de amostra os elementos são escolhidos sem sorteio.
Uma amostra por conglomerado é uma amostra aleatória simples na qual cada unidade de amostragem é
um grupo ou um conglomerado de elementos, ou seja, a listagem geral é feita a partir de grupos. O primeiro
passo na amostragem por conglomerado é especificar conglomerados apropriados. Os elementos em um
conglomerado tendem a ter características similares. Como regra geral, o número de elementos num
conglomerado deverá ser pequeno em relação ao tamanho da população e o número de conglomerados
deverá se razoavelmente grande. Na amostragem por conglomerado, a população é dividida em grupos.
Selecionam-se amostras aleatórias simples de grupos e, então, todos os itens dos grupos (conglomerados)
selecionados farão parte da amostra.
Exemplo: Em um levantamento da população de uma cidade, pode-se dispor do mapa indicando cada
quarteirão e não dispor de uma relação atualizada dos seus moradores. Pode-se, então, colher uma
amostra aleatória dos quarteirões e fazer a contagem completa da população de todos os que residem
naqueles quarteirões sorteados.
Apesar de o mecanismo de amostragem ser extremamente importante para a pesquisa quantitativa, não
é possível afirmar que uma amostra represente perfeitamente uma determinada população. Ainda que os
testes estatísticos sejam realizados de forma minuciosa, sempre haverá algum tipo de erro amostral (ou
19
UNIDADE I | Introdução à pesquisa quantitativa (etapas)
margem de erro). Pesquisas eleitorais, por exemplo, normalmente trabalham com uma margem de erro
de dois pontos percentuais, isto é: o valor encontrado a partir de uma amostragem, pode variar para 2%
a mais, ou 2% a menos. Segundo o IBOPE:
A margem de erro amostral existe em toda pesquisa porque não se está entrevistando
todo o universo. Como se trabalha com amostras, existe um erro amostral conhecido
e calculado. Esse erro é calculado em função do tamanho da amostra e dos resultados
obtidos na pesquisa.
(Extraído de: IBOPE, Guia de pesquisa eleitoral, 2004. In: < http://www.ibope.com.br/calandraWeb/servlet/
CalandraRedirect?temp=5&proj=PortalIBOPE&pub=T&comp=Biblioteca&db=caldb&docid=A5352299F7
6B4EEC83256EB5006C54E9).>)
Por sua vez, os dados secundários são aqueles usados a partir de bases de dados primárias, previamente
coletadas, sem o intuito de fornecer dados exclusivamente para a avaliação de um determinado programa
ou objeto de pesquisa. As bases de dados secundárias são aquelas que dão informações gerais sobre diversos
assuntos, sem se preocupar com especificidades (FOGUEL, 2006). Bons exemplos de bases secundárias
são a Pesquisa Nacional por Amostra de Domicílios (PNAD) e a Pesquisa Mensal de Emprego (PME),
ambas realizadas pelo IBGE.
Muitos aspectos influenciam a opção por utilizar uma base primária ou secundária. O processo de coleta
de dados primários, por exemplo, é muito mais custoso que o processo de seleção de dados secundários,
pois envolve todo o processo de criação de survey, coleta de dados etc. Entretanto, apesar de mais custosos
e demorados, os dados primários permitem controlar as informações que se desejam coletar. Com os dados
secundários, muitas vezes, tem-se que adaptar o processo de pesquisa, aos questionários e dados já existentes.
Os dados secundários são muito utilizados em análises de programas universais como, por exemplo, a
educação fundamental. Nestes casos, utilizar o processo de amostragem para a realização de um survey é
extremamente complicado, além de custoso. Muitas vezes uma pesquisa também pode incorporar os dois
tipos de dados: realiza-se um survey, mas também se trabalha com os dados existentes em censos e outras
20
Introdução à pesquisa quantitativa (etapas) | UNIDADE I
pesquisas. O quadro abaixo, apresenta uma comparação das vantagens e desvantagens da utilização de
cada tipo de base de dados:
Vantagens desvantagens
»» Controle sobre a construção dos grupos de »» Custo elevado.
tratamentos e controle.
Atualmente existem diversas fontes de dados secundários. A lista abaixo aponta algumas das principais,
demonstrando de forma geral os dados que cada uma oferece.
21
UNIDADE I | Introdução à pesquisa quantitativa (etapas)
Belo Horizonte, Porto Alegre, Salvador e Recife). Esta base de dados caracteriza-se
por ser uma das séries mais antigas do IBGE datando de 1982. A PME entrevista 30
mil famílias de forma longitudinal, isto é: entrevista a mesma família durante quatro
meses, interrompe a entrevista por oito meses, depois volta a entrevistar por mais
quatro meses. Esta metodologia torna a pesquisa bastante útil para analisar as
flutuações do mercado de trabalho e avaliar programas e políticas de mercado de
trabalho. Segundo o IBGE:
22
Introdução à pesquisa quantitativa (etapas) | UNIDADE I
23
UNIDADE I | Introdução à pesquisa quantitativa (etapas)
Os dados censitários são aqueles em que há informações acerca da população da pesquisa em sua
totalidade, isto é, os dados coletados correspondem a todos os indivíduos da população. Por sua vez, os
dados amostrais são aqueles obtidos através de um survey realizado por amostra. Ambos são coletados
por meio de questionários, autopreenchidos, ou aplicados por entrevistadores. Os dados de registros
administrativos são obtidos mediante preenchimento de formulários individuais para um determinado
grupo que atende a uma característica específica. Exemplo: O Cadastro Único de Benefícios Sociais
(CadÚnico) só é preenchido para os indivíduos elegíveis a benefícios sociais oferecidos pelo Ministério
do Desenvolvimento Social (MDS).
É importante ressaltar que os dados obtidos mediante questionários ou formulários nos permitem criar
indicadores diversos: econômicos, sociais, de saúde etc. O elaboração de indicadores relevantes nos ajuda
a monitorar programas sociais, desempenho econômico, aspectos relevantes da sociedade etc. Januzzi
(2005) afirma que atualmente há uma crescente demanda por indicadores sociais que ajudem a informar e
acompanhar o processo de políticas públicas. Segundo o autor, os indicadores são formados com base em
24
Introdução à pesquisa quantitativa (etapas) | UNIDADE I
um esquema de quatro etapas: (1) definição de um conceito temático; (2) definição das dimensões a serem
analisadas; (3) coleta de dados; (4) criação dos indicadores. A figura 1 abaixo ilustra o processo de etapas.
25
Unidade
Ferramentas da metodologia
quantitativa II
unidade
Ferramentas da metodologia
quantitativa Ii
As ferramentas quantitativas são os mecanismos utilizados para realizar as pesquisas. Uma vez
selecionada a amostra é preciso determinar de que forma as hipóteses serão testadas: por meio de
questionários aplicados em domicílio ou por meio de formulários administrativos preenchidos
pelos próprios indivíduos. Esta unidade busca elucidar algumas das ferramentas existentes para
pesquisas quantitativas.
29
CAPÍTULO 2
Surveys
Como visto anteriormente, a utilização de surveys é recorrente nas pesquisas quantitativas. Pesquisas
de opinião, por exemplo, utilizam largamente esta metodologia baseando-se em amostras. Pode-se
definir um survey como: “o processo de obtenção de dados ou informações sobre características, ações
ou opiniões de determinado grupo de pessoas, indicado como representante de uma população-alvo, por
meio de um instrumento de pesquisa, normalmente um questionário” (TANUR apud PINSONNEAULT;
KRAEMER, 1993, p. 76). Em outras palavras, as pesquisas de survey nos permitem criar e elaborar dados
acerca de determinada realidade, com base na aplicação de um questionário. Com este modelo, é possível
testar as hipóteses desenvolvidas e analisar as relações entre as variáveis.
Pode-se separar uma pesquisa de survey em de três categorias (FREITAS, 2000): (1) explanatória; (2)
exploratória; (3) descritiva. A primeira visa descobrir e explicar as relações causais entre os fenômenos.
Intuitivamente podemos dizer que o aumento dos gastos públicos em saúde melhora o atendimento aos
usuários do sistema de saúde. Mas será que esta relação positiva, de fato, ocorre? O survey explanatório
permite responder a questões como esta.
A segunda categoria, exploratória, visa realizar um mapeamento inicial de uma determinada realidade.
Busca-se descobrir novos aspectos sobre a população-alvo. A pesquisa descritiva, como o nome já diz,
ajuda a descrever situações, atitudes, opiniões. Neste modelo, não se deseja testar hipóteses e relações
causais, apenas levantar mais informações. Um survey pode combinar mais de uma categoria.
Arlene Fink (2003) aponta que, para que um survey seja efetivo e retrate bem seus objetivos iniciais, deve-se
atentar para seis características: (1) objetivos específicos e passíveis de mensuração; (2) bom desenho de
pesquisa; (3) boa seleção de população, ou amostra; (4) instrumentos de pesquisa válidos e confiáveis; (5)
análises apropriadas; (6) bom relatório de resultados. Para a autora, todas as etapas desse processo são
igualmente relevantes.
Questionários
O questionário é o instrumento mais utilizado para a coleta de dados, pois ele concentra as informações
mais relevantes para o processo de pesquisa. O processo de elaboração do questionário é crucial para uma
30
| UNIDADE II
Ferramentas da metodologia quantitativa
pesquisa representativa. Questionários de survey, normalmente são estruturados, isto é, apresentam todas
as perguntas a serem realizadas aos entrevistados.
Segundo FOWLER (1998) para que um questionário proporcione repostas válidas, deve-se atentar para
cinco características básicas:
(1) a pergunta precisa ser compreendida consistentemente; (2) a pergunta precisa ser
comunicada consistentemente; (3) as expectativas quanto a resposta adequada precisam
ser claras para o respondente; (4) a menos que se esteja verificando conhecimento,
os respondentes devem ter toda informação necessária; (5) os respondentes precisam
estar dispostos a responder.
Fowler aponta questões relevantes para a elaboração de questionários: as perguntas devem ser inteligíveis
para a população a ser entrevistada. Se não se consegue entender a pergunta, a resposta fica comprometida.
Perguntas claras e bem escritas são sempre desejáveis. Além disto, entrevistadores devem ser treinados
de forma adequada para se fazerem entender, devem conseguir traduzir para o respondente o que se
deseja perguntar. Günther (2004) menciona que deve-se atentar para o vocabulário utilizado e adequá-lo
a amostra da pesquisa.
Pode-se classificar as perguntas em três grandes grupos: abertas, fechadas, ou semiabertas (BABBIE,
2003). As perguntas abertas são aquelas que permitem aos entrevistados fornecer uma resposta própria.
Perguntas fechadas proporcionam o respondente tanto com um questionamento, quanto com uma
resposta previamente determinada. A pergunta semiaberta é a junção de uma pergunta fechada a uma
aberta em que, em um primeiro momento, o entrevistado responde a uma das opções de alternativas
previamente determinadas e depois justifica ou explica a sua resposta. Günther (2004) aponta que a
escolha de usar uma ou outra forma de pergunta vai de acordo com os objetivos da pesquisa.
As perguntas fechadas permitem que os entrevistados classifiquem suas opiniões pessoais, partindo das
categorias previamente mencionadas. Um questionário pode ser elaborado contendo tanto perguntas
abertas quanto fechadas. A figura 2 abaixo proporciona exemplos de perguntas fechadas e abertas
extraídas dos instrumentos de pesquisa de avaliações de políticas sociais realizadas pelo Ministério do
Desenvolvimento Social (MDS).
31
UNIDADE II | Ferramentas da metodologia quantitativa
8.6. Concorda com a proibição de exercício de atividade remunerada para os idosos beneficiários do BPC-LOAS?
1. Sim 2. Não 3. Não sabe
8.7. Concorda que só as pessoas portadoras de deficiência incapacitadas para o trabalho devam receber o BPC-LOAS?
1. Sim 2. Não 3. Não sabe
8.9. Na sua opinião, o que deveria ser feito para melhorar a situação de vida dos beneficiários do BPC-LOAS em seu
município?
____________________________________________________________________________
____________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
___________________________________________________________________________
__________________________________________________________________________
Fonte: Ministério do Desenvolvimento Social e Combate a Fome: Metodologias e Instrumentos de Avaliação de Programas do MDS, 2007. Disponível em: <http://www.
mds.gov.br/biblioteca/secretaria-de-avaliacao-e-gestao-de-informacao-sagi/livros/metodologias-e-instrumentos-de-pesquisas-de-avaliacao-de-programas-do-mds>
Apesar de ser possível citar três tipos principais de questionamentos, existe uma diferenciação considerável
se for analisado o tipo de resposta que pode-se obter a partir de uma determinada questão. Denomina-se
pergunta como “fechada e dicotômica” se o entrevistado só possui duas respostas dicotômicas possíveis:
sim ou não, gosta ou não gosta etc.
Entretanto, muitas vezes as perguntas fechadas podem ser elaboradas com intuito de classificar as
preferências dos indivíduos em escala, isto é, não apenas analisar respostas bipolares como sim e não;
estou ou não satisfeita, mas criar um continuum de respostas, uma escala. As chamadas perguntas
unipolares permitem criar uma escala de preferências, concordâncias, rejeição. Segundo Sâmara (1997)
existem diversas formas de elaborar escalas em perguntas unipolares. As mais comuns são:
Pergunta com ordem de preferência: é dado ao entrevistado a sua preferência por um determinado
candidato político, numerando de 1 a 5, sendo 1 a de maior preferência e 5 para a de menor preferência.
Escala ordinal de ranking: pede para o entrevistado listar de acordo com as suas preferências, sem
estabelecer uma numeração prévia, o objeto analisado.
Escala de Likert: o respondente indica o grau de concordância ou discordância de acordo com as variáveis
e atitudes relacionadas ao objeto:
32
Ferramentas da metodologia quantitativa | UNIDADE II
A figura 4 abaixo apresenta dois exemplos de perguntas unipolares, também elaboradas com a escala de
Likert e uma pergunta bipolar:
Na elaboração dos questionários diversas questões devem ser consideradas. A forma como ele será aplicado
é uma delas. Os chamados questionários autopreenchidos têm aumentado sua freqüência nas pesquisas de
survey. Este modelo, em que o próprio respondente preenche suas respostas, requer cuidados especiais. O
questionário deve conter os objetivos da pesquisa e as perguntas devem ser extremamente bem elaboradas
e instigantes, com o intuito de ‘prender’ a atenção do respondente. A figura abaixo apresenta um fragmento
do questionário socioeconômico aplicado no Exame Nacional do Ensino Médio (ENEM) de 2009.
33
UNIDADE II | Ferramentas da metodologia quantitativa
Formulários
Os formulários, apesar de parecidos com o modelo de questionário, apresentam algumas especificidades.
Neles não há perguntas abertas, tampouco há a possibilidade de marcar questões com “não sei”, ou “não
respondeu”. Formulários são preenchidos como um ‘livro’ das atividades. Atualmente, os formulários
são muito utilizados nos registros administrativos, isto é, no registro das instituições: “as diferentes
organizações, normalmente, produzem um volume enorme de informações, dados e registros voltados
para a tomada de decisões e, em última análise, para o próprio agir administrativo” (FERREIRA, 2008).
34
Ferramentas da metodologia quantitativa | UNIDADE II
É importante ressaltar que há uma infinidade de formulários administrativos que são preenchidos
diariamente pela população usuária de diferentes serviços públicos e, estes, não são utilizados para
monitoramento e avaliação de políticas públicas, seja no executivo, no legislativo ou no judiciário, seja
em nível local, estadual ou federal. Clarificando, apresentam-se dois exemplos distintos:
35
UNIDADE II | Ferramentas da metodologia quantitativa
Pessoal
A entrevista pessoal é aquela em que os pesquisadores interagem com os entrevistados. Ainda é a forma
mais comum de realização de surveys. Pesquisas de opinião eleitoral, por exemplo, utilizam entrevistadores
em ruas de grande movimentação que abordam os eleitores de forma aleatória. Essa forma de entrevista,
que permite a interação, é vantajosa, pois estimula o entrevistado a responder ao questionário por
completo. Também apresenta desafios, como a possibilidade de as pessoas não pararem para responder
aos questionários, ou a influência dos entrevistados por parte daqueles que estão realizando a pesquisa.
Para evitar que os entrevistados sejam influenciados pelos pesquisadores, o treinamento destes antes de
a pesquisa ser realizada é fundamental. Além disso, amostras muito grandes ou em territórios distantes
podem dificultar esta forma de aplicação de survey.
Domiciliar
36
Ferramentas da metodologia quantitativa | UNIDADE II
de 2010, realizado pelo IBGE, adotou esta metodologia ao visitar as residências de toda a população
brasileira: “O Censo 2010 compreendeu um levantamento minucioso de todos os domicílios do país. Nos
meses de coleta de dados e supervisão, 191 mil recenseadores visitaram 67,6 milhões de domicílios nos
5.565 municípios brasileiros para colher informações sobre quem somos, quanto somos, onde estamos e
como vivemos.”1. A Pesquisa Mensal de Emprego, mencionada anteriormente, também é feita a partir de
visita domiciliar, porém é uma pesquisa amostral.
As pesquisas domiciliares, além de muito custosas, pois envolvem o deslocamento de pesquisadores até
os domicílios, também necessitam a obtenção de informações completas sobre a população do estudo,
ou amostra. Assim, essas pesquisas, em geral, adotam informações oriundas do Censo para construir
suas amostras.
A pesquisa por call center é muito realizada por grandes empresas de telecomunicações e automobilísticas.
São as conhecidas pesquisas de satisfação. Neste modelo, uma determinada empresa entra em contato com
seu consumidor por meio do telefone para avaliar seu nível de satisfação. Paralelo ao uso do call center
para pesquisas de satisfação, ou mercado, o uso do telefone também é utilizado para pesquisas acadêmicas
ou políticas públicas. Esse tipo de pesquisa é adotado quando se está distante do objeto estudado, quando
há necessidade de confirmar informações de um outro questionário ou quando se segue uma mesma
população no tempo, já havendo dados cadastrais da mesma. Um exemplo desse último caso é a pesquisa
de monitoramento da evolução da saúde de pessoas com doenças crônicas (diabetes, cardiopatias etc.)
que o Ministério da Saúde monitora regularmente.
Pelo quarto ano consecutivo, a Ford foi reconhecida pelo serviço de atendimento
ao cliente no Prêmio Abemd, da Associação Brasileira de Marketing Direto. Desta
vez, a empresa recebeu Ouro pela criação de células regionais de atendimento
para agilizar a interação dos consumidores com os distribuidores e departamentos
internos.
“Esta é uma das iniciativas inovadoras que contribuem para a Ford atender
às expectativas dos clientes. As células regionais tornam ágeis o atendimento e
buscam soluções rápidas sem ter que enviar o cliente a uma central única e nacional
de atendimento”, diz Antonio Taranto, diretor de operações de serviço ao cliente
da Ford América do Sul.
37
UNIDADE II | Ferramentas da metodologia quantitativa
Outra base do programa foi a criação de um sistema integrado que permite o acesso
imediato ao histórico do proprietário de cada veículo e do atendimento feito nos
mais de 400 distribuidores Ford no Brasil. “Hoje, somos a marca automobilística que
mais investe na qualidade do serviço de atendimento ao cliente. Os resultados são
expressados tanto nas nossas pesquisas diretas com os usuários dos veículos Ford
quanto nos reconhecimentos de entidades especializadas. Nos últimos sete anos,
foram 22 prêmios nacionais e internacionais concedidos à Ford por este serviço.
Internet
As pesquisas via Internet têm sido cada vez mais utilizadas, seja pelo mercado, seja pela academia.
Pode-se afirmar que a Internet tem substituído o envio de questionários via correio comum (Guedes &
Vasconcellos, 2007). Os mecanismos virtuais permitiram expandir os limites do processo de produção
de informações. Em termos acadêmicos, muitas pesquisas têm sido realizadas a partir da criação de
bancos de dados hospedados na rede, isto é, após o questionário ser elaborado, um banco de dados
on-line é criado. Este banco contém as informações do questionário e é enviado através de e-mails para os
indivíduos a serem pesquisados. Não há a necessidade de pesquisadores “indo a campo”.
Algumas empresas também realizam pesquisas de satisfação via Internet. É comum que, ao final de
alguma compra digital, o consumidor seja redirecionado para um endereço que contenha um survey.
Existem empresas especializadas em elaboração de pesquisas de satisfação via Internet. Algumas empresas
oferecem, inclusive, promoções e bônus, aos clientes que se disporem a completar os questionários2.
Para pesquisas acadêmicas e de avaliações de programas sociais, o processo de survey via Internet permite
um menor tempo de realização, pois o envio dos questionários é mais rápido se comparado com o método
via correio comum. Além disto, o banco de dados on-line poupa tempo, pois já acumula os dados no
computador, não há a necessidade de passá-los do papel para o meio digital. Entretanto, dependendo do
tipo de amostra e da população selecionada, a Internet apresenta viés de seleção, pois não são todos os
indivíduos da sociedade que possuem acesso a ela e que se disponibilizam a responder o questionário.
Existem diversas formas de envio de questionários via internet e escolha por uma destas formas vai depender
dos recursos existentes, bem como, das finalidades da pesquisa (FREITAS, MOSCAROLA; BAULAC,
2002). Como mencionado anteriormente, é possível criar um banco de dados online especificamente para
a pesquisa. Com a criação desse banco, um e-mail é enviado redirecionando o indivíduo ao portal da
pesquisa. Também é possível anexar o questionário diretamente no e-mail. A criação do banco de dados,
apesar de mais trabalhosa inicialmente, pode obter um nível de sucesso maior, uma vez que o respondente
não precisa “voltar” com o questionário: a medida que responde, os dados vão sendo registrados no
próprio banco. A figura seguinte apresenta um esquema das etapas de uma pesquisa via Internet.
38
| UNIDADE II
Ferramentas da metodologia quantitativa
Todavia, há desvantagens na pesquisa realizada pela Internet quando esta necessita garantir determinados
padrões estatísticos de aleatoriedade para avaliação de políticas sociais. Como já dito, considerando-se a
população brasileira, há um acesso limitado à internet, com claro viés de seleção de maior acesso entre
as classes econômicas mais abastadas da população. Isso significa a probabilidade de um maior número
de respostas de questionários entre os ricos se considerarmos a distribuição da população, ou seja, uma
sobrerrepresentatividade dos ricos em relação aos pobres. De outro lado, há a possibilidade de outro
viés de seleção, que é o viés dos autoestimulados. Entre os indivíduos, independentemente da condição
socioeconômica, há aqueles que são mais participantes e respondem todas as pesquisas e aqueles que nunca
respondem. Isso gera a seguinte consequência: ter bases de dados respondidas sempre por um grupo que
se interessa mais em expressar a sua opinião, não considerando outros perfis de indivíduos na população.
Porém, isso não elimina a validade da pesquisa realizada por meio da Internet. Apenas deixa claro que
é preciso desenhar muito bem a pesquisa e ter claro o objetivo dela antes de definir o meio de acesso ao
entrevistado. Assim, o uso ou não da internet é definido pelo desenho da pesquisa, conservando-se todas
as características técnicas necessárias a uma pesquisa sem viés de seleção.
39
UNIDADE II | Ferramentas da metodologia quantitativa
O quadro a seguir sintetiza e compara os benefícios e desafios das diversas formas de aplicação de
questionários.
Pesquisas quantitativas podem ser utilizadas tanto para auxiliar o monitoramento de políticas públicas,
quanto para o processo de avaliação, Lembrando que estes dois mecanismos apresentam objetivos
distintos: a avaliação busca levantar os resultados de determinado programa: foi efetivo? Eficiente? Já
o monitoramento, busca analisar como o processo tem ocorrido, os critérios do programa estão sendo
atendidos? Os capítulos a seguir descrevem como a metodologia quantitativa pode auxiliar estes dois
processos. Num primeiro momento será analisado o processo de monitoramento, num segundo serão
analisadas as técnicas para avaliação.
40
CAPÍTULO 3
Técnicas de monitoramento de políticas públicas
Medidas de dispersão
Como Medri (2011) bem defende, a dispersão de conjunto de dados é a variabilidade que os dados
apresentam entre si. Se todos os valores forem iguais, não há dispersão; se os dados não são iguais, existe
dispersão entre os dados. A dispersão é pequena quando os valores são próximos uns dos outros. Se os
valores são muito diferentes entre si, a dispersão é grande. Assim, as medidas de dispersão apresentam o
grau de agregação dos dados. As medidas de dispersão mais comuns na análise descritiva são: amplitude,
desvio médio, variância, desvio-padrão e coeficiente de variação.
Indicadores de monitoramento
Como mencionado anteriormente, a criação de indicadores é extremamente eficaz no processo de
monitoramento de políticas públicas. Quando uma política pública é desenhada, seus objetivos são traçados
no curto e longo prazo. A criação de indicadores permite acompanhar todo o processo. Ressalte-se que um
indicador pode ser tanto de diagnóstico, ou seja, um instrumento para evidenciar a realidade social a fim
41
UNIDADE II | Ferramentas da metodologia quantitativa
de dar suporte para as decisões políticas, quanto de processo, ou seja, um instrumento para acompanhar
o processo de implantação e evolução da política pública. A criação de indicadores envolve diversas
características importantes.
O quadro abaixo apresenta os principais aspectos desejáveis na construção de indicadores, entretanto
dificilmente se encontra um indicador com todas estas características. O relevante é selecionar os atributos
que mais se amoldam aos objetivos da sua pesquisa.
Quadro 3. Características relevantes aos indicadores
Relevância: é uma das propriedades fundamentais dos indicadores escolhidos em um sistema de formulação
e avaliação de programas. Devem responder à demanda de monitoramento da agenda
governamental de prioridades definidas em áreas temáticas centrais (saúde, educação etc.).
Validade: é importante que se disponha de medidas representativas do conceito abstrato que o indicador
pretende operacionalizar.
Confiabilidade: é uma propriedade relacionada à qualidade do levantamento dos dados empirícos. Medidas
confiáveis atribuem maior validade aos indicadores.
Grau de cobertura: deve-se procurar empregar indicadores de boa cobertura territorial ou populacional, que sejam
representativos da realidade empírica em análise. Indicadores de cobertura parcial também
podem ser úteis, desde que possam produzir conhecimento relevante, válido e confiável sobre
dinâmicas específicas.
Sensibilidade: é importante dispor de medidas capazes de refletir mudanças relativas às ações previstas nos
programas, e que possibilitem avaliar rapidamente os efeitos de determinada intervenção.
Especificidade: é necessário utilizar medidas que possam refletir alterações estritamente ligadas às mudanças
relacionadas à dimensão de interesse da pesquisa.
Inteligibilidade: recomenda-se que os procedimentos metodológicos e critérios adotados para a construção
dos indicadores sejam explicitados de forma clara e objetiva. Esse é um atributo fundamental
para garantir transparência no uso programático do indicador
Comunicabilidade: um bom indicador deve ser facilmente compreendido, para que possa ser legitimado
tecnicamente e auxilie na implementação de programas.
Factibilidade para obtenção: a obtenção factível do indicador (tempo e custo) é um aspecto crucial para sua construção e
seleção para acompanhamento de qualquer programa público.
Periodicidade na atualização: a periodicidade com que o indicador pode ser atualizado é importante para que se possa
acompanhar a mudança social, avaliar o efeito de programas implementados e corrigir
eventuais distorções de implantação. É fundamental que o indicador seja disponibilizado em
tempo eficaz para permitir a tomada de decisões pertinentes.
Desagregabilidade: é importante que os indicadores possuam desagregabilibdade populacional e territorial. Deve
ser possível construir indicadores referidos à população-alvo dos programas, a espaços
geográficos reduzidos, a grupos sociodemográficos ou a grupos vulneráveis específicos.
Historicidade: é uma característica relacionada à comparabilidade dos indicadores, o que possibilita a
inferência de tendências, como também a avaliação dos efeitos de programas implementados.
O ideal é que as cifras, em diferentes pontos temporais, sejam compatíveis, do ponto de vista
conceitual, e tenham confiabilidade similar.
Fonte: JANUZZI, 2006.
Algumas instituições de pesquisa já elaboram indicadores regulares. O quadro abaixo aponta alguns
destes indicadores e suas instituições responsáveis.
42
Ferramentas da metodologia quantitativa| UNIDADE II
43
CAPÍTULO 4
Técnicas de Avaliação de Políticas Públicas
Análise de painel
São muito utilizadas para conhecer as mudanças ocorridas ao longo do tempo. É possível dizer que as
análises de painel têm como característica principal o estudo das unidades de uma população, isto é,
estudos de painel acompanham os dados de mesmos indivíduos, empresas, instituições, países etc. ao
longo de um determinado intervalo de tempo regular (PETERSEN, 2004). Cada um dos intervalos de
tempo é chamado de “onda”. Uma análise de painel pode comparar as diferentes ‘ondas’ de diversas formas:
(1) comparar os “Ts” (coletas de dados em diferentes períodos de tempo) de um mesmo indivíduo; (2)
analisar os resultados obtidos entre as diversas ondas. O quadro abaixo ilustra como um painel pode
analisar diversas “unidades” em diferentes “intervalos de tempo”.
Análises de painel são extremamente úteis, pois permitem explorar aspectos sociais partindo de uma série
temporal. É possível, por exemplo, determinar como os indivíduos se comportam com as flutuações do
mercado de trabalho comparando as diferentes datas do painel (PETERSEN, 2004). A Pesquisa Mensal
de Emprego (PME), do IBGE, é um exemplo de painel ao longo de 1 ano, pois entrevista os mesmos
indivíduos naquele ano, em diferentes momentos do ano.
No caso de uma avaliação de políticas públicas, os estudos de painel permitem determinar um tempo
inicial, anterior a implementação do programa e um tempo final, posterior. Desta forma, analisa-se a
mudança que ocorreu ou não. Este modelo de análise permite que se acompanhe um mesmo indivíduo
durante todo o processo da política pública, podendo fazer afirmações sobre o impacto da política pública
sobre aqueles indivíduos.
Estudos longitudinais
Estudos longitudinais são caracterizados como “uma amostra de unidades de análise, em que pelo menos
uma das unidades é medida duas vezes, ou mais no tempo”. Dados longitudinais são dados coletados de
uma mesma população ao longo do tempo, podendo variar a amostra de indivíduos dessa população,
44
| UNIDADE II
Ferramentas da metodologia quantitativa
enquanto análises de painel compreendem a coleta de dados dos mesmos indivíduos de uma determinada
amostra duas vezes, ou mais no tempo. Um exemplo de pesquisa longitudinal é a Pesquisa Nacional por
Amostra Domiciliar (PNAD), do IBGE, em que, a cada ano, são pesquisadas as mesmas variáveis de
amostras diferentes da população.
No caso de uma avaliação de políticas públicas, os estudos longitudinais nos permitem determinar um
tempo inicial, anterior a implementação do programa e um tempo final, posterior. Desta forma, analisa-se
a mudança que ocorreu, ou não. Este modelo de análise permite que se acompanhe uma mesma amostra
de indivíduos durante todo o processo da política pública. São análises que permitem mostrar a evolução
de uma determinada população com base em uma característica pesquisada, a exemplo de: renda,
desigualdade, escolaridade etc.
Avaliação de impacto
As avaliações de impacto necessariamente apresentam aspectos longitudinais, na medida em que são
estudos temporalmente comparativos, isto é, para analisar o impacto de determinada ação em uma
localidade, precisa-se conhecer nosso objeto de pesquisa no momento anterior a intervenção. A avaliação
de impacto permite avaliar o efeito específico de uma determinada política social sobre um determinado
grupo social. Por exemplo, a Avaliação de Impacto do Programa Bolsa Família (AIBF), realizada pelo
Ministério do Desenvolvimento Social (MDS, 2007), permite avaliar exclusivamente o impacto do
Programa Bolsa Família na escolaridade e saúde das crianças, isolando-se desse impacto outros programas
sociais do Ministério da Educação e da Saúde que atuem sobre o mesmo grupo. A avaliação de impacto é
um método específico de avaliação de políticas públicas.
Para se considerar uma avaliação de política pública, uma análise de uma avaliação de impacto são
necessárias algumas características, a saber: 1) a pesquisa precisa conter um grupo de controle (grupo que
não recebe o benefício ou não participa da política social pesquisada) e um grupo de tratamento (grupo
que recebe o benefício ou participa da política social pesquisada), sendo que ambos os grupos precisam
ter as mesmas características amostrais quanto características tais como a renda, escolaridade, idade etc.;
2) a pesquisa necessita ser realizada com amostra probabilística; 3) a pesquisa deve ser realizada por
análise de painel; 4) a primeira coleta de dados no tempo deve ser realizada tanto para o grupo de controle
quanto para o grupo de tratamento antes que o grupo de tratamento receba o benefício ou seja alvo da
implementação da pesquisa (esse momento da pesquisa é conhecido por tempo zero – t0 – ou por baseline);
5) a realização de uma ou mais coleta de dados depois de concedido o benefício ou implementada a
política para o grupo de tratamento, sendo que essas coletas de dados devem ser igualmente realizadas
para o grupo de controle e o grupo de tratamento. É a diferença apurada na (s) variável (is) resultado da
pesquisa entre os grupos de controle e tratamento, ao longo do tempo, que indicará se a política social fez
ou não fez efeito e quanto de efeito foi obtido sobre a população beneficiada.
45
Unidade
Exemplos dos Principais usos da
Metodologia QuaNTItativa IIi
unidade
Exemplos dos Principais usos da
Metodologia QuaNTItativa Iii
A unidade 3 vai nos mostrar exemplos tanto de casos de monitoramento, quanto de casos de avaliação de
políticas públicas. O objetivo é demonstrar como as técnicas quantitativas têm sido utilizadas tanto pelo
governo como pela academia e instituições de pesquisa. Serão apresentados dois casos de monitoramento
e dois casos de avaliação.
49
CAPÍTULO 5
Casos de monitoramento de política pública
O monitoramento de políticas públicas acontece num período longitudinal, pois acompanha o processo
da política. Não apresenta um tempo final definido, deseja analisar o andamento das ações programáticas.
Neste aspecto o Ministério da Saúde apresenta uma base de dados consolidada. O Departamento de
Informática do SUS – DATASUS, reúne todas as informações relativas a Saúde no Brasil e acompanha os
diversos indicadores como de mortalidade e natalidade. Segundo o próprio Ministério, o DATASUS abriga:
O SIAB foi desenvolvido como instrumento gerencial dos Sistemas Locais de Saúde e
incorporou em sua formulação conceitos como território, problema e responsabilidade
sanitária, completamente inserido no contexto de reorganização do SUS no país, o que
fez com que assumisse características distintas dos demais sistemas existentes. Tais
características significaram avanços concretos no campo da informação em saúde.
50
Exemplos Principais usos da Metodologia QuaNTItativa | UNIDADE III
A figura abaixo aponta a interface principal do portal do SIEB. Através dele é possível gerar dados sobre
diversos aspectos. Ressalte-se que, dependendo do tipo de monitoramento que se realize, as informações
podem ser utilizadas de forma comparativa, ou elucidatória.
Figura 9. Dados quantitativos e o monitoramento da Saúde
51
CAPÍTULO 6
Casos de avaliação de política pública
O Ministério do Desenvolvimento Social3 lançou em 2007 uma extensa publicação em que apresenta os
diversos mecanismos e metodologias para a avaliação de suas políticas implementadas. Nesta publicação
os programas são analisados por Instituições contratadas, normalmente instituições de ensino e pesquisa
como as Universidades. O Programa Bolsa Família, por exemplo, foi objeto de uma análise de impacto
realizada pela Universidade Federal de Minas Gerais (UFMG). No entanto, para este exemplo selecionamos
uma avaliação da implementação do programa “Benefício de Prestação Continuada (BPC)”, realizado
pela Universidade Federal Fluminense (UFF), de 2004 a 2006.
Com um período de execução de pouco menos de dois anos, os objetivos da pesquisa eram:
Para tanto, a metodologia quantitativa foi selecionada para a aplicação de um survey amostral, que
entrevistasse os beneficiados pelo programa:
A Região Sudeste foi selecionada como universo analítico da pesquisa por causa da
maior presença absoluta de beneficiários do Programa, da maior estrutura de gestão
e por concentrar boa parte dos problemas e expectativas de efeito do benefício sobre
os beneficiários.
No primeiro estágio, para a seleção das 100 (cem) APS a serem visitadas nos 60
(sessenta) municípios, optou-se por um desenho de amostra estratificado cujos estratos
foram constituídos da seguinte forma:
52
Exemplos Principais usos da Metodologia QuaNTItativa | UNIDADE III
(1) um estrato para cada município incluído com certeza na amostra, seja por ter
proporção de tamanho maior que um, seja por ter uma ou mais APS, seja ainda por ter
sido escolhido por alguma atipicidade em relação ao número de beneficiários;
(2) um estrato para todos os demais municípios do Sudeste com apenas uma APS.
Fonte: (MDS, 2007)
53
PARA (NÃO) FINALIZAR
Esta disciplina buscou demonstrar como os métodos quantitativos têm sido relevantes para a avaliação e
monitoramento das políticas públicas. Os surveys são amplamente utilizados na busca de conhecimento
sobre as realidades tanto no momento anterior a determinado processo de intervenção de política pública,
quanto no momento posterior. Demonstramos as diferentes fontes de dados, bem como suas aplicações.
Entretanto, é necessário ressaltar que algumas destas fontes ainda estão subutilizadas em termos de
acompanhamento de políticas públicas.
Atualmente, o governo brasileiro apresenta uma grande quantidade de informações não trabalhadas
na forma de registros administrativos, a exemplo dos dados antropométricos do exército, citados
anteriormente. Essas bases de dados secundárias são excelentes fontes de pesquisa. O Ministério da
Educação, por exemplo, disponibiliza os dados referentes ao SAEB, coletados em todas as escolas públicas
de ensino fundamental do Brasil. A tabela abaixo demonstra como estes dados podem ser utilizados de
forma relevante para analisarmos a realidade educacional do país.
54
| PARA (NÃO) FINALIZAR
Com base neste registro de informações também é possível determinar os impactos dos diferentes
programas sociais na educação. Um banco de dados elaborado com dados anteriores e posteriores ao
programa Bolsa Família, por exemplo, pode nos proporcionar informações sobre o aumento da freqüência
escolar, ou aumento do número total de alunos. Os registros administrativos apresentam dados que
podem ser trabalhados das mais diversas formas.
Outro exemplo de base de dados subutilizada é o Cadastro Único para Programas Sociais (CadÚnico). O
Cadastro Único é um instrumento de identificação das famílias em situação vulnerável. Realizado pelos
polos municipais do Bolsa Família, o CadÚnico coleta diversas informações sociais sobre os beneficiários
dos programas sociais, como: escolaridade, qualificação profissional, despesas mensais, dentre outras
informações. A base de dados permite um acompanhamento minucioso do andamento do programa. A
figura a seguir demonstra um trecho do formulário preenchido. Esses dados, usados em conjunto com
outros registros administrativos municipais, poderiam permitir, por exemplo, o desenho de programas
municipais de emprego, qualificação profissional etc. complementares ao Programa Bolsa família,
possibilitando uma ação municipal mais efetiva para apoiar o beneficiário do Programa Bolsa Família no
alcance de melhor condição de renda.
Figura 2. O CadÚnico
Para finalizar, estes bancos de informações administrativas podem ser boas fontes de dados para pesquisas
de avaliações e monitoramento. É importante refletir sobre a importância da sistematização e do
acompanhamento destes dados para o processo político como um todo. Os registros administrativos podem
pontuar coerências e incoerências nas políticas de governo. Além disto, quanto mais institucionalizado o
processo de monitoramento a partir dos registros administrativos e de avaliações das políticas públicas,
maior o controle social sobre os programas implementados.
55
referências
BABBIE, Earl. Métodos de pesquisa Survey. Trad: Guilherme Sezarino. Belo Horizonte: UFMG, 2003.
______. A política das políticas públicas: progresso econômico e social na América Latina: relatório
2006. Rio de Janeiro: Campus, 2007.
FOGUEL, Miguel N. O uso de bases de dados secundárias na avaliação de programas sociais. Avaliação
de Políticas Públicas. ENAP/IPEA, Brasilia, 2006. 20pp.
FREITAS, Herique. Método de Pesquisa Survey. Sphinx Brasil, 2003. Acesso em: http://sphinxbrasil.net.
br/revista/wp-content/blogs.dir/7/files/2011/12/AR-GT-A-metodo-pesquisa-survey.pdf
FREITAS, H., JANISSEK, R., MOSCAROLA, J. e BAULAC, Y. Pesquisa interativa e novas tecnologias
para coleta e análise de dados usando o Sphinx®. Porto Alegre: Sphinx, 2002, 381p.
FREITAS, Janissek-Muniz, Andriotti, Freitas e Costa. Pesquisa via internet: características, processo
e interface. UFRRS, 2005. Acesso em: http://sphinxbrasil.com.br/revista/wp-content/blogs.dir/7/
files/2011/12/AR-GT-A-pesquisa_processo_web.pdf
GÜNTHER, H. Como elaborar um questionário. Série: Planejamento de pesquisa nas ciências sociais,
n.1. Brasília, DF. UnB.
GUO, Guang & Hipp John. Longitudinal Analysis for Continuous Outcomes: Random Effects Models
and Latent Trajectory Models. IN: Hardy, Melissa & BRyman, Alan. Handobook of Data Analysis. Sage
Publications, 2004.
JANUZZI, P. Indicadores e sistema de informação: conceitos básicos. ENCE/IBGE. ENAP, abril de 2005.
MDS. Ministério do Desenvolvimento Social. Avaliação de Impacto do Programa Bolsa Família. Brasília,
2007. Acesso em: http://www.mds.gov.br/biblioteca/secretaria-de-avaliacao-e-gestao-de-informacao-
sagi/cadernos-de-estudos/avaliacao-de-impacto-do-programa-bolsa-familia/avaliacao-de-impacto-do-
programa-bolsa-familia
MEDRI., Waldir. Análise exploratória de dados. Universidade Estadual de Londrina. Londrina, 2011.
78pp.
PETERSON, Trond. Analyizing Panel Data: Fized- and Random-Effects Models. IN: Hardy, Melissa &
BRyman, Alan. Handobook of Data Analysis. Sage Publications, 2004.
SAMARA, Beatriz. Pesquisa de Marketing. São Paulo: Makron Books, 1997. Cap. 05
57