Você está na página 1de 256

See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/33024173

Avaliação por Triangulação de Métodos. Abordagem de Programas Sociais

Article · January 2006


Source: OAI

CITATIONS READS

446 13,159

3 authors, including:

Maria Cecília de Souza Minayo Simone Gonçalves de Assis


Fundação Oswaldo Cruz Fundação Oswaldo Cruz
436 PUBLICATIONS   17,322 CITATIONS    182 PUBLICATIONS   3,434 CITATIONS   

SEE PROFILE SEE PROFILE

Some of the authors of this publication are also working on these related projects:

Redução de Danos e Vulnerabilidades Sociais View project

centro latino americano de estudos e violencia jorge careli View project

All content following this page was uploaded by Maria Cecília de Souza Minayo on 24 April 2016.

The user has requested enhancement of the downloaded file.


AVALIAÇÃO POR TRIANGULAÇÃO DE MÉTODOS

Abordagem de Programas Sociais


Créditos institucionais
Editora Fiocruz....
AVALIAÇÃO POR TRIANGULAÇÃO DE MÉTODOS

Abordagem de Programas Sociais

Maria Cecília de Souza Minayo


Simone Gonçalves de Assis
Edinilsa Ramos de Souza
(organizadoras)
Todos os direitos...

Créditos publicação
ISBN

Ficha catalográfica
João e Carlota: Em que página colocar?
Pesquisa Avaliação do Processo de Implantação e dos Resultados do
Programa Cuidar
Centro Latino Americano de Estudos de Violência e Saúde Jorge Careli - CLAVES
Escola Nacional de Saúde Pública – ENSP
Instituto Fernandes Figueira – IFF
Fundação Oswaldo Cruz – Fiocruz

Av. Brasil, 4036, sala 700


Manguinhos – RJ. CEP: 21040-361
Tel/fax: 21-22904893
www.claves.fiocruz.br
claves@claves.fiocruz.br

Ver com Simone em que edição vai entrar esta


parte
Equipe de pesquisadores
Simone Gonçalves de Assis (coordenação)
Edinilsa Ramos de Souza (coordenação)
Maria Cecília de Souza Minayo (coordenação)
Suely Ferreira Deslandes
Kathie Njaine
Romeu Gomes
Patricia Constantino
Cosme Marcelo Furtado Passos da Silva
Juaci Vitória Malaquias
Nilton César dos Santos
João Paulo Costa da Veiga
Helena Amaral da Fontoura
Maria Regina Bortollini
Maria de Fátima Junqueira

Assistentes de pesquisa
Liana Furtado Ximenes
Renata Pires Pesce
Vani Marizete Belmonte
Isabela Gomes da Fonseca
Cláudio Felipe Ribeiro da Silva
Karina Ferreira Borges

Consultoria técnico-científica
Evandro da Silva Freire Coutinho
Luiz Antonio Bastos Camacho

Apoio Técnico
Marcelo da Cunha Pereira
Marcelo Silva da Motta
Cristina Maria Peres do Nascimento

Apoio à Documentação e Normatização da Bibliografia


Fátima Cristina Lopes dos Santos
Hynajara Boueris da Silva
Alessandra de Jesus Machado Cruz

Consultores Locais
Haydée Monteiro dos Santos Agostini (Campinas)
Antônia Anízia Gonçalves Moreira (Iguatu)
Juvenal Pereira Lima (Iguatu)
Célia Maria Amino Mauler (Juiz de Fora)

Instituto Souza Cruz

Site: www.institutosouzacruz.org.br

Diretoria
Nicandro Durante - Presidente
Constantino Mendonça - Diretor
Gerson Cardoso - Diretor

Conselho Fiscal
Dante Letti - Presidente
Paulo Eduardo Santos - Conselheiro
Antônio Duarte Castro - Conselheiro

Diretora - Executiva
Leticia Lemos Sampaio

Consultores
Luiz André Soares – Gestão de Projetos Sociais
Adriana Martins Reis – Comunicação para o Desenvolvimento Social
Marcos Marques de Oliveira – Comunicação para o Desenvolvimento Social

Assistente Administrativa
Simone Rodrigues Amorim

Concepção do Programa Cuidar e


Coordenação do Programa-piloto
Antônio Carlos Gomes da Costa e
Modus Faciendi Treinamento & Desenvolvimento
Autores

Cláudio Felipe Ribeiro da Silva


• Estatístico, mestrando em ______________, inserção institucional

Edinilsa Ramos de Souza (organizadora)


• Psicóloga, Doutora em Ciências. Pesquisadora Titular do Centro Latino-
Americano de Estudos sobre a Violência Jorge Careli/Escola Nacional
de Saúde Pública/Fundação Oswaldo Cruz (Claves/Ensp/Fiocruz)

João Paulo Veiga da Costa


• Graduação, maior pós, inserção institucional

Juaci Vitória Malaquias


• Graduação, maior pós, inserção institucional

Kathie Njaine
• Graduação, maior pós, inserção institucional

Maria Cecília de Souza Minayo (organizadora)


• Graduação, maior pós, inserção institucional

Nilton César dos Santos


• Graduação, maior pós, inserção institucional

Patrícia Constantino
• Graduação, maior pós, inserção institucional

Romeu Gomes
• Graduação, maior pós, inserção institucional

Simone Gonçalves de Assis (organizadora)


• Graduação, maior pós, inserção institucional

Suely Ferreira Deslandes


• Graduação, maior pós, inserção institucional
SUMÁRIO

Apresentação

Introdução
Maria Cecília de Souza Minayo

1. Mudança: conceito-chave para intervenções sociais e para avaliação de


programas
Maria Cecília de Souza Minayo

2. Métodos, técnicas e relações em triangulação


Maria Cecília de Souza Minayo, Edinilsa Ramos de Souza, Patrícia Constantino, Nilton
César dos Santos

3. Definição de objetivos e construção de indicadores visando à trinagulação


Simone Gonçalves de Assis, Suely Ferreira Deslandes, Maria Cecília de Souza Minayo,
Nilton César dos Santos

4. Construção de instrumentos qualitativos e quantitativos


Edinilsa Ramos de Souza, Maria Cecília de Souza Minayo, Suely Ferreira Deslandes, João
Paulo Veiga da Costa

5. Trabalho de campo: construção de informações qualitativas e


quantitativas
Suely Ferreira Deslandes

6. Organização, processamento, análise e interpretação de dados: o desafio


da triangulação
Romeu Gomes, Edinilsa Ramos de Souza, Maria Cecília de Souza Minayo, Juaci Vitória
Malaquias, Cláudio Felipe Ribeiro da Silva

7. Apresentação e divulgação de resultados


Simone Gonçalves de Assis, Kathie Njaine, Maria Cecília de Souza Minayo, Nilton César
dos Santos
APRESENTAÇÃO

Em Avaliação por Triangulação de Métodos: abordagem de programas


sociais, a equipe do Centro Latino-Americano de Estudos de Violência e Saúde
Jorge Careli da Escola Nacional de Saúde Pública, da Escola Nacional de Saúde
Pública da Fiocruz (Claves/Ensp/Fiocruz) tenta fazer uma síntese de seu
saber fazer, colocando à disposição da comunidade científica da área
social e da saúde, o compartilhamento de seu conhecimento
interdisciplinar em metodologia de pesquisa. Este livro sintetiza a
experiência de 15 anos de trabalho em cooperação e em grupo,
investigando temas relacionados ao impacto da violência sobre a saúde e
às políticas sociais voltadas para a promoção da vida.
O investimento técnico-científico desses anos se desdobra em atividades de
ensino, de orientações de monografias, dissertações e teses e abrange
análises da morbimortalidade por acidentes e violências referentes a
grupos específicos, (crianças, adolescentes, idosos, trabalhadores), temas
peculiares (auto-estima, resiliência, suicídio, homicídios, acidentes de
trânsito, qualidade de informações) assessorias a órgãos públicos e a ong e
avaliação de intervenções.

A literatura nacional e internacional evidencia que a triangulação é uma


estratégia de investigação voltada para a combinação de métodos e
técnicas. Já consagrado, o termo remonta a Norman Denzin em seu
clássico livro The Research Act, publicado em 1970. Nesta obra, o autor
convence os investigadores que praticam a pesquisa qualitativa de que a
compreensão da realidade social se faz por aproximação e de que é preciso
exercitar a disposição de olhá-la por vários ângulos. O núcleo reflexivo de
Denzin, porém, é o da própria abordagem qualitativa em sua vertente do
interacionismo simbólico.
Em 1979, T. Jick escreveu na revista Administrative Science Quarterly, um
artigo que se tornou referência na área da gestão, pois levou o tema para
as ciências aplicadas: Mixing Quantitative and Qualitative Methods:
triangulation and action. Em 1992, Juan Samaja, em artigo na revista
Educación Medico-Social com o título La combinación de métodos: pasos
para una comprensión dialéctica del trabajo interdisciplinario, também
teorizou sobre o assunto, tratando-o do ponto de vista do diálogo entre
áreas do conhecimento. Minayo & Cruz Neto, pesquisadores do próprio
Claves, em 1999 elaboraram um artigo publicado pela Edamex, no México,
no livro Salud, cambio social y política, perspectivas desde América Latina
intitulado Triangulación de métodos en la evaluación de programas y
servicios de salud, tratando da abordagem e noticiando a experiência do
grupo de pesquisa.

1
Tendo em vista que, além dos trabalhos citados, com certeza há outros de
maior e menor relevância sobre o assunto, qual seria a contribuição desta
obra, no âmbito da literatura nacional e internacional? Essa pergunta
enseja uma apresentação mais minuciosa dos bastidores da criação do
livro que ora entregamos ao público.

Nos últimos quatro anos, elaboramos uma ampla reflexão teórica e uma
aprofundada habilidade prática de investigação avaliativa, a propósito de
uma intervenção pedagógico-social denominada Cuidar, realizada em
escolas de níveis fundamental e médio em várias regiões do país.
Aceitamos o desafio de fazer parte de um grupo de instituições que
resolveu apostar em estratégias de educação para valores em escolas, das
quais o Cuidar é um exemplo.
Nesse grupo, nossa função específica foi a de avaliar a implantação e a
implementação dessa intervenção traçada e disponibilizada pela Modus
Faciendi, uma instituição criada e presidida pelo renomado educador
Antônio Carlos Gomes da Costa. O patrocínio da abordagem pedagógica e
da avaliação e a gestão empresarial da proposta ficaram a cargo do
Instituto Souza Cruz. A realização do projeto coube a secretarias de
educação de vários municípios do país, abrangendo escolas públicas e
privadas, num total que hoje já atinge 5 estados, 226 escolas, 4.165
educadores e 86.334 estudantes.

Pela variedade de atores e pela sua diversidade de posições no processo,


certamente cada um dos citados acima se beneficiou de forma peculiar no
diálogo interinstitucional desenvolvido durante os quatro anos do
programa Cuidar. Cabendo-nos a responsabilidade da avaliação, nossa
curiosidade estava voltada para duas direções: (1) observar como uma
intervenção no campo da educação para valores poderia promover a
cidadania e, portanto, atuar no lado positivo da promoção da vida: o
antídoto da violência; (2) aprofundar teórica e praticamente a estratégia
avaliação por triangulação de métodos, que já vínhamos praticando.
Realizando, passo a passo, o monitoramento do processo, pudemos ter
resposta para nossas indagações, ressaltando as conquistas e os
problemas de ordem conceitual, técnica e organizativa que iam ocorrendo
durante a intervenção sócio-pedagógica. E, por meio de uma ação reflexiva
voltada para decisões, chegamos a estabelecer parâmetros para a ação
presente e futura, por meio de conclusões consensualizadas, embora
sempre provisórias.

Portanto, este livro fala da “cozinha” da avaliação, ou seja, do como


fizemos cada passo do trabalho metodológico e o que nele correspondeu à
aprendizagem teórica, à criação de aproximações e à elaboração de
instrumentos. Ele traz ao leitor o resultado de uma atividade em que se
buscou, dialeticamente, juntar teoria e prática, pesquisadores de várias
áreas, instituições diversas e síntese de resultados. É nisso que o livro

2
inova, pois não aporta apenas um conjunto de técnicas; não é somente a
descrição de um processo de elaboração; não é simplesmente uma
teorização. Traz a dinâmica de construção, em sintonia e em interação,
desse conjunto de atividades necessárias, por meio de uma disposição
dialógica que constitui a condição sine qua non de qualquer trabalho
científico em cooperação interdisciplinar. Ao apresentar as etapas da
investigação avaliativa por triangulação, oferece ao leitor a teoria, o
método, as técnicas e a exemplificação de cada passo.

Por isso, consideramos este trabalho como uma inovação no campo a que
se destina e uma inflexão teórico-metodológica sem precedentes, na
medida em que fundamenta um modus faciendi de coletivo de pesquisa
que, ao mesmo tempo, preserva a “especialização individualizada” de cada
um de seus integrantes.

Nossos leitores poderão julgar o acerto desse passo que já recebeu o


aplauso de vários pares, das instituições com quem estabelecemos
cooperação e do Ministério da Cultura que, junto com o Instituto Souza
Cruz, se propôs a financiar a iniciativa de sua publicação. A esse
ministério, por meio de sua Secretaria do Livro e Leitura e ao Instituto
Souza Cruz, na pessoa da Dra. Letícia Sampaio, expressamos nossos
sinceros agradecimentos. Compartilhamos os méritos do trabalho com os
estudantes, professores, gestores das escolas e dos municípios onde
ocorreu a avaliação e ainda está em pleno vigor o Cuidar, com a Modus
Faciendi, e sobretudo com o Instituto Souza Cruz. Esperamos que um dos
frutos teóricos e práticos desse Programa seja o acerto de divulgar sua
estratégia de monitoramento, a avaliação por triangulação de métodos,
como uma contribuição positiva para o avanço das análises de políticas
sociais no Brasil.

Faltam referências bibliográficas Ver com Simone

As organizadoras
Maria Cecília de Souza Minayo
Simone Gonçalves de Assis
Edinilsa Ramos de Souza

3
Avaliação por Triangulação de Métodos: abordagem de programas sociais é
um livro que faz a síntese entre teoria e prática no tema anunciado em seu
título. Escrito pela equipe do Centro Latino-Americano de Estudos de Violência
e Saúde Jorge Careli da Escola Nacional de Saúde Pública da Fundação
Oswaldo Cruz (Claves/Ensp/Fiocruz) a partir de sua experiência de
pesquisa, trata da articulação de abordagens quantitativas e qualitativas
para a análise, acompanhamento e monitoramento de programas e
projetos de intervenção social, a partir das disciplinas que compõem o
campo da saúde e das áreas das ciências humanas e sociais.
Vários temas vêm sendo objeto de investigação interdisciplinar e
metodológica desse grupo composto por epidemiologistas, estatísticos,
sociólogos, antropólogos, psicólogos e comunicadores sociais.

A abordagem teórica fundamental da obra faz parte do que, no mundo


acadêmico, se convencionou chamar pesquisa avaliativa, ou seja, a
atividade que junta investigação e avaliação e se distingue pela
contextualização, pela teorização e pela complexificação tanto dos
instrumentos como dos métodos e das análises de resultados. Sua
especificidade tem dois contrapontos: o da área de investigação
propriamente dita, de onde provem e à qual acrescenta a peculiaridade do
conceito de avaliação, atualmente um campo específico de conhecimento
com marcos teóricos e metodológicos consagrados e sofisticados. O outro é
o da avaliação tradicional que se constitui apenas como uma técnica
operativa, cujo viés instrumental dispensa a contextualização e a
teorização.

A grande novidade deste livro é que nele os pesquisadores, ao mesmo


tempo, teorizam, trabalham as técnicas e ensinam o “pulo do gato”, ou
seja, como operacionalizar. Mostrando o movimento que vai da teoria à
prática e vice-versa em cada um dos passos da abordagem, os autores
apresentam um livro inédito na literatura nacional e internacional.

É importante dizer que o termo triangulação de métodos é antigo e


primeiro se registra na obra de Norman Denzin em The Act of Research,
cuja primeira edição foi de 1970, quando o movimento de revalorização da
pesquisa qualitativa renascia na sociedade científica americana. Essa
expressão criada por Denzin diz respeito, sobretudo, a uma disposição
necessária do investigador a exercitar várias abordagens e olhares para se
aproximar da realidade social. Depois dele, vários autores e sob diversos
propósitos têm falado dessa estratégia como é o caso de Juan Samaja
quando referencia estudos de saúde e reprodução social. E Minayo e Cruz
Neto, em comunicação sobre trabalhos de pesquisa, já haviam até
esquematizado as etapas de realização dessa estratégia.
No entanto, é a primeira vez que o leitor terá oportunidade de compartilhar
a experiência de articulação interdisciplinar da equipe do Claves, que vem
utilizando a estratégia de triangulação de métodos. Esta estratégia inclui
abordagens específicas (de acordo com o tema em pauta) para avaliação há
15 anos. Dentre as obras realizadas pelo grupo utilizando a triangulação
de métodos citam-se um livro sobre a juventude carioca denominado Fala
Galera, e a recente obra chamada Missão Investigar, que aborda o perfil e
as condições de trabalho, saúde e qualidade de vida dos policiais civis do
Rio de Janeiro, além de vários trabalhos de avaliação realizados a pedido
do Ministério da Saúde, da Justiça e de outras instituições da sociedade
civil.

Este livro, contendo uma estratégia de trabalho tão importante, promete


contribuir, indiscutivelmente, para as atividades de pesquisa e de
avaliação tanto do campo de saúde como, de forma mais ampla, das
atividades e programas sociais.

Nome do autor
Maior crédito e inserção institucional
Quarta capa

Esta obra concentra um “saber” e um “saber fazer” de um dos grupos de


pesquisa do Centro Latino Americano de Estudos sobre Violência e Saúde
Jorge Careli, da Escola Nacional de Saúde Pública da Fundação Oswaldo
Cruz (Claves/Ensp/Fiocruz). Há 15 anos, estes pesquisadores vêm
desenvolvendo investigações sobre temas relacionados ao impacto da
violência sobre a saúde e sobre a aplicação de programas sociais atinentes
à cidadania.
A especificidade dessa experiência é a prática interdisciplinar e a
articulação de abordagens metodológicas quantitativas e qualitativas,
como estratégias de compreensão e interpretação da realidade. O livro
enriquece a área de conhecimento denominada pesquisa avaliativa, na
qual inova, teorizando sobre a triangulação de métodos e mostrando como
essa estratégia se realiza na prática. Por isto, promete ser de indiscutível
utilidade nas mãos de investigadores sociais, estudiosos das áreas de
saúde, da educação, das políticas sociais, e com certeza, do campo de
avaliação.

Nome e crédito
Prefácio

Avaliação de Programas Sociais por Triangulação de Métodos: abordagem de programas


sociais, trabalho coletivo coordenado por três experientes e reconhecidas pesquisadoras da
Fundação Oswaldo Cruz – Maria Cecília de Souza Minayo, Simone Gonçalves de Assis e
Edinilsa Ramos de Souza – constitui uma indiscutível contribuição ao campo teórico e
prático das políticas públicas. A qualidade e seriedade do tratamento analítico do livro
acrescenta mais um mérito à incansável dedicação do Centro Latino-Americano de Estudos
de Violência e Saúde Jorge Careli da Escola Nacional de Saúde Pública da Fundação
Oswaldo Cruz (Claves/Ensp/Fiocruz) que, nos últimos 16 anos, vem tratando a questão
social brasileira e avaliando as intervenções públicas voltadas para a superação da violência
e a promoção de direitos humanos.
Em nossos dias, felizmente, não se pode falar de qualquer programa de investimento social,
tanto em âmbito de governo como da iniciativa privada, que não precise contar com
instrumentos adequados de avaliação. Não os instrumentos tradicionais, por vezes
perversos, alimentados por tristes ciclos “reinvencionistas” que, freqüentemente usados ao
final de qualquer gestão, procuram apenas apagar esforços que beneficiam a população –
realizados por governos anteriores – e anunciam novas tentativas, partindo quase sempre do
zero, e, quando muito, recomeçam com a inexperiência do novo executor.
O nível de desenvolvimento crítico e acadêmico do país exige critérios científicos,
condizentes com os avanços relativos às concepções e propostas de políticas públicas e ao
campo de conhecimento sobre avaliação, onde a bibliografia publicada e os trabalhos
empíricos e teóricos realizados evidenciam pujança, dinamismo e constante
aperfeiçoamento. A maioria dos estudos nacionais e internacionais é unânime em indicar
que a aplicação de políticas públicas precisa (a) desde a sua concepção, destinar verbas para
avaliação; (b) acompanhar todo o processo de desenvolvimento de intervenções, mesmo
antes de ser iniciado, monitorando a implantação, a implementação e os resultados
paulatinos, indicando, durante todo o transcurso, os pontos cruciais que levam ao êxito ou
que atravancam ou prejudicam o andamento da proposta; (c) possibilitar clareza de critérios
que permita dar continuidade a planos e ações, a favor da população, independentemente
das posições doutrinárias ou das idiossincrasias dos gestores que estiverem no poder.
É claro, também, como está referido no livro, que as investigações avaliativas – termo
preferido pelos autores para explicitar o caráter científico de sua proposta – partem do
entendimento de que as políticas públicas se realizam em processo contínuo de decisões e,
por isso mesmo, modificam-se permanentemente. Elas nascem de necessidades sentidas e
diagnosticadas pelos poderes públicos e das demandas sociais, mas são transformadas em
negociações, pressões e decisões pelo poder de ambas as partes. Nessas circunstâncias, a
avaliação constitui um tercius, na medida em que os avaliadores não são nem quem
formula e nem quem demanda.
No processo, tanto os formuladores e os beneficiários como os gestores e os técnicos serão
chamados a se auto-avaliarem. Essa exigência, porém, constitui apenas um dos elementos
da avaliação que, no seu conjunto, atua de forma independente para dar ao sistema mais
racionalidade, eficácia e sentido. Desse ponto de vista, como dizem os autores deste livro, a
avaliação deveria ser considerada como parte constitutiva da política pública, uma vez que
tem o papel complexo de apresentar a necessidade de correção de rumos pari passu ao
desenvolvimento das ações e, ao mesmo tempo, evidenciar a necessidade de
aprofundamento e continuidade de determinadas intervenções para que seus resultados
sejam duradouros e crescentes.
De quem faz avaliação de programas sociais, portanto, não se exige apenas entender de
técnicas. Pois, como bom jardineiro, este analista precisa estar a par do tempo de maturação
e de florescimento dos vários processos sociais, cujos intervenientes são muito mais
complexos do que a mecânica de intervenção em vários outros campos.
Gostaria de comentar, ainda, a proposta estratégica apresentada nesta obra: a avaliação por
triangulação de métodos. Primeiro, esta proposta se diferencia diametralmente das que
tratam a execução da política social como uma seqüência linear, estanque e sucessiva de
intervenções que deveria ser avaliada pela estrutura tradicional de formulação, implantação,
implementação e resultados previstos antecipadamente. Ela dá lugar à compreensão da
gestão de políticas sociais como um processo contínuo de tomada de decisões, portanto,
prevendo correção de rumos, permanentemente. Em segundo lugar, ela trabalha com
contextualização das propostas, evitando o mecanicismo tecnicista que estabelece as
mesmas perguntas para realidades diferentes. Em terceiro lugar e, principalmente, ela ao
mesmo tempo supera e valoriza o que há de mérito da proposta tradicional pela inclusão,
primeiramente analítica e depois em forma de síntese, de todos os ingredientes envolvidos
numa intervenção social: história, contexto, cultura, estruturas, relações, pluralidade de
atores, acessibilidade a recursos, resultados contínuos e ganhos quantitativos e qualitativos.
Por fim, gostaria de ressaltar mais um mérito deste livro. Ele se constitui na teorização de
uma experiência interdisciplinar de longo prazo do Claves. Por realizar a dialética entre
teoria e prática, os autores puderam trazer aos leitores exemplos concretos do que eles
fazem e consideram como avaliação por triangulação de métodos, termo que vem sendo
usado por muitos estudiosos, mas que nunca foi devidamente conceituado, descrito e
analisado como nesta obra. Aqui se apresenta o exemplo de avaliação de um programa de
educação para valores, denominado Programa Cuidar. Essa ilustração que acompanha a
apresentação de todos os passos metodológicos descritos e teorizados pelos autores permite,
a quem se interessar, utilizar as mesmas estratégias, adaptando a proposta aos objetos
específicos a serem analisados.
Por todos esses motivos, congratulo-me com as organizadoras, parabenizo a todos os
autores, desejo vida longa a este próspero grupo de pesquisa e convido os leitores, mais
uma vez, que prestem atenção a este trabalho que inova e traz uma perspectiva promissora
para a gestão das políticas públicas no país e para o campo teórico e prático da avaliação de
programas sociais.

Ricardo Henriques, economista do


MEC.
Ver créditos com Simone
SUMÁRIO

Apresentação

Introdução
Maria Cecília de Souza Minayo

1. Mudança: conceito-chave para intervenções sociais e para avaliação de


programas
Maria Cecília de Souza Minayo

2. Métodos, técnicas e relações em triangulação


Maria Cecília de Souza Minayo, Edinilsa Ramos de Souza, Patrícia Constantino, Nilton
César dos Santos

3. Definição de objetivos e construção de indicadores visando à triangulação


Simone Gonçalves de Assis, Suely Ferreira Deslandes, Maria Cecília de Souza Minayo,
Nilton César dos Santos

4. Construção de instrumentos qualitativos e quantitativos


Edinilsa Ramos de Souza, Maria Cecília de Souza Minayo, Suely Ferreira Deslandes, João
Paulo Veiga da Costa

5. Trabalho de campo: construção de informações qualitativas e


quantitativas
Suely Ferreira Deslandes

6. Organização, processamento, análise e interpretação de dados: o desafio


da triangulação
Romeu Gomes, Edinilsa Ramos de Souza, Maria Cecília de Souza Minayo, Juaci Vitória
Malaquias, Cláudio Felipe Ribeiro da Silva

7. Apresentação e divulgação de resultados


Simone Gonçalves de Assis, Kathie Njaine, Maria Cecília de Souza Minayo, Nilton César
dos Santos
Capítulo 1

Mudança: conceito-chave para intervenções sociais e para avaliação


de programas

Maria Cecília de Souza Minayo

Uma boa análise crítica de programas sociais precisa problematizar o conceito de


mudança, pois todas as intervenções, em última análise, visam a modificar o curso
de determinadas visões, ações ou problemas. Mudança é, pois, um conceito-
chave, tanto para promotores de políticas públicas quanto para avaliadores de
projetos. Esses últimos são chamados sempre a medir e compreender o impacto
das ações sobre instituições e atores tendo em vista os objetivos dos serviços
prestados e apontar pontos cruciais para o sucesso e as condições de
possibilidades de determinada intervenção.
Visando a contribuir para a problematização desse tema tão crucial, propõe-se
discorrer, sucintamente, sobre ele, entendendo-o como pano de fundo e imagem-
objetivo1 da gestão de políticas sociais. Isto implica uma análise do conceito,
levando-se em conta todos os atores envolvidos e suas dimensões coletivas,
institucionais e individuais. O foco da reflexão iluminará quatro subtemas:
mudança social; mudança educacional; mudança de valores e avaliação de
mudanças. O sentido desta última expressão, dado o objetivo deste trabalho,
perpassará a análise de todos os outros termos.
A vida, a sociedade, a natureza, tudo o que vive se transforma e a mudança é
intrínseca à dinâmica existencial. No entanto, mesmo que todos saibam disso pela
experiência, mudar constitui um processo difícil que supõe nascimento de novos
brotos, flores e frutos e, também, perdas. Como diz Saint-Exupéry (1953: 884) em

1
Imagem-objetivo é um modelo e, como tal, uma simplificação seletiva e idealista da realidade. A
característica fundamental da imagem-objetivo é sua racionalidade interna. Ela não é um somatório
de objetivos e sim uma construção em que foram resolvidos os problemas de coerência entre
distintos objetivos e a possibilidade idealizada, pressupondo uma ordenação e harmonização entre
eles (Cohen & Franco, 1993).

38
A Cidadela: “Toda palavra nova parecerá amarga, porque nunca ninguém passou
por metamorfose alegre”.
O estudo da mudança social foi e continua sendo fortemente influenciado pelos
pressupostos evolucionistas. Mas os métodos e o sentido dessa evolução sempre
foram tratados de forma controversa. O marxismo, por exemplo, sempre pensou
mudança como revolução: mudança de estrutura. O positivismo-funcionalista a
concebeu em seu marco teórico, como constante correção de rumo e retorno às
normas e consensos de determinada sociedade. Ambos, no entanto, têm base na
crença dos iluministas de que a evolução social garantiria paz, prosperidade e
universalização da racionalidade no mundo. As duas grandes guerras mundiais e
os horrores do nazismo e do estalinismo, entre outros fenômenos marcantes no
século XX, solaparam os pensamentos evolucionistas, dos quais as idéias de
progresso e de desenvolvimento são caudatárias.
Depois da derrubada do muro de Berlim, sem as polarizações políticas entre
comunismo e capitalismo, o conceito de mudança sai de seu nicho predileto ao
interior das grandes narrativas teóricas, para ser pensado por outros paradigmas,
entre eles, o das teorias da complexidade. Sabe-se, por experiência histórica, que
as sociedades não caminham linearmente para um fim teleológico e que
progresso e retrocesso convivem simultaneamente em um movimento
concomitante de ordem, desordem e auto-organização. A idéia de mudança,
portanto, ficou mais próxima e pode ser apropriada tanto para falar de
macroprocessos como de ambientes microssociais em que, em escalas
diferenciadas, atores, fatores e condições promoverem transformações em
diferentes níveis da realidade.

1.1.O conceito de mudança social

Quando busca compreender a dinâmica dos processos de intervenção,


freqüentemente um analista social se fundamenta em duas correntes que
repercutem, também, na formulação de teorias sociais.
A primeira considera que todas as perturbações notórias na sociedade, ou em
instituições como uma escola, um hospital e uma universidade se explicam

39
primordialmente pela intervenção de causas exteriores passíveis de serem
controladas. Esta visão se assenta na ilusão de que seria possível existir uma
sociedade equilibrada e fechada, onde não houvesse conflitos nem contradições.
O equilíbrio social constituiria o indicador de uma sociedade saudável e a
influência externa, quase sempre, deveria ser considerada negativa. Por dedução,
quem se guia por essa mentalidade crê que é possível controlar os problemas,
isolar as contradições e, assim, voltar sempre no ponto de equilíbrio. Tais
pressuposições se apóiam na corrente sociológica positivista-funcionalista, tão
presente ainda na academia e nas teorias aplicadas.
Ao pensamento funcionalista se opõe outra concepção. Os formuladores e
seguidores deste pensamento consideram que a sociedade e as instituições vivem
em permanentes conflitos internos e é a própria existência destes problemas que
provoca mudanças. A capacidade de transformação, portanto, estaria dentro da
sociedade em geral e das instituições em particular, uma vez que as contradições
ocorrem em todos os tipos de interações humanas. Seria importante, em
conseqüência, intervir nelas, explorando suas potencialidades internas de
provocar mudanças. O marxismo é a corrente teórica inspiradora de tal posição
que explora a dialética dos conflitos como fonte perene de transformações.
Apesar de essas duas correntes de pensamento serem as mais hegemônicas,
atualmente há vários avanços conceituais trazidos pela contribuição de estudos
científicos de ocorrência de mudanças. Por exemplo, há muitas análises em que
se mostra o impacto das forças políticas na história, assim como outras em que se
evidencia o papel de movimentos sociais como o feminismo e o ambientalismo em
transformações fundamentais que ocorreram no século XX e continuam
influenciando o início do novo milênio.
Outros estudos se dedicam a evidenciar o papel específico das intervenções
sociais no âmbito das organizações das sociedades estabelecidas. Trata-se de
abordagens que abrangem análises de impacto, tanto de decisões macrossociais
de investimento em políticas públicas, enquanto estratégias de governo, como
microssociais de desempenho institucional. É nesse último caso que este trabalho
se insere.

40
Segundo autores que estudam transformações em organizações sociais, como
Crozier & Friedberg (1977), se é verdade que toda mudança supõe ruptura e crise,
a crise por si só não é o acontecimento-chave que a provoca, como em um passe
de mágica. Os autores dizem isso, fazendo uma crítica, a partir da observação
sobre a prática, das premissas teóricas marxistas. Enumeram exemplos de crises
que deslancharam mecanismos de regressão, ao menos temporários, dentro das
instituições e citam uma minoria de situações em que os conflitos, as contradições
e as crises, em si, foram fatores determinantes na criação de mecanismos de
inovação.
Igualmente, autores como Morin (1984) consideram que não é possível o retorno à
situação de equilíbrio inicial de um acontecimento qualquer, pois o dinamismo
social sempre modifica as situações avaliadas pelos formuladores e gestores
como sendo as ideais. Morin (1984) ressalta que todo organismo oscila entre
organização, a mudança e reorganização. Este movimento vital abriga incertezas,
acasos e ambivalências. Mas toda transformação traz ruptura, ensina o autor.
Assim, à medida que múltiplos problemas vão ocorrendo com intensidades
diferenciadas, impulso transformador se deve a uma dinâmica permanente de
desorganização e de reorganização da realidade.
Quanto mais uma organização se torna apta às mudanças complexas, mais
aumenta sua capacidade vital de interagir com o sistema ambiental, social e o
contexto histórico, pois o movimento permanente executado para responder aos
desafios das circunstâncias constrói soluções para os problemas que provocam
conflitos e contradições. Esse processo dinâmico de adaptação, porém, ocorre por
perdas e ganhos, ordem e desordem, organização e desorganização, numa
espécie de jogo em que o acaso e a incerteza têm lugar de destaque na
consecução de uma etapa mais complexa de auto-organização.
A dinâmica global das transformações sociais acontece, simultaneamente, por via
de forças externas e internas, umas atingindo e influenciando as outras. A
dinâmica interna de uma instituição, como a escola, a família ou qualquer outra
organização, acha-se permanentemente modificada pela reação do sistema ao

41
qual se filia e pelos processos e influxos do exterior. Seu dinamismo vem, ao
mesmo tempo, das tradições e das constantes adaptações ao meio.
Ao analisar um processo social de intervenção interna, como é o caso do estudo
atual, há que se considerar todas as forças de mudança, sem referência direta a
um ator ou a uma ação, mas sob o ângulo da energia social que liberam ou podem
liberar no futuro. Qualquer mudança social e institucional é um fenômeno
simultaneamente histórico, coletivo e estrutural e relacional. No entanto, as
transformações que venham a ocorrer passam pelas subjetividades por
interferirem na vida cultural, afetando as mentalidades e criando novas
possibilidades de organização de todos estes mesmos aspectos (estrutural,
relacional e subjetivo).
Entende-se, então, que as mudanças sociais diferem da dinâmica do ciclo vital de
uma pessoa ou de um grupo que tem a iniciativa de provocá-la, por maiores que
sejam seu protagonismo individual ou de equipe e sua ferrenha dedicação a uma
causa. Isto porque, de um lado, o ciclo de vida de um sujeito combina as
determinações das circunstâncias externas com a historicidade, o protagonismo
individual e a estabilidade de suas posições e papéis específicos. De outro, são
múltiplos os processos que promovem efeitos diretos e indiretos, influxos internos
e externos sobre as ações humanas e as instituições e muitos deles não podem
ser medidos.
Essa constatação vem de teorias sociológicas como a de Sheldon & Moore
(1968), assim como de vários autores que trabalham com avaliação, citados
anteriormente. Moore (1967) e Rocher (1970) caracterizam vários tipos de
mudanças:
ƒ as que são produzidas rapidamente e muitas vezes em cadeias
seqüenciais;
ƒ as que procedem de uma vontade deliberada ou resultam indiretamente de
inovações igualmente voluntárias, como é o caso da aplicação do Programa
Cuidar;
ƒ as que se desenvolvem por influxo de tecnologias materiais e estratégias
sociais, o que é também o caso do Programa;

42
ƒ as que são cumulativas e afetam, por meio de efeitos de redemoinho,
muitos indivíduos e aspectos funcionais da sociedade.

Freqüentemente um tipo de mudança se relaciona com outro, em sintonia e em


sinergia, porém, nunca nos mesmos compasso e ritmo. Quando Moore (1967),
Sheldon & Moore (1968), Dahrendorf (1972) e Nisbet (1969), entre outros
cientistas que estudam mudanças sociais, abordam o assunto, seus campos de
referência são as transformações que ocorrem, ao mesmo tempo, nas
organizações sociais e nas mentalidades a partir de inovações tecnológicas e
câmbios demográficos, políticos, institucionais e econômicos. Embora articulem
esse conjunto de fatores, os cientistas aproximam-se pouco do campo das
políticas sociais. Outros, como Crozier & Friedberg (1977), estão mais voltados
para as mudanças que ocorrem a partir de intervenções específicas e internas nas
organizações e instituições, mesmo quando são exigidas por influxos externos.
Os autores que acreditam ser possível introduzir mudanças a partir dos processos
de intervenção social fundamentam-se nos princípios da sociologia compreensiva
(Weber, 1969) que tem, como núcleo central de sua argumentação, a ação social
dos indivíduos em interação protagonizando a história, construindo e destruindo
instituições. Weber ressalta também a eficácia dos fatores culturais, das idéias e
dos valores morais e religiosos nos movimentos de transformação, mostrando, no
seu livro seminal, A Ética Protestante e o Espírito do Capitalismo (1969), que é
preciso compreender in loco, de forma específica, como tais processos ocorrem.
É nesse sentido que muitos pesquisadores e avaliadores vêm investindo na
construção de indicadores capazes de medir quantitativamente e compreender
qualitativamente o sentido, a orientação e as tendências das transformações
sociais promovidas por políticas sociais. Esta crença não é dogmática. Ela parte
dos muitos estudos em que se prova a hipótese da efetividade das intervenções
sociais e em que se busca discernir quais são as que potencializam mudanças
mais profícuas e perenes. Para citar de passagem alguns testes dessa hipótese,
basta um olhar sobre o comportamento dos índices de desenvolvimento humano
(IDH) no Brasil contemporâneo.

43
Avaliados a partir dos anos 70 até o presente, os estudos mostram uma melhoria
progressiva dos indicadores. Para essa melhoria, o crescimento econômico foi
fundamental e decisivo apenas na década de 70. A partir daí, com a estagnação
do Produto Interno Bruto (PIB), as políticas de saúde e de educação foram as
principais responsáveis pela tendência de evolução positiva dos indicadores,
situação que perdura até o momento presente. Nesta avaliação, portanto, existe
uma hipótese de eficácia na educação para valores materializada em propostas
como a do Programa Cuidar, que visa a ampliar espaços de cidadania e de
protagonismo social.

As seguintes premissas são pressupostos desta reflexão:


ƒ Qualquer mudança social provoca diferença em relação ao estado anterior da
ação e dos atores.
ƒ Qualquer mudança social ocorre por meio de uma dinâmica que inclui diálogo,
cooperação e consensos estabelecidos entre atores e, concomitantemente,
antagonismos, contradições e conflitos entre eles.
ƒ Em qualquer mudança social existe diferença de grau entre tensão e conflito
aberto. Essa diferença se manifesta na linguagem e na ação coletiva.
ƒ Para responder à pergunta: “o que muda?”, diz Rivière (1982), é preciso
discernir entre os níveis que se quer observar:
o Nas burocracias administrativas, há mudanças provocadas por trocas de
poder institucional;
o Nas empresas, muitas transformações são provocadas por grupos de
interesses;
o Nas diferentes instituições, pela experimentação de novas técnicas e
propostas relativas a sua práxis e às relações com o meio.
o Nas pessoas, as mudanças acontecem quando tocam, interiormente,
sua subjetividade, mobilizando habilidades, relacionamentos, posturas e
valores.
o Em geral, as mudanças institucionais se dão em ritmo de inovação e
adaptação, diz Rivière (1982). Mas é possível garantir seu ritmo,

44
projetando tendências em um certo intervalo de tempo, por meio de
aplicação de programas determinados.
Assim, a partir de séries recorrentes sobre fatores e combinações de causas e
efeitos os agentes sociais podem, processualmente, projetar um sistema de ações
singulares com metas determinadas. Quanto à modificação de um sistema em si,
é muito difícil estabelecer regularidades e tendências. Isto porque as interferências
de múltiplas variáveis tornam, amiúde, bastante complexas quando não errôneas,
as previsões sobre a dinâmica global.
Essa dificuldade se deve a diversos fatores, dentre os quais o fato de que alguns
elementos resistem com mais força a mudanças e a evolução do que se modifica
segue ritmos diferentes, mesmo no interior de um mesmo campo de ação.
Um verdadeiro desafio para os empreendedores de projetos sociais e para os
avaliadores é identificar os tipos de intervenção que provocam maior impacto e
geram movimentos de transformação mais consistentes e duradouros. É
necessário buscar com insistência os indicadores que valorizem uma maior
mobilidade psíquica, sensibilizem mais intensamente o público-alvo para
experiências novas e mexam com a inércia conservadora das instituições e das
pessoas.
É preciso ressaltar também que toda proposta de intervenção tem seus limites: o
da recusa clara, o da resistência camuflada ou o da re-interpretação. Para sua
efetividade, os programas e projetos devem pressupor estratégias de ação que
incluam o “modo de ser” cotidiano da instituição, dos seus agentes sociais, de
suas potencialidades e vontade de mudança e de seus mecanismos mais comuns
e sutis de conservadorismo.
É preciso, ainda, ter em conta que as dinâmicas transformadoras não apresentam
suas lógicas de forma tão clara. Por isto não é fácil descrevê-las. Como já se
mencionou no decorrer desta reflexão, há muitos efeitos diretos e indiretos que
ocorrem por conta da intervenção, paralelas a elas ou apesar delas. Todas as
propostas passam, no mínimo, por três filtros: quem as concebe e redige; quem as
veicula e implementa; e quem as acolhe. Cada um desses filtros formados por
atores sociais promove uma re-interpretação, a seu modo e de acordo com seus

45
interesses, do que foi concebido no momento inicial. Assim, um projeto, lançado
por alguém, nunca será o “projeto escrito no papel”, e sim o projeto corporificado
na práxis.

1.2.Conceito de mudança no âmbito da intervenção educacional e social

Poderias dizer-me, por favor, que caminho hei de tomar


para sair daqui?
Isso depende do sítio onde queres chegar, disse o
gato.
Não interessa muito para onde vou, retorquiu Alice.
Nesse caso, pouco importa o caminho que tomes,
interpôs o Gato.
Desde que chegue a algum lado, acrescentou Alice à
guisa de explicação. (Lewis Carroll) [modelito
epígrafe]

Qualquer avaliação do sistema escolar ou de intervenções em seu universo


precisa ser contextualizada no ambiente mais amplo das transformações do
mundo contemporâneo. Como lembra Boaventura Santos, em Pela Mão de Alice
(2000), a reflexão sobre paradigmas epistemológicos só pode ser feita a partir da
reflexão sobre paradigmas societais. É impossível desconhecer que existe, em
curso, uma mudança social profunda, movimento que alguns nomeiam como pós-
modernidade (Harvey, 1998; Kumar, 1992). Este termo é usado na falta de um
vocábulo mais preciso e tem merecido muitas críticas de seus fundamentos,
dentre elas a de Latour (1994). Tal expressão será usada aqui para designar este
momento histórico de transição e a crise de valores proveniente da decadência do
pensamento iluminista e dos aparatos e estruturas do período de predomínio da
industrialização.
Essa crise atinge alguns pilares ideológicos básicos nos quais a Modernidade,
durante mais de dois séculos, se apoiou: a idéia de que a humanidade faz um
movimento crescente de perfeição rumo ao futuro, a identificação do movimento
histórico como o triunfo da razão; o uso de uma pedagogia social fundamentada
na crença da missão cultural da elite como guia; a concepção do mundo como

46
uma realidade objetiva, acessível e controlável através do conhecimento e do
método científico (Harvey, 1998).
A escola como instituição-chave do sistema educacional tem sido um dos
baluartes da Modernidade. Neste sistema, o Iluminismo elevou o status de
professor ao de guia da pólis educada. Institucionalizou, em sua função, uma
imagem de saber e poder que tem origens na legislação dos sistemas
educacionais do século XIX (Terrén, 1999), cabendo-lhe, em nome do Estado, a
formação do povo.
O discurso sobre o papel da escola na formação das “massas” legitimou a união
operativa do conhecimento científico acumulado com a ação do Estado,
delegando ao poder dos governos, a administração dos interesses públicos. A
transição para a pós-modernidade que afeta a escola coloca em curso um
movimento de desconstrução deste discurso e do que se poderia chamar
metaforicamente “três castelos” antes fortemente estruturados: o sentido da
cultura, da socioeconomia e das organizações, complexificando temas como
público, privado, governamental e não-governamental, local e global, nacional e
transnacional.
Terrén (1999) refere-se, especificamente, à crise de alguns parâmetros políticos
do sistema educacional tal como foi concebido no marco do industrialismo e do
Estado Moderno:
• sua orientação para a universalização da escolaridade da classe
trabalhadora e das massas em geral como forma disciplinadora;
• sua articulação com a sociedade, em que as instituições de ensino
cumprem um papel de substituir o dogma da predestinação social pela idéia
de igualdade de oportunidades;
• seu fundamento apenas no mérito dos títulos conquistados.
Porém, todos os estudiosos das mudanças culturais contemporâneas demonstram
que não foram os valores da educação que entraram em crise e sim sua práxis
tradicional. É importante ressaltar esta diferença, pois a educação formal, mais do
que nunca, passou a ser parâmetro de referência fundamental na atualidade, uma

47
vez que a escolaridade tornou-se requisito de empregabilidade para o indivíduo e
indicador potente de desenvolvimento humano da sociedade.
O declínio do prestígio e a confusão quanto à missão do processo educativo, por
parte de muitas instituições estruturantes da modernidade como a escola, seguem
pari passu o processo de transição macrossocial responsável por mudanças
globais de ordem tecnológica, econômica e política e afetam sua concepção de
mundo, sua forma de organização, seus relacionamentos, o valor de sua
experiência acumulada e a subjetividade dos sujeitos que as compõem.
Muitos elementos da crise que assola a escola tradicional têm origem na entrada
de novas instituições na arena da mobilização psíquica da sociedade, como é o
caso inédito e relevante dos meios de comunicação e de informação. Estas
verdadeiras estradas do desenvolvimento do século XXI deslocaram o papel
tradicional da escola, desde o final do século XX. A mídia surge, então, com seu
acelerado potencial e fascínio, disputando a hegemonia da socialização das
“massas”, o que passa a exigir uma re-definição e uma re-configuração dos
sistemas clássicos de educação e formação.
Em tais circunstâncias, o professor, cada vez mais, perde sua função de dar
conteúdo e informar apenas. E, se não compreende a enormidade da mudança,
entra em crise e se desespera; principalmente quando se aferra a seu papel
tradicional, pois acaba perdendo em eficiência e eficácia para os outros meios. De
nada lhe valeria, por exemplo, competir com as possibilidades quase
incomensuráveis da internet e dos órgãos de comunicação que transbordam o
ambiente escolar.
É importante assinalar algumas características do ambiente externo que influencia
a crise do sistema escolar, embora seja preciso ter cautela, pois é no interior deste
mesmo sistema que estão sendo gestadas muitas mudanças. O movimento de
globalização, que significa uma intensificação da internacionalização capitalista
facilitada pela revolução da microeletrônica e do complexo informacional-
comunicacional, tem raízes econômicas e vai se impondo por meio de mudanças
nas esferas políticas e culturais. As principais características, em que pesem
diferenças de concepção e interpretação, são: a internacionalização intensiva dos

48
mercados; o declínio das unidades nacionais como unidades de produção e de
regulação; a irrupção dos processos de especialização flexíveis e de
descentralização e a busca por particularização e por valorização dos espaços e
dos fenômenos microssociais. Os caminhos criados sob a hegemonia do Estado a
partir do século XIX e XX, ao se desenvolverem historicamente, criaram, sob
muitos aspectos, o próprio esgotamento como instrumentos políticos de
transformação.
Remetendo à simbologia do diálogo de Alice com o gato Cheshire, os novos
caminhos e os novos lugares parecem estar incontornavelmente para serem
reinventados.
Por isso, em termos gerais, o modelo pedagógico que melhor reflete o momento
atual é o construtivismo (Vasconcellos & Valsiner, 1995), que se fundamenta em
uma idéia muito afim à crítica pós-moderna a respeito da existência dos valores e
esquemas universais. Os construtivistas acreditam que a objetividade é uma
ilusão de que exista observação sem observador. Ao contrário, essa filosofia que
se traduz em métodos e práticas, valoriza o particular, o variável, o contingente, o
flexível, o interesse local, o engajamento dos indivíduos e suas potencialidades
pessoais (Terrén, 1999).
Um dos fortes dispositivos que precisa ser incorporado na compreensão das
mudanças sociais é a nova concepção do tempo e da temporalidade. A pós-
modernidade requer um tempo qualitativo, flexível, que escape a preditibilidade e
cuja implementação organizativa exija um sistema de confiança das organizações
em seus membros e em quem pretende atingir com sua ação. As entidades
regidas de forma burocrática tendem a não favorecer esta dinâmica.
O horizonte da flexibilidade é a incerteza, a diferenciação, a consideração da
diversidade e do pluralismo, mas também do engajamento e da responsabilidade
pessoal. Estas características não se adaptam à rigidez das instituições
estruturadas dentro dos princípios organizativos burocráticos. Principalmente
porque a mentalidade pós-moderna questiona a imagem do sujeito cognoscente
fora dos contextos e a visão representacional do mundo como realidade objetiva.

49
Opõe-se também à idéia de que exista uma única maneira de otimizar as
atividades e a relação com o mundo, de conhecê-lo e de organizá-lo.
Em síntese, embora suas características estejam em processo de definição, a
concepção pós-moderna das instituições de intervenção social ressalta os
objetivos no curto prazo, a flexibilização das estruturas, a abertura de canais de
informação, a comunicação pluridirecional e a valorização da individualidade e da
criatividade dos sujeitos. Tal mentalidade tem como premissa a crença de que as
atitudes e habilidades dotam a organização e as pessoas de uma cultura
comparativamente mais elevada do que a das determinações, das ordens e das
normas rígidas. Por isto, a insistência e a ênfase no compromisso com o trabalho,
na qualidade e na excelência, muito mais do que na obediência proveniente de
uma visão hierárquica, cujo imperativo é a ordem e a planificação centralizada.
O ideal pós-moderno tem uma proposta de mudança para os diferentes níveis
sociais. Substitui o conceito de estado propulsor do desenvolvimento pelo de
estado planejador e avaliador das ações sociais delegadas à sociedade. No
campo da educação e da intervenção social, substitui a idéia de meritocracia
cumulativa e estática pela de empreendedorismo e de autonomia individual. Tal
enfoque significa uma outra ótica em relação às idéias da modernidade fundada
no industrialismo, quando a oferta educacional e das políticas sociais tendia a ser
um monopólio do Estado e as instituições e a população-alvo dos programas
sociais, clientela cativa da burocracia estatal.
Tomando como exemplo as escolas, a tendência é substituir a organização forte e
simples pela organização leve, flexível e complexa. A mobilização de recursos
humanos e técnicos de formação especializada, diversificada e perenemente
atualizada, seria sua chave do sucesso (Tourraine, 1995). Os ideólogos da pós-
modernidade pretendem instituir uma nova cultura profissional de qualidade e
excelência, à moda dos modelos pós-fordistas de reorganização industrial,
substituindo as indefinições e contradições que rodeiam os desenhos curriculares,
as resistências dos professores e a falta de compromisso com a direção da
mudança.

50
A idéia central que domina as novas propostas de intervenção é a metanoia, ou
seja, a da mudança da mente, levando a uma forma diferente de organização:
cada escola é chamada a se transformar em uma organização única e
especificamente adequada, criando sua identidade a partir de seus recursos e de
uma projeção criativa dos seus próprios horizontes. Observa Terrén (1999) que a
pós-modernidade translada a ênfase da organização da cultura para a cultura da
organização.
Do ponto de vista institucional, a proposta pós-moderna é criar uma administração
com rosto humano que se expressaria nas iniciativas institucionais e materiais:
cursos de formação, preparação de materiais curriculares, preparação de quadros
para a direção. Todas as iniciativas institucionais devem, dentro de tal visão, ser
orientadas para ressaltar a responsabilidade individual de cada ator envolvido no
sistema escolar. E o sistema escolar teria compromisso com as necessidades e
potencialidades dos atores que ele envolve.
O aparente cenário fragmentado resultante seria justificado pelos diferentes
estágios em que cada uma das instituições se encontra. A idéia intrínseca à
proposta não é a do tratamento igual ou massivo para todas, mas a da distinção
que coloca luz na falta de capacidade de inovação de algumas e nas chamadas
instituições orgânicas em que predomina o clima de abertura, de crítica e de
reorientação permanente de métodos e objetivos, auferidos por meio de
avaliações que enfatizem qualidade e excelência.
Referindo-se à necessidade de mudanças profundas no sistema escolar, tendo em
vista seu papel socializador dos dispositivos culturais, diz Osborne (1994: 148),
um dos ideólogos da educação e da intervenção social no ambiente pós-moderno:
“unicamente a competição pode motivar a que todas as escolas melhorem. Pois
unicamente a competição pelos usuários cria conseqüências reais e pressões
reais a favor da mudança, quando as escolas fracassam”. Em conseqüência, a
“necessária revolução deve começar com a administração docente”, diz Terrén
(1999: 14).
Portanto, dentro da lógica da ideologia que preconiza a mudança em curso, nada
deveria impedir o exercício da responsabilidade individual. A primazia caberia ao

51
princípio da liberdade sobre o da igualdade. O que, do lado positivo, supõe
aceitação das diferenças; e do lado negativo, a naturalização da desigualdade,
como algo dado e eficaz do ponto de vista do rendimento cultural e
socioeconômico.
No âmbito das mudanças culturais, merece destaque à idéia de profissionalismo
como uma espécie de guarda-chuva da nova imagem do trabalho social, cujo
contexto discursivo é o de revitalização renovada da fé no poder auto-regulador e
criador do mercado liberado.
Assim, no caso da escola, por exemplo, o novo modelo de professor (centro de
todo o processo) é o de um profissional motivado, realizado e criativo, cuja
competência depende, em grande medida, dele próprio, de seu labor intelectual.
Mas a organização deve propiciar-lhe satisfação no trabalho, sentido de eficácia,
compromisso, independência, perspectiva de carreira e oportunidade de formação
permanente.
O novo ethos do trabalhador social, basicamente, propõe uma gestão da
organização voltada para sua produtividade, buscando tirar o máximo de proveito
de suas potencialidades e riquezas internas. Isto se opõe à idéia de um projeto
cultural desenhado por intelectuais e especialistas da burocracia do estado. A
reiterada exigência de qualidade e de excelência é, no fundo, uma desesperada
demanda de motivação e um intento de reconstruir a organização pela
subjetividade de seus membros.
Os parágrafos anteriores se referem a uma tendência que os atores dos sistemas
de intervenção social, com maior ou menor dramaticidade, estão sentindo: as
inseguranças e incertezas percebidas e nomeadas balizam as dificuldades do
momento de transição pelo qual estão passando. Como diz o ditado popular, vive-
se um momento em que há que “trocar os pneus com o carro andando”, pois os
legítimos operadores das transformações, como os educadores, os agentes
sociais e os pais são pessoas formadas em outra mentalidade.
Contradições existem, não há dúvidas: de um lado, os ideólogos falam em
flexibilizações, responsabilizações, leveza organizacional e, ao mesmo tempo, na
prática, as instituições são reféns de estruturas de gestão em que predomina o

52
modelo burocrático-centralizador e autoritário. Vale ressaltar, como marca cultural
entranhada, a forte tendência brasileira ao gatopardismo, ou seja, a mania de
deixar tudo como está parecendo que se está revolucionando. De outro lado, há
muito esforço de transformação empurrando a máquina emperrada do
conservadorismo, em busca de ênfase na cultura participativa, na flexibilidade na
gestão, no clima fluido de discussão, de cooperação e de co-responsabilidade de
cada um dos atores institucionais. Isto significa que está em curso um novo
modelo que, no mínimo, poderia ser denominado “pós-burocrático”. O que está
acontecendo tem defeitos e falhas? Sem dúvida, mas está vindo a reboque de
outras transformações e ao mesmo tempo empurrando-as, como na bela metáfora
usada por Atlan em Entre o cristal e a fumaça (1992), sua obra sobre a
organização dos seres vivos.

1.3.Mudança de valores
Na sua acepção de princípios morais, os valores constituem um foco de discussão
em três níveis principais das teorias sociais. No primeiro, apresentam-se como
objeto de análise, como é caso das discussões sobre troca de valores
materialistas por pós-materialistas entre as populações do capitalismo central. No
segundo, constituem conceito central para algumas perspectivas teóricas. Já no
terceiro nível, são tratados em reflexões metodológicas sobre problemas sociais e
compromissos normativos de várias espécies.
As teorias que tratam das mudanças sociais do ponto de vista dialético
consideram que os seres humanos fazem sua própria história, mas a fazem em
condições previamente dadas. A referência central para o que se apresenta aqui é
o conceito de valores trabalhado por Agnes Heller (2000), uma das últimas
filósofas remanescentes do marxismo clássico. A autora leva em conta, na
questão da mudança social, o papel da subjetividade.
Agnes Heller pondera que, à primeira vista, parece certo acreditar que os seres
humanos aspiram a certos fins, mas estes estão determinados pelas
circunstâncias que modificam seus esforços e aspirações, produzindo resultados
que divergem das metas inicialmente colocadas. No entanto, essa distinção é um

53
equívoco, segundo a autora, pois as “circunstâncias” são, na verdade, parte da
proposta em ação: elas não são externas, não são objetos mortos. São, na
verdade, o contexto e o campo de ação da vida dos sujeitos, a estrutura social e
formas de pensamento nas quais eles se movem. Quando as pessoas tem
determinadas metas, diz Heller, o campo de determinação causal não é apenas o
da orientação rumo a seu escopo, mas o conjunto das demais objetivações que, a
partir da ação, desencadeiam novas séries causais.
Recuperando a expressão de Marx, segundo quem “a história é a substância da
sociedade”, Heller lembra que a sociedade não tem substância alguma, a não ser
os seres humanos em relações: são eles os realizadores que se objetivam em
instituições e estrutura sociais. A essência humana é histórica e a substância
humana é sua própria história: “o decurso da história é o processo de construção
dos valores ou da degenerescência desse ou daquele valor”, diz Heller (2000: 4).
E o que se entende por valor? Valor é tudo aquilo que faz parte do ser humano
genérico e contribui, direta ou indiretamente, para a explicação deste ser genérico.
Mas os homens e as mulheres jamais escolhem valores, assim como jamais
escolhem o bem ou a felicidade. Escolhem, sim, idéias concretas, finalidades
concretas, alternativas concretas. Seus atos concretos de escolhas estão,
naturalmente, relacionados com sua atitude valorativa geral, assim como seus
juízos estão relacionados à sua imagem de mundo (Heller, 2000).
Heller diz que os componentes essenciais dos seres humanos em relação são:
trabalho enquanto objetivação; sociabilidade, universalidade, consciência e
liberdade. Considera-se valor aquilo que, em qualquer das esferas de produção,
de relação de propriedade, da estrutura política, da vida cotidiana, da moral, da
ciência e da arte e em relação com a situação de cada momento, contribua para o
enriquecimento dessas esferas essenciais da existência. Desvalor seria tudo o
que direta ou indiretamente rebaixe ou inverta o nível alcançado do
desenvolvimento de um determinado componente essencial. “O valor é, portanto,
uma categoria ontológico-social e algo objetivo: mas sua objetividade é social. Por
outro lado, ele é independente da avaliação dos indivíduos, pois seu lócus de
expressão são as relações e as situações sociais” (Heller, 2000; 7).

54
Desta forma, não há atividade moral autônoma: a moral é uma relação entre
atividades humanas. Ao exercê-las, as pessoas fazem uma articulação entre a
peculiaridade do valor vivenciado por elas e a universalidade humana. Basta
pensar nos valores mais antigos e persistentes como honradez, justiça e coragem
para se ter certeza de que eles foram sempre, como normas, usos ou idéias,
meios da elevação da particularidade ao mais genericamente humano.
Os valores morais têm um caráter extremamente complexo. Por exemplo, a
liberdade é uma categoria central da ética moderna. No entanto, nem sempre foi
assim: houve um tempo em que o valor central foi a felicidade. A liberdade atingiu
este status quando tornou-se importante na própria realidade histórica,
significando um crescimento da consciência social sobre o valor do indivíduo
responsável por si e capaz de dispor de si mesmo e de sua vida.
Esse crescimento tornou-se real e objetivo, embora, para muitos continue como
valor abstrato ou mera potencialidade. Heller diz também “que a história é história
de valores de esferas heterogêneas” (2000: 7), pois uma esfera pode explicitar a
essência em um sentido, ao passo que outra a impede ou influencie sua
desvalorização. Ela exemplifica sua reflexão, evidenciando que o desenvolvimento
da sociedade atual orienta-se, ao mesmo tempo, para a construção de
personalidades mais autoconscientes e, contraditoriamente, cria pessoas mais
solitárias, sem base comunitária, e submissas à manipulação de grandes
mecanismos sociais. Estas contradições evidenciam desvalorizações objetivas
que ocorrem no curso do mesmo processo histórico.
Mas, diz Heller, não se pode resumir a explicitação de valores ao campo moral,
pois alguém poderia objetar que atualmente as pessoas não são nem melhores e
nem mais felizes que no passado. “Por isso não podemos reduzir o conceito de
valor ao de valor moral, nem esse aos conceitos de bondade e de felicidade; e
nem podemos identificar o desenvolvimento dos valores com a totalidade dos
valores que efetivamente funcionam numa época determinada” (Heller, 2000: 8).
Uma das idéias mais fortes do pensamento de Heller é a que reafirma ser
impossível a anulação de um valor, uma vez que ele tenha se tornado real na
sociedade, em qualquer das esferas de construção humana. Isso quer dizer que,

55
quando a humanidade consegue dar um passo importante na sua sociabilidade,
na sua objetivação, rumo à liberdade ou à universalização de direitos, ela poderá
até retroceder, mas vai anular suas conquistas. Se um valor alcançado passa a
ser fraco, ele perde altura, mas continua a existir pelo menos como possibilidade.
Portanto, a realização de valores é uma conquista absoluta e a perda de valores
construídos será sempre relativa.
A formação de valores no espaço social e institucional não pode ser tratada
somente como uma estratégia pedagógica de imposição, nem tampouco pode ser
trabalhada de modo esfacelado e separado dos demais conteúdos, relações e
ações (Bertussi, 1998). O processo de intervenção social deve integrar o conjunto
de experiências vividas pelos indivíduos em todos os âmbitos de sua experiência
existencial. Por isso, atuar em projetos sociais significa potencializar mudanças
nas esferas essenciais em direção dos valores universais de desenvolvimento
humano.

1.4.Conclusões
Qualquer intervenção ou avaliação social precisa ser entendida dentro do seu
nível de especificidade quanto às mudanças a que se propõe, mas também deve
levar em conta os contextos ampliados de organização do sistema social, cultural
e do universo de valores, de determinado momento histórico. No momento
presente, há que se considerar:
• os aspectos macrossociais, que se referem à crise do paradigma da
modernidade e do Iluminismo, dando lugar a uma nova concepção de
mundo, de sociedade, de sociabilidade e, conseqüentemente, de educação
e de ação social;
• a dinâmica microssocial específica da missão de cada instituição que tem,
ao mesmo tempo, sua finalidade específica e sua cumplicidade com todo o
sistema social vigente;
• o nível axiológico das propostas, voltado para orientar o desenvolvimento
de uma cidadania contemporânea e atuante, fortalecendo os elementos

56
essenciais do humanismo: trabalho, liberdade, sociabilidade, universalidade
de direitos e consciência da responsabilidade individual e social.
A reflexão aqui iniciada tenta ressaltar as possibilidades de intervenção social
como uma práxis que une a crença na eficácia das idéias e sua efetivação nas
relações sociais de produção e de reprodução no cotidiano e a conjuga com as
transformações em nível da consciência individual e com as mudanças dos
processos coletivos.

Referências Bibliográficas

ATLAN, H. Entre o Cristal e a Fumaça: ensaio sobre a organização do ser vivo.


Rio de Janeiro: Jorge Zahar Editor, 1992.
BERTUSSI, G. T. Los valores y la moral en la escuela. Educación y Sociedad, 19
(62): 35-63, 1998.
COHEN, E & FRANCO, R. Avaliação de Projetos Sociais. Petrópolis: Vozes, 1993.
CROZIER, M. & FRIEDBERG, E. L’Acteur et le Système. Paris: Éditions du Seuil,
1977.
DAHRENDORF, R. Classes et Conflict de Classes dans la Société Industrielle.
Paris: Editions Mouton, 1972.
HARVEY, F. A Condição Pós-moderna. São Paulo: Loyola, 1998.
HELLER, A. O Cotidiano e a História. Rio de Janeiro: Paz e Terra, 2000.
KUMAR, K. New theories of industrial society. In: BROWN, P.H. & LAUDER, H.
(orgs.). Education for Economic Survival. Londres: Routledge, 1992. p.45-74
LATOUR, B. Jamais Fomos Modernos. Rio de Janeiro: Editora 34, 1994.
MOORE, W.E. Toward a system of consequences. In: MCKINNEY, J.C &
TIRYAKIAN, E.A. (eds.). Theoretical sociology: perspective and development.
Nova York: Appleton-Century-Crofts, 1967. p.42-75
MORIN, E. Cultura de Massas no Século XX. Rio de Janeiro: Forense, 1984.
NISBET, R.A. Social Change and History. Nova York: University Press, 1969.
OSBORNE, D. La Reinvención del Gobierno: influencia del espíritu empresarial
sobre el sector público. Barcelona: Piados, 1994.

57
RIVIÈRE, C. A mudança social. In: GAZENEUVE, J. & VICTOROFF, V. (orgs.).
Dicionário de Sociologia. Lisboa: Verbo, 1982. p. 421-438
ROCHER, G. Le Changement Social. Paris: Editions de Seuil, 1970.
SHELDON, E. B. & MOORE, W. E. Indicators of Social Change. Nova York:
Russel Sage Fondation, 1968.
SAINT-ÉXUPÉRY, A. Oeuvres d`Antoine de Saint-Éxupéry. Paris: Éditions
Gallimard, 1953.
SANTOS, B.S. Pela Mão de Alice. São Paulo: Cortez, 2000.
TERRÉN, E. Posmodernidad, legitimidad y educación. Educação & Sociedade, 20
(67): 1-26, 1999.
TOURRAINE, A. Crítica de la Modernidad. México: Fondo de Cultura Económica,
1995.
VASCONCELLOS, V. M. R. & VALSINER, J. Perspectiva Co-construtivista na
Psicologia e na Educação. Porto Alegre: Artes Médicas, 1995.
WEBER, M. La Ética Protestante y el Espíritu del Capitalismo. Barcelona:
Península, 1969.

58
Capítulo 2

Métodos, técnicas e relações em triangulação

Maria Cecília de Souza Minayo


Edinilsa Ramos de Souza
Patrícia Constantino
Nilton César dos Santos

Como já se viu na introdução, a triangulação não é um método em si. É uma


estratégia de pesquisa que se apóia em métodos científicos testados e
consagrados, servindo e adequando-se a determinadas realidades, com
fundamentos interdisciplinares. Esta abordagem teórica deve ser escolhida
quando contribuir para aumentar o conhecimento do assunto e atender aos
objetivos que se deseja alcançar.
Busca-se, aqui, enfatizar dois pontos: as abordagens disciplinares quantitativas e
qualitativas, em si; e as possibilidades interdisciplinares de estas abordagens se
combinarem, produzindo a triangulação.

2.1.ABORDAGENS QUANTITATIVAS

Como estratégia de pesquisa, o método quantitativo visa a obter evidências de


associações entre variáveis independentes (intervenção, exposição) e
dependentes (resposta ou de desfecho).
Excetuando-se os estudos exploratórios, freqüentemente o quantitativo está
relacionado a uma abordagem dedutiva, que consiste em, a partir de uma teoria
conhecida ou de uma lei geral, observar casos particulares procurando confirmar a
hipótese investigada ou gerar outras. Busca verificar resultados por meio de
objetivos previamente definidos. Para predizer e controlar eventos,
comportamentos e outros desfechos, o pesquisador deve quantificar as causas e
os efeitos, e isolá-los do seu contexto, a fim de tornar o processo, dentro da visão
positivista, o mais objetivo possível.

61
Historicamente, tem havido uma maior utilização dessa abordagem, tendo em
vista que a maior parte dos estudos avaliativos preocupa-se em mensurar o
impacto ou efeito da intervenção. Podem ser assim resumidas as características
do paradigma em questão:
• atua dentro da filosofia positivista;
• usa métodos estatísticos;
• trabalha com mensuração controlada;
• tem uma perspectiva externa aos dados;
• está orientado para a verificação e confirmação das hipóteses e para
resultados;
• enfatiza dados confiáveis e replicáveis;
• considera a perspectiva de uma realidade estável.
A hipótese central do positivismo sociológico, base filosófica da abordagem
quantitativa, é de que a sociedade humana é regulada por leis naturais que
atingem o funcionamento da vida social, econômica, política e cultural de seus
membros. Suas teses básicas são: realidade se constitui essencialmente naquilo
que os sentidos humanos podem perceber; as ciências sociais e as ciências
naturais compartilham do mesmo fundamento lógico e metodológico, distinguindo-
se apenas no objeto de estudo; e existe uma distinção fundamental entre fato e
representações, e a ciência deve-se ocupar dos fatos (Hughes, 1985; Minayo &
Sanches, 1993).
Mullen & Iverson (1982) referem a importância da abordagem quantitativa para
apresentar resultados que podem ser contados e expressos em números, taxas,
proporções. Segundo os autores, este tipo de abordagem é importante também
para conhecer a cobertura, a concentração e a eficiência de programas, ações e
intervenções, para avaliar objetivos bastante específicos, bem como as avaliar as
diferenças de grau de um objeto que exige uma lógica de mais ou de menos. Além
disto, a abordagem quantitativa estabelece relações significativas entre variáveis.

2.1.1- Desenhos quantitativos experimentais e quase-experimentais


para investigação avaliativa

62
As pesquisas avaliativas por triangulação de métodos devem adotar modelos de
abordagem fundamentados e testados cientificamente. Os de maior poder
analítico, dentro da perspectiva quantitativa são os de desenho experimental e
quase-experimentais, visando a medir o efeito das intervenções. Embora na
avaliação do Cuidar tenha sido usado o modelo quase-experimental, a seguir
analisam-se também as características do experimental.
O modelo experimental corresponde ao desenho ideal na perspectiva da
comparabilidade de grupos formados pela intervenção nas investigações de cunho
quantitativo. No contexto da avaliação de programas, devem-se analisar os
desenhos experimentais da mesma forma que em uma pesquisa de ciências
naturais, o que implica total externalidade dos observadores em relação aos
observados e limitação no tamanho da amostra.
A idéia de experimento está associada às condições típicas de laboratório, mas,
no caso de avaliação social, o modelo é reinterpretado pelas ciências sociais.
Neste tipo de adaptação, o modo de determinar o grau de sucesso e evitar vieses
é pedir que os agentes da intervenção façam dois grupos diferenciados, desde o
início dos trabalhos, que vão ser acompanhados pelos avaliadores. Com um,
serão realizadas as intervenções sociais. O outro será usado como grupo controle.
Durante todas as etapas, a avaliação será programada para observar e descrever
o que ocorre em ambos, em relação à variável dependente (resposta) (Campbell &
Stanley, 1966).
Silva (2004) lista o que considera vantagens do estudo experimental com
segmentos populacionais, concordando com Campbell & Stanley (1966) e muitos
outros estudiosos que:
• o processo de randomização (distribuição aleatória dos sujeitos nos grupos
experimental e controle) evita que os vários grupos sejam afetados por viés
de seleção;
• a randomização assegura que os grupos sejam similares quanto à
distribuição dos fatores de confusão conhecidos e desconhecidos;

63
• se o estudo for duplamente cego1, os erros de medição tendem a ser
reduzidos se a qualidade global do estudo é assegurada;
• permite estudar várias conseqüências em relação a uma dada intervenção.
Os estudos em que o pesquisador não consegue garantir tais condições
são chamados não-experimentais.
Os estudos experimentais, segundo seus teóricos, permitem melhor controle, pois
a randomização minimiza a interferência de fatores de confusão, conhecidos ou
desconhecidos dos investigadores. De modo geral, têm-se utilizado os
delineamentos experimentais para análise de impacto, pois considera-se que, nas
avaliações mais bem-sucedidas, se havia adotado este modelo, nas duas últimas
décadas (Rossi & Wright, 1984).
Segundo Cano (2002), em ciências sociais há três condições para se considerar
uma pesquisa como um experimento. A primeira é a introdução das causas, da
variável independente pelo experimentador. Já a segunda é o controle da
situação, para evitar a interferência de outros fenômenos além dos pesquisados. A
designação aleatória das unidades para os grupos, experimental e de controle, a
fim de maximizar a comparabilidade entre ambos é a terceira.
No entanto, o entendimento do que significa um experimento em ciências sociais
varia bastante. Grennwood (1972), em revisão abrangente da literatura sobre o
tema, refere ter encontrado mais de uma centena de definições, agrupadas, por
ele, em cinco tipos: experimentação pura; experimentação não-controlada;
experimentação ex-post facto; experimento de ensaio e erro; observação
controlada.
Embora amplamente utilizada e defendida, a experimentação para avaliação de
intervenções sociais tem recebido muitas críticas. As restrições ao modelo
costumam ter três variantes: rejeição total do paradigma e de suas raízes
intelectuais positivistas; rejeição específica da abordagem do tipo caixa preta e
sua substituição por outra técnica, conservando-se os princípios do modelo; crítica
ao seu tecnicismo com proposta de estratégias mais adequadas de aplicação.

1
Avaliador e avaliado desconhecem em que grupos estão os sujeitos sob avaliação.

64
Silva (2004), que tantos méritos encontra nos modelos experimentais, também
aponta outras desvantagens que fortalecem os argumentos dos que os criticam:
podem ser extremamente caros e morosos e encontram dificuldade de manter a
adesão dos participantes tal como deveria ocorrer.
Outros autores chamam atenção para o fato de que os delineamentos
experimentais não se adaptam algumas realidades como, por exemplo, programas
que não admitem controles confiáveis; que não atingem proporções significativas
da população elegível e para os quais seria eticamente impensável usar
aleatorização.
Enfim, o desenho experimental representa o ideal do controle pelo investigador
das condições em que a intervenção é aplicada e os desfechos aferidos. É como
se fosse um “padrão ouro”, servindo de referência nas discussões teóricas para
análise dos limites dos resultados das abordagens que não alcançam este ideal.
O modelo caixa, ou da caixa fechada, refere-se a avaliações que examinam a
saída (resposta) de um programa sem analisar sua operação interna. É também
denominado modelo do consumidor ou de avaliação do produto. Em algumas
situações, esta é precisamente a forma de avaliação requerida. É o caso de
quando se deseja saber que produto é melhor, sem necessidade de maiores
explicações.
Tal dispositivo, no entanto, não é adequado à avaliação de programas sociais da
qual se esperam subsídios para melhorar o desempenho de um programa.
Nas análises baseadas em teoria, trabalha-se com cálculos de correlação entre o
programa e as características dos participantes; entre o programa e as mudanças
imediatas e entre mudanças imediatas e respostas variáveis. Campbell & Stanley
(1966), por exemplo, afirmam que este tipo de proposta é fundamental para o
delineamento de experimentos “sensatos”. Posavac & Carey (2003) consideram
que essa modalidade, fundamentada na descrição cuidadosa do programa
oferecido a pessoas com necessidades definidas e em uma listagem dos modos
como se espera que o programa provoque mudanças nas pessoas, atende melhor
aos objetivos dos formuladores de políticas.

65
Além dos argumentos críticos sobre o paradigma, é preciso ter em conta que a
filosofia positivista que fundamenta a experimentação em laboratório não
consegue realizar-se em circunstâncias de análise e observação de intervenções
sociais. Isto porque o modelo tem como pressupostos evidenciar que: a causa
precede o efeito no tempo; a causa varia com o efeito, isto é, a mais causa
corresponde mais efeito; e nenhuma explicação plausível para o efeito pode ser
encontrada, exceto a causa.
Esses critérios dificilmente podem ser mantidos em avaliação de programas
sociais, por razões epistemológicas e éticas: a complexidade, interrelação e
interação entre questões sociais, culturais, intervenções em diferentes níveis
peculiares a qualquer empreendimento humano são de natureza diferente do que
se pode observar em laboratório. Como muito bem lembra Pascal (1966,
Pensamento 73), na realidade social “todas as coisas são causadas e causadoras,
ajudadas e ajudantes, mediata e imediatamente e todas se relacionam por um
vínculo natural e insensível, que liga as mais afastadas e as mais diferentes”.
Tal complexidade ocorre pela dinâmica do mundo de interrelações humanas
estruturadas e construídas e não por um erro da natureza. Neste contexto, o
método quantitativo é uma das peças cruciais, para compor o caleidoscópio de
visões, significados e sentidos existentes nos programas e na realidade social.
O modelo quase-experimental é visto pelos avaliadores que trabalham com
abordagens quantitativas como alternativa às limitações encontradas no modelo
experimental. Seu tipo de desenho diz respeito ao paradigma experimental, sem,
contudo, levar em conta a totalidade das condições básicas do experimento. Ele
pressupõe: a inexistência ou o pouco controle do contexto e das variáveis
intervenientes, bem como a impossibilidade de alocação aleatória dos
participantes. Apesar de o modelo prever grupos experimental e de controle, não
se garante a equivalência entre os dois. Trabalha-se, no entanto, com cuidados
técnicos que visam a estabelecer a maior similaridade possível entre ambos.
Segundo Pereira (2000), a designação estudo quase-experimental veio das
ciências sociais, exatamente buscando reinterpretar as vantagens dos
experimentos nas condições específicas das interações humanas. Sob tal

66
expressão agrupam-se diferentes desenhos de estudo, objetivando-se separar os
efeitos da intervenção que se deseja avaliar, dos demais efeitos, em especial dos
que dificultam a comparabilidade inicial dos grupos. Busca-se, assim, aumentar a
validade interna e o grau de certeza da comparação (Cano, 2002).
Se esse modelo não tem o rigor dos experimentos quanto à inferência causal,
permite a adaptação da pesquisa a condições adversas. Por isto, alguns
estudiosos entusiastas dessa abordagem evidenciam que, na sua aplicação, se
consegue uma validade interna tão forte quanto em um estudo experimental.
Segundo Posavac & Carey (2003) a validade interna desse tipo de método pode
aumentar quando o pesquisador observa os participantes várias vezes antes e
depois do programa; observa os grupos de controle e usa diversas variáveis,
sobretudo algumas que se espera que sejam afetadas pelo programa e outras que
não o sejam.
Eis alguns tipos de técnicas usadas no modelo quase-experimental:

• Desenho pré-teste e pós-teste com amostras separadas – Esta


modalidade é aconselhável quando as pessoas e os grupos todos
estão submetidos ao mesmo programa, não se evidenciando a
possibilidade de se estabelecer controle. Fazem-se medições em
algumas unidades, previamente à intervenção e, em outras, ao final
do processo. Esta técnica permite comparar o desempenho de um
grupo antes com o de outro grupo após, uma vez que a avaliação
não se dá simultaneamente.
• Desenho com grupos de controle não-equivalentes – É aquele no
qual são feitas duas medições – uma antes e outra após a
implementação do programa em dois grupos – um que tenha
recebido a intervenção e outro não. Isto permite perceber mudanças
típicas do programa de intervenção social. A maior similaridade entre
os grupos aumenta a validade interna. O pré-teste é crucial para
avaliar a equivalência inicial deles quanto ao desempenho na
variável dependente. No entanto, dada a especificidade da dinâmica

67
social, não pode garantir a igualdade em outras dimensões capazes
de afetar o resultado. As maiores limitações do desenho de grupo
controle não-equivalente são a dificuldade de encontrar um grupo de
comparação similar ao de tratamento. E a outra restrição vem
daquilo que as teorias positivistas não acolhem como condições da
realidade e consideram ameaças à validade interna: é o caso de
outros efeitos históricos e episódicos sobre os processos
observados. Uma solução para as diferenças entre os grupos no pré-
teste é fazer o pareamento entre as pessoas que estão participando
do programa de intervenção e das que fazem parte da comparação.
Para selecionar o grupo de comparação, utiliza-se o pareamento,
mas realizá-lo pode gerar vieses.

• Desenho com variáveis não-equivalentes – É possível aumentar a


validade das interpretações observando variáveis dependentes
adicionais que, espera-se, não sejam modificadas pelo programa ou
o sejam marginalmente. Este é o chamado desenho de controle de
construto. Nele, há diversas variáveis dependentes, similares à
variável dependente maior. Mas, para cada uma delas, há uma
predição diferente sobre como será afetada pela intervenção.
Quando apenas um grupo faz parte do estudo, cada uma dessas
variáveis funciona como um critério para comparação com a variável
final. Este critério pode ser aplicado inclusive quando existe grupo de
controle para melhorar a validade interna.

• Desenho apenas com pós-teste e predição de interações entre


subgrupos – Tem o mesmo princípio do desenho com variáveis não-
equivalentes, mas refere-se às interações de variáveis e de grupos.
Indicado para as situações em que o avaliador possa levantar
hipóteses específicas a respeito de como as variáveis vão funcionar
diferencialmente em cada um dos grupos estudados. A inferência

68
causal será muito mais forte se os dados confirmarem tais hipóteses,
pois este tipo de técnica compensaria parcialmente a ausência de
grupo de controle e de pré-teste. De um lado, quanto mais
específicas forem as predições (especialmente se diferenciadas em
função dos diversos subgrupos e variáveis), maior solidez haverá na
inferência causal que se busca. De outro, quanto mais situações
específicas forem preditas de forma diferencial pelas hipóteses,
maior é a chance de que algumas delas não se confirmem, ainda
que isto ocorra por erro aleatório.

• Desenho de tratamentos inversos – Consiste em administrar


tratamentos opostos para se observar se produzem efeitos também
opostos, permitindo fazer predições diferenciadas para situações
diferentes. Esse tipo de técnica favorece a validade de construto.

• Desenho de séries temporais – Será descrito de maneira mais


detalhada, já que tem merecido destaque pelo que pode contribuir ao
conhecimento da realidade social e da pesquisa avaliativa. As
técnicas de análise de séries temporais ou séries temporais
interrompidas foram desenvolvidas, originalmente, em previsões
econômicas e, subseqüentemente, aplicadas em problemas de
avaliação. Primeiramente sugerida por Campbell & Stanley (1966),
sua aplicação tornou possível analisar o impacto de novos
programas de larga escala, ou os efeitos da modificação dos já
existentes, sem o recurso aos clássicos experimentos aleatorizados.
Esta abordagem é limitada aos programas de média ou longa
duração, cujo início pode ser situado no tempo. Os modelos de
séries históricas, que lidam com medição para fins de previsões,
mostram-se úteis em várias circunstâncias. A primeira é em estudos
de tendências sociais, sobretudo à medida que todos os tipos de
indicadores tornam-se ampla e regularmente mais disponíveis.

69
Séries históricas de dados críticos sobre taxas de crimes, de
desemprego e de desenvolvimento humano, por exemplo, podem
ajudar ao planejamento de ações, tendo em vista a possibilidade de
intervir nas tendências percebidas cientificamente. Outra ocasião em
que se destaca a utilidade das séries históricas é na análise da
validade interna de mudanças descritas, uma vez que aumenta a
capacidade de interpretação dos dados ao longo do tempo. Por
causa do efeito da passagem do tempo sobre os indivíduos
(maturação), o desenho pode ser traçado durante períodos
anteriores e depois da intervenção. A probabilidade de confundir o
efeito do programa com o efeito de maturação é menor do que no
uso de desenho pré e pós-teste. Além disto, os próprios efeitos de
história são mais facilmente detectados com essa técnica, permitindo
averiguar até que ponto os resultados de uma intervenção são
transitórios ou permanentes. A validade interna será maior se o
pesquisador conseguir predizer, com sucesso, o momento preciso
em que o efeito, em estudo, apareceu e produziu impacto.

A abordagem de séries temporais deve incluir minimamente as quatro


características a seguir: uma única unidade é definida e as medidas são
feitas sobre um número de intervalos de tempo que precede e segue
alguma intervenção controlada. Neste desenho, pode-se utilizar a análise
de tendências de pacotes estatísticos, mas também se adotam outros
dispositivos mais simples para se efetuar a análise. Os pontos das séries
temporais podem ser alisados usando-se programas computacionais ou
sem o computador, por meio da média de pontos adjacentes. Alisar um
gráfico não é diferente de encontrar uma média para um conjunto de
números, buscando-se um padrão geral. Um gráfico alisado pode revelar
melhor um padrão que um gráfico com o rol de dados, do mesmo modo que
uma média revela melhor as informações que uma lista de pontos com os
dados originais.

70
• Desenho das descontinuidades na regressão – É uma técnica específica
para situações em que não se pode tomar uma decisão aleatória sobre que
grupos de pessoas serão priorizados para receber a intervenção ou para
comparação, em um estágio inicial em que os dois são diferentes. Existem
quatro requisitos para o emprego eficiente desse desenho: a variável que
determina a participação no programa deve ser contínua; deve haver um
ponto de corte que diferencie quem recebe e quem não recebe a
intervenção; o critério para inclusão no programa deve estar correlacionado
com a variável dependente (pós-teste) e as relações entre o critério de
inclusão e o pós-teste devem ser lineares tanto para os beneficiários quanto
para os não beneficiários. Esta estratégia é, simplesmente, um caso
especial de desenho de grupo controle não-equivalente. Nela, o avaliador
tem uma quantidade de medidas de como os dois grupos foram formados.
O exemplo dado por Posavac & Carey (2003) sobre essa técnica é bastante
esclarecedor, considerando, no caso de sua pesquisa, que 300 estudantes
são testados em leitura. Os escores mais baixos definiram os que mais
precisam de reforço. Se o programa dispõe de vagas para 100 estudantes,
parece razoável selecionar os que alcançaram os mais baixos escores. Se
os 300 estudantes são testados ao final do ano escolar, a expectativa não é
que os 100 contemplados com a intervenção tenham desempenho melhor
do que os outros 200 estudantes.
Mas, se o programa foi efetivo, espera-se que o grupo que recebeu reforço
tenha alcançado maior êxito do que se tivesse permanecido apenas com o
programa regular. O desenho de descontinuidade da regressão permite ao
avaliador medir tais efeitos.

• Combinação de desenhos – Posavac & Carey (2003) aconselham a


combinação de desenhos para aumentar a validade do estudo. Uma delas
pode ser a articulação de desenho de séries temporais e de grupos controle
não-equivalentes. Para os autores, uma chave para a realização de

71
interpretações válidas é sua capacidade de replicação, podendo-se
assegurar as conclusões.
Os delineamentos de estudos quase-experimentais também têm suas limitações.
Segundo Rossi & Wright (1984), uma delas seria que, embora não tão caros ou
demorados como os experimentos “verdadeiros”, os quase-experimentos podem
demandar mais fundos, tempo e talento dos investigadores.
Outro problema é que muitos dos seus delineamentos mais sofisticados, como é o
caso das técnicas de séries temporais interrompidas, requerem dados de longo
tempo, observações anteriores à introdução de uma política de intervenção e
continuidade do estudo ao longo de vários anos, depois dela. Este tipo de
abordagem não elimina o velho problema de adequação ao tempo.
Finalmente, Campbell & Stanley (1966) discutem detalhadamente que há
ameaças potenciais à validação de quaisquer delineamentos de quase-
experimentos. Ao usar determinado desenho, sempre se corre algum risco de,
erroneamente, considerá-lo como verdadeiro artefato dos efeitos dos programas.
As ameaças para a validação interna costumam surgir de falhas no delineamento
da avaliação, tornando-a vulnerável a críticas que poderiam ter sido feitas desde o
início do seu planejamento, dizem Rossi & Wright (1984). Entre as limitações
citadas pelos últimos autores, encontram-se os vieses e o não controle das
variáveis de confusão ou de confundimento. O problema da seleção dos
participantes e dos não participantes está no cerne da crítica aos delineamentos
da avaliação não-experimental.
O uso de desenhos quase-experimentais em programas de avaliação é muito
freqüente. Contudo, sua escolha não deve ser mecânica. Os avaliadores precisam
saber que ameaças específicas à validade interna devem considerar em cada
avaliação, pois não há um padrão para o planejamento de um desenho quase-
experimental.

2.1.2- Definição amostral


Outro ponto metodológico crucial é definir o planejamento amostral da avaliação
para que se almeje obter a representatividade estatística. Uma vez que o

72
programa trabalha com determinada população, é preciso decidir se a avaliação
vai considerar todo o universo (censo), uma amostra probabilística ou uma
amostra não-probabilística, e que deverá ser selecionada segundo os critérios
metodológicos de cada uma. Cochran (1965) apresenta todos os tipos de técnicas
para uma amostragem probabilística, ao passo que Oliveira (2004) descreve as
técnicas de amostragem não probabilística de maneira bastante criteriosa,
apresentando cada tipo de técnica, identificando suas vantagens e desvantagens
e indicando as situações de utilização para cada uma delas. Outros autores, como
Mattar (1996), Churchill (1998) e Kinnear (1979), também são referências no
entendimento destas diferentes abordagens.
Avaliadores inexperientes, freqüentemente, enfatizam o tamanho da
amostra em detrimento de sua representatividade. Já avaliadores experientes
sabem que algumas pessoas selecionadas não cooperam ou não estão
disponíveis para a investigação. Isto torna desejável que o tamanho das amostras
(qualitativas e quantitativas) considere as perdas que poderão ocorrer. É
importante identificar as características dos não participantes e dos que saíram ao
longo da avaliação. As perdas e suas razões têm peso importante sobre as
conclusões.
Pela relevância do plano amostral para uma pesquisa avaliativa,
recomenda-se a leitura de textos em que se aborda com profundidade a questão,
além da consulta a especialistas da área.

2.2.ABORDAGEM QUALITATIVA
A abordagem qualitativa deriva do pensamento compreensivista (Weber, 1964) e
hermenêutico (Gadamer, 1999). Preocupa-se com a compreensão interpretativa
da ação social. No conceito de ação, a sociologia compreensiva inclui todo o
comportamento humano quando e até onde a ação individual lhe atribui um
significado subjetivo. A ação é social, no sentido weberiano, quando, em virtude
do significado subjetivo atribuído a ela pelos indivíduos, leva em conta o
comportamento dos atores e é orientada por ele na sua realização (Weber, 1964).
Desta forma, a abordagem qualitativa atua levando em conta a compreensão, a

73
inteligibilidade dos fenômenos sociais e o significado e a intencionalidade que lhe
atribuem os atores.
Deslandes & Gomes (2004) observam que a abordagem qualitativa, embora tendo
como foco central a compreensão do significado das ações sociais, ancora-se em
diferentes bases disciplinares, metodológicas e paradigmáticas, formando um
conjunto de atividades interpretativas que podem ser atravessadas por conflitos e
tensões. Os autores observam ainda que, a partir do campo das ciências sociais,
tal abordagem se presta para focalizar estudos de instituições, grupos,
movimentos sociais e conjuntos de interações pessoais.
A preferência por abordagens qualitativas para avaliação é bastante recente,
tendo se desenvolvido nos últimos 20 anos. Tem sua raiz na crença de que
programas sociais tendem a desenvolver suas metas à medida que estão em
andamento, o que torna difícil conhecer seus benefícios, avaliando-os apenas a
partir de procedimentos fixos e de metas inalteráveis. Em uma investigação
avaliativa por método qualitativo trabalha-se com atitudes, crenças,
comportamentos e ações, procurando-se entender a forma como as pessoas
interpretam e conferem sentido a suas experiências e ao mundo em que vivem.
Embora haja diferentes estratégias metodológicas neste tipo de investigação,
todas têm o mesmo objetivo: compreender as relações, as visões e o julgamento
dos diferentes atores sobre a intervenção na qual participam, entendendo que
suas vivências e reações fazem parte da construção da intervenção e de seus
resultados. Ou seja, acredita-se que exista uma relação dinâmica e inseparável
entre o mundo real e a subjetividade dos participantes.

2.2.1- Modelos de Investigação Avaliativa Qualitativa


Os modelos teóricos de investigação qualitativa são, historicamente: estudos
compreensivos usando o desenho de tipo-ideal; estudos de cunho
fenomenológico; estudos etnometodológicos; estudos interacionistas simbólicos;
estudos de cunho hermenêutico-dialético; estudos de pesquisa-ação e pesquisa
participativa.

74
• Estudos compreensivos usando o desenho de tipo ideal [favor
hierarquizar utilizando números] – Para Weber, o clássico idealizador do
modelo, tipos-ideais são artifícios criados pelos investigadores para ordenar
os fenômenos. Na prática, ele é o construto de um fenômeno ou de uma
situação, desenvolvido pelos pesquisadores e que contenha todos os
requisitos que precisam ser observados na realidade (Minayo, 2004). Estes
construtos, para serem operativos, devem sintetizar e evidenciar os traços
típicos e originais de determinado fenômeno, tornando-o inteligível. A
realização de uma avaliação a partir do modelo de tipos-ideais parte de
investigação empírica que permita confrontar os dados da realidade com o
modelo (tipo-ideal). Seus dados devem sempre derivar do modo de vida,
das relações e das representações dos atores. A avaliação orienta-se para
captação e compreensão dos vários e diferentes significados dos sujeitos
sobre os processos que estão vivendo, bem como apóia-se na crença de
que os atores envolvidos em intervenções sociais são capazes de
descrever, explicar e justificar suas ações e relações com argumentos
afetivos, tradicionais e racionais.
Os críticos da abordagem dos tipos-ideais consideram que Weber, na
tentativa de fugir ao positivismo que tanto criticou, e ao mesmo tempo,
visando a produzir investigações objetivas, fez de seu desenho
metodológico um artifício rígido que não se adapta às realidades concretas
e dinâmicas.

• Desenho de cunho fenomenológico – Esta modalidade de estudo cuja


fundamentação sociológica se deve a Schutz (1982) depois de ter sido
pensada por filósofos como Husserl e Heidegger. É também chamada
sociologia da vida cotidiana por autores como Maffesoli (1988). Ela
apresenta uma crítica radical ao objetivismo da ciência, na medida em que
propõe a subjetividade como fundante de todos os atos humanos.
Apresenta, também, uma demonstração da subjetividade como constitutiva
da realidade social e inerente à definição de qualquer tipo de objetividade,

75
bem como uma proposta da descrição fenomenológica como principal
tarefa das investigações sociais. A fenomenologia sociológica tem por
fundamentos: a intersubjetividade nas relações; a compreensão do sentido
das ações dos sujeitos; a racionalidade presente no senso comum dos
atores e o cotidiano e o mundo da vida como fontes de significados,
intencionalidade e de racionalidade.
Schutz (1962) coloca como método de construção do conhecimento
fenomenológico, a descrição detalhada e focalizada dos fenômenos sociais
em avaliação ou em observação, tais como eles são vivenciados no
cotidiano. Propõe, como postura científica, o investimento na compreensão
do significado da experiência vivida e interpretada pelos próprios atores.
Um tipo de avaliação de intervenção social pela abordagem
fenomenológica se empenhará em entender, com detalhes, como os
diferentes atores se comportam frente ao processo que estão vivenciando e
como interpretam os estímulos à mudança que estão recebendo. Não
haverá aí movimento algum para buscar articulações e contextualizações
que excedam o âmbito da intervenção. A crítica a este modelo se resume
ao fato de que ele atomiza a realidade como se cada fato ou grupo
constituísse um mundo em si. Por isso, os que o aplicam desconhecem (por
razões metodológicas) questões estruturais, de poder e de interações,
quando são externas ao campo de observação.

• Desenho de cunho etnometodológico – De modo geral, entende-se por


etnometodologia a prática teórica que preconiza a observação e a
investigação detalhada dos fatos, no lugar em que eles ocorrem, com a
finalidade de produzir uma descrição minuciosa e densa das pessoas, de
suas relações e de sua cultura. Mas diferencia-se delas por não ter a
pretensão de produzir análises culturais totalizantes. A fundamentação da
etnometodologia foi elaborada por Garfinkel (1967). O prefixo etno-,
anteriormente circunscrito aos contextos, práticas e objetos da ciência
etnológica, foi empregado por Garfinkel com um estatuto epistemológico

76
mais amplo, defendendo o princípio de que a perspectiva da análise social
devem ser os pressupostos dos analisados na sua vida cotidiana, tal como
é vivida e relatada (Casal, 1996). Assim, tal perspectiva baseia-se na visão
da vida social como uma realidade que se constitui de estruturas, regras,
normas e conhecimentos compartilhados, tornando possível a interação
entre as pessoas. Já que os seres humanos têm como característica a
reflexividade sobre seus atos, o papel do etnometodólogo é descobrir os
modelos de racionalidade subjacentes à ação dos indivíduos, grupos e de
determinada coletividade.
A estratégia de investigação avaliativa etnometodológica coloca atenção
especial nas técnicas de observação participante e na compreensão dos
símbolos e categorias empíricas que um determinado grupo usa para se
referir a seu mundo e aos processos que está vivendo (Minayo, 2004).
Geertz (1973) comenta que, mesmo quando está em contato e empatia
com o grupo que observa e avalia, o observador e o avaliador colocam em
jogo suas próprias normas e condutas. Por isto, considera que o
etnometodólogo trabalha como mediador entre marcos de significados,
seus e do outro. Uma das grandes vantagens da etnometodologia é trazer
para a avaliação, grande riqueza de informações, fazendo uma mediação
entre a teoria da abordagem e uma nova teoria gerada a partir do campo.
Coulon (1995) considera, com base nas idéias de Garfinkel (1967), que a
avaliação pelo modelo etnometodológico deve enfatizar a compreensão de:
métodos utilizados pelos indivíduos para dar significado a suas ações
quotidianas; de indicialidade das palavras, o que se traduz pelo
rastreamento dos sentidos e relevâncias oferecidas pela linguagem
cotidiana; de reflexividade dos atores, ou seja, a valorização de sua
capacidade de refletir e de interpretar suas ações e interações; de
relatabilidade (accountability) – significando algo possível de ser relatado
por possuir padrões na cultura de referência do sujeito, permitindo-o situar
a experiência; de noção de membro, significando sempre o fato de que

77
qualquer pessoa pertence a um grupo com o qual compartilha crenças e
valores e códigos culturais.
A etnometodologia, em seu sentido estrito, tem certos problemas quanto a
seu uso para a investigação avaliativa, pois não permite comparação e nem
se presta para construir cenários voltados ao futuro, uma vez que ela tem
uma perspectiva sincrônica (Minayo, 2004). Quando combinada com a
abordagem dialética é de grande valia e pode render excelentes resultados
compreensivos.

• Desenho fundamentado no interacionismo simbólico – A concepção


interacionista das ações sociais fundamenta-se no princípio de que o
comportamento humano é autodirigido e observável em dois sentidos: o
simbólico e o interacional. Concebe a vida social como um consenso
estabelecido na interrelação, em que sentido atribuído às ações sociais é
sempre redefinido e modificado por meio de um processo interpretativo
consensual do grupo. Nesta concepção, considera-se que qualquer pessoa
pode planejar dirigir suas ações em relação à outra e conferir o significado
aos objetos que utiliza para realizar seus planos.
Casal (1996) discorre sobre o pensamento de Blumer (1969) e Denzin
(1973), pensadores seminais do modelo de interacionismo simbólico que:
ƒ a interação é a matriz dos comportamentos sociais;
ƒ a interação entre indivíduos pressupõe uma comunicação de
significados, partilhados, reconhecidos e interpretados;
ƒ a interação simbólica entre os indivíduos pressupõe a auto-interação,
em outras palavras, o indivíduo interage consigo próprio, se ‘vendo a
partir dos olhos dos outros’;
ƒ a especificidade da ação coletiva reside na articulação das ações
individuais e não na soma destas. Em síntese, o avaliador que se
utiliza deste modelo deve focalizar as interações, os símbolos e a
natureza reflexiva dos atores sobre os processos vividos em
comunidades culturais específicas.

78
ƒ Desenho de investigação participante e de investigação-ação – Tais
abordagens têm origem na década de 60 na psicologia social
francesa. Na América Latina, foram influenciadas pelo pensamento
problematizador da realidade social a partir de Paulo Freire (2003).
Nasceram orientadas para a solução de problemas concretos como
tentativa de promover o incremento de participação dos camponeses
e grupos sociais mais relegados da sociedade nos processos sociais
e sua integração no debate político. O pressuposto de tais propostas
é de que essa inclusão social só se alcançaria se esses setores
passassem a incorporar a consciência de seus interesses, práticas
de organização e real significação social e política e que, a
investigação social seria um potente veiculador dessas mudanças
(Gajardo, 1984; Barbier, 1985).

Embora criadas dentro do mesmo contexto histórico e dos mesmos objetivos


sociais, há diferenças teóricas e práticas entre investigação-ação e
investigação participante. A primeira consiste em um tipo de pesquisa
estreitamente concebida e realizada junto com intervenções sociais
orientadas para a resolução de um problema coletivo no qual se envolvem os
investigadores e os participantes. Esses últimos devem ser representativos do
processo que buscam transformar (Thiollent, 1987). A investigação
participante inclui pessoas leigas, representativas de situações a serem
transformadas, de forma orgânica à produção de conhecimento sobre tais
situações, sem necessariamente estar vinculada a uma ação direta.
Buscando sempre combinar investigação, participação e política (Gajardo,
1986), desenvolveram-se a partir de alguns pressupostos: a idéia de um
sujeito popular, a idéia de um projeto político encampado por uma frente
popular; o privilégio do espaço microssocial como lócus político e o papel do
investigador como ator político transformador.

79
Em ambas as modalidades, a população-alvo é levada a identificar o
problema, a levantar os dados sobre ele, a realizar análises críticas e a
buscar soluções adequadas. A própria seleção do problema, espera-se que
brote da discussão entre especialistas e a população. Estes dois modelos,
com as mesmas premissas de aplicação, tiveram seu período áureo nos anos
60 e 70 na América Latina, tendo surgido como uma forma de politização e de
engajamento dos intelectuais de esquerda nos processos emancipatórios da
Região. Foram aplicados, sobretudo, em projetos de educação popular
(Brandão, 1985).

Considerados semelhantes, os desenhos de investigação-ação e de


investigação participante, do ponto de vista metodológico supõem que:
ƒ grupos com saberes diferenciados se coloquem em inter-relação;
ƒ seja formulado um quadro teórico referente ao problema para o qual se
busca solução:
ƒ em todas as fases de desdobramento do projeto, os leigos engajados
em ações transformadoras participem;
ƒ todas as discussões sobre os dados sejam socializadas e
ƒ se construam planos de ação, em conjunto, permitindo enfrentar e
resolver, com metas no curto, médio e longo prazo os problemas
diagnosticados.

As modalidades de investigação-ação e de investigação participativa, no


contexto de avaliação de intervenções (Demo, 1998), no sentido político que
lhes deu origem se escassearam a partir dos anos 80. As propostas levadas à
prática geraram muitas críticas epistemológicas, sobretudo quanto ao seu
status de cientificidade. Do ponto de vista acadêmico, tais iniciativas,
freqüentemente, demonstraram grande fragilidade teórica ou simplesmente
não previam a participação dos leigos em todas as etapas de sua realização
(por exemplo, nas análises dos resultados). Isto fragilizava a essência do
modelo na sua realização prática. Do ponto de vista dos atores envolvidos,

80
cada vez mais se tornou difícil o engajamento dos leigos, a não ser de forma
remunerada. E do ponto de vista político, à medida que os contextos
históricos latino-americanos começaram a se democratizar, as investigações
dessa natureza, visando a despertar a consciência da população, tornaram-se
prescindíveis (entre outros motivos, porque são muito caros e complicados).
Isto porque outros canais de informação e de discussão da realidade
passaram a ficar disponíveis.
Atualmente, continua-se a falar em avaliação participativa, dentro de outro
contexto, sobretudo o da avaliação institucional (Waiselfisz, 1998; Demo,
1998). Seu sentido se soma e se adapta ao de auto-avaliação e de avaliação
interna, sendo especialmente usada como uma modalidade de construção de
consensos dentro das organizações, a partir de diagnósticos e formulação de
propostas dos próprios funcionários. Cumpre, então, uma função estratégica.

• Desenho hermenêutico-dialético – Esta combinação de abordagem foi


primeiramente descrita por Habermas (1987) por entender que, do ponto de
vista do pensamento, ela faz a síntese dos processos compreensivos e
críticos. Hermenêutica, segundo Gadamer (1999), é a busca de
compreensão de sentido que se dá na comunicação entre seres humanos,
tendo na linguagem seu núcleo central. Assim como todas as outras formas
de abordagem aqui citadas, a hermenêutica trabalha com a comunicação
da vida cotidiana e do senso comum, dentro dos seguintes pressupostos: o
ser humano como ser histórico e finito complementa-se por meio da
comunicação; sua linguagem também é limitada, ocupando um ponto no
tempo e no espaço; por isto, é preciso compreender também seu contexto e
sua cultura.
Dois importantes princípios da hermenêutica podem ser apropriados pelas
atividades de avaliação. A experiência cultural traz os resultados dos consensos
que se convertem em estruturas, vivências, significados compartilhados e
símbolos. Por este motivo, o mundo da cotidianidade é o horizonte e o parâmetro
do processo de entendimento. Por outro lado, nem tudo na vida social é

81
transparente e inteligível, e nem a linguagem é uma estrutura completa da vida
social. Por isso é importante apoiar-se nas análises de contexto e da práxis
(Minayo, 2002).

Do ponto de vista metodológico, a abordagem hermenêutica utilizada para a


avaliação de programas sociais coloca ao investigador os seguintes desafios:
buscar esclarecer o contexto dos diferentes atores e das propostas que
produzem;
ƒ acreditar que existe um teor de racionalidade e de responsabilidade nas
diferentes linguagens que servem como veículo de comunicação;
ƒ assumir seu papel de julgar e tomar posição sobre o que ouve, observa e
compartilha;
ƒ colocar os fatos, relatos e observações no contexto dos atores
ƒ produzir um relato dos fatos em que os diferentes atores se sintam
contemplados.

A dialética é a ciência e a arte do diálogo, da pergunta e da controvérsia.


Diferentemente da hermenêutica, ela busca nos fatos, na linguagem, nos
símbolos e na cultura, os núcleos obscuros e contraditórios para realizar uma
crítica informada sobre eles. Ao falar da articulação promissora entre dialética
e hermenêutica, Habermas diz que “a mesma razão que compreende,
esclarece e reúne, também contesta, dissocia e critica” (1987: 20), pois há
tanta falta de transparência na linguagem como na vida real onde poder e
relações de produção opõem contraditoriamente pessoas, grupos e classes. E
mais do que isto, lembra o autor, a própria linguagem é um instrumento de
dominação, necessitando, por este motivo, ser desmistificada e objeto de
reflexão: tanto a que é comunicada pelos informantes como a que é utilizada
pelos avaliadores.
O pensamento dialético, do ponto de vista metodológico, precisa criar
instrumentos de crítica e de apreensão das contradições na linguagem;
compreender que a análise dos significados deve ser colocada no chão das

82
práticas sociais; valorizar os processos na dinâmica das contradições no
interior das quais a própria oposição entre avaliador e avaliado se colocam e
ressaltar o condicionamento histórico das falas, relações e ações (Minayo,
2004).
Na sua articulação, a hermenêutica-dialética é bastante produtiva para
fundamentar as avaliações qualitativas. Ela constitui a projeção de um
caminho de pensamento, não se aferrando a nenhuma técnica específica.
Pelo contrário, ela valoriza elementos de outras abordagens como a
fenomenologia, o interacionismo simbólico e a etnometodologia (Habermas,
1987) diferenciando-se delas e criticando-as ao mesmo tempo, pois as
considera descontextualizadas e extremamente presas à produção da
linguagem em si.
Do ponto de vista interativo entre a hermenêutica e a dialética, existem
complementaridades e oposições (Stein, 1987). Ambas trazem em seu núcleo
a idéia fecunda dos condicionamentos históricos da linguagem, das relações
e das práticas. Partem do pressuposto de que não há observador imparcial,
questionam o tecnicismo em favor do processo intersubjetivo da compreensão
e da crítica. Hermenêutica e dialética também ultrapassam a tarefa de serem
simples ferramentas para o pensamento e estão referidas à práxis estruturada
pela tradição, pela linguagem, pelo poder e pelo trabalho. No entanto,
enquanto a hermenêutica enfatiza o significado do que é consensual da
mediação, do acordo e da unidade de sentido, a dialética se orienta para a
diferença, o contraste, o dissenso, a ruptura de sentido e, portanto, para a
crítica (Minayo, 2002; 2004).

Na avaliação do Programa Cuidar, o desenho da abordagem qualitativa


seguiu o caminho que articula hermenêutica e dialética, entendendo-o como o
mais profícuo para produzir uma avaliação ao mesmo tempo compreensiva e
crítica.

83
Sintetizando a apresentação das abordagens qualitativas, é importante ressaltar
que, embora haja diferentes métodos e desenhos, existem elementos comuns a
todas:
ƒ seu foco é a experiência humana e o reconhecimento de que as realidades
humanas são complexas;
ƒ o contato com as pessoas se realiza nos seus próprios contextos sociais;
ƒ a relação entre o investigador e os sujeitos da avaliação enfatiza relações
face a face e a empatia entre ambos;
ƒ os resultados buscam explicitar a racionalidade dos contextos e a lógica
interna dos diversos e variados grupos que estão sendo avaliados;
ƒ os relatórios tendem a apresentar uma realidade dinâmica e evidenciar o
ponto de vista dos vários atores frente a um projeto inconcluso e em
projeção para o futuro; suas conclusões não são universalizáveis, embora a
compreensão de contextos peculiares permita inferências mais abrangentes
e comparáveis.
Apesar de se adequarem aos contextos de investigação avaliativa de intervenções
sociais, a abordagem qualitativa oferece algumas restrições. A primeira delas é
não permitir análise de universos muito extensos, não se aplicando a grandes
aglomerados. Este tipo de abordagem também exige preparação teórica e técnica
dos investigadores para a coleta de dados e para a análise de linguagem e de
relações. Além disto, precisa contar com a presença do investigador no campo e
demanda mais tempo para a produção da análise do que as abordagens
quantitativas.

2.2.2- Técnicas usuais para avaliação qualitativa


As técnicas mais comumente usadas para a investigação avaliativa qualitativa são
as seguintes: entrevistas; Delphi; grupo focal; brainstorming; história de vida ou
história biográfica; estudo de caso e observação (March et al., 2003; Minayo,
2004). Antes de tudo é importante observar dois pontos sobre estas técnicas:
existe, entre os autores que trabalham na área qualitativa, uma imensa
controvérsia sobre o que é método e o que é técnica, não sendo fácil sair ileso

84
dessa discussão. Pode-se dizer que, em geral, quando elas servem a determinada
abordagem, são instrumentos técnicos para a construção das investigações.
Quando tomadas em si – como é o caso, por exemplo, de estudos sobre histórias
de vida, ou essencialmente sobre documentos –, elas passam a assumir o próprio
sentido da investigação, ocupando, portanto, não o lugar de técnica, mas de
objetivo central.
A segunda observação diz respeito ao conceito de triangulação, na maioria das
investigações avaliativas, várias técnicas qualitativas são utilizadas e combinadas,
visando a produzir um conhecimento mais aprofundado da realidade.
As entrevistas podem ser consideradas conversas com finalidade (Minayo, 2004)
e se classificam de acordo com sua organização. Podem ser classificadas em:
ƒ sondagem de opinião, no caso de ser elaborada mediante um questionário
totalmente estruturado, no qual a escolha do informante está condicionada
a dar respostas a perguntas formuladas pelo investigador;
ƒ entrevista semi-estruturada, que combina perguntas fechadas e abertas,
em que o entrevistado tem a possibilidade de discorrer sobre o tema em
questão sem se prender à indagação formulada;
ƒ entrevista aberta ou em profundidade, em que o informante é convidado a
falar livremente sobre um tema e as perguntas do investigador, quando são
feitas, buscam dar mais profundidade às reflexões;
ƒ entrevista focalizada, quando se destina a esclarecer apenas um
determinado problema:
ƒ entrevista projetiva, em que se usam dispositivos visuais, como filmes,
vídeos, pinturas, gravuras, fotos, poesias, contos, redações de outras
pessoas. Ela é um convite ao entrevistado para discorrer sobre o que vê ou
lê. É geralmente utilizada para se falar de assuntos difíceis de tratar
diretamente.
A técnica Delphi (Varela, 1991; Jones & Hunter, 1995) visa ao consenso e se
utiliza de um tipo de comunicação por escrito. Mediante o envio de uma série de
questionários pelo correio, o investigador busca conhecer a opinião de um grupo
de pessoas que possuem informações sobre determinado problema em relação a:

85
sua dimensão, a definição de objetivos e prioridades em sua solução, e inclusive
quanto à previsão do futuro. Em uma primeira fase, envia-se o questionário a um
conjunto de especialistas. A partir de suas repostas, elabora-se um outro
instrumento, outra vez endereçado a eles, para que se pronunciem sobre seu grau
de acordo com cada afirmação conseguida. E assim se procede sucessivamente,
até que se alcance consenso. É técnica importante para avaliação de decisões
que precisam ser informadas com conhecimentos especializados.
A técnica de grupo focal é largamente utilizada em avaliação, seja de forma
combinada com entrevistas, seja com exclusividade. Constitui-se em um tipo de
entrevista ou conversa em grupos pequenos, homogêneos, que atua de forma
planejada para se obter informações relativas a um tema específico. Deve se
desenvolver mediante um guia de perguntas que vão do geral ao específico, em
ambiente não-diretivo, sob a coordenação de um moderador capaz de conseguir a
participação e o ponto coletivo e individual. O valor principal desta técnica se
fundamenta na tendência humana de formar opinião e atitudes na interação com
outros indivíduos (Krueger, 1988). Esta técnica contrasta com questionários
fechados e entrevistas, em que cada um é chamado a emitir opiniões
individualmente.
A técnica de história de vida visa a conhecer as experiências e as definições
vividas por uma pessoa, um grupo, uma organização, na forma como esses
sujeitos interpretam sua experiência (Denzin, 1973; Minayo, 2004). Nas
singularidades de histórias biográficas, de experiências, de organizações, os
instrumentos mais usados são a história oral e a análise documental, havendo,
quase sempre, a combinação de ambos. Em seu livro clássico sobre a História da
Guerra Espanhola, Fraser (1979) comenta que a história oral (tópica ou completa),
verbalizada pelos participantes nos episódios, constitui uma tentativa de revelar o
ambiente intangível dos acontecimentos que fazem parte da experiência de
determinado grupo. Metodologicamente, os documentos pessoais ou institucionais
de época ajudam a contextualizar as experiências biográficas.
Brainstorming é uma técnica de grupo voltada para gerar novas e úteis idéias e
promover o pensamento criativo (March et al., 2003). Geralmente é útil para definir

86
um tema ou um projeto; para diagnosticar um problema; para dar um novo rumo a
um projeto buscando identificar obstáculos e soluções. Nos grupos de
brainstorming, há três papéis a serem desempenhados: o de líder, o de relator e o
de integrante. Para que dê o resultado que dela se poderia esperar é preciso estar
atento a algumas atitudes. A primeira é a de que todas as idéias são bem-vindas e
não se deve emitir julgamento sobre elas. É preciso também investir na
criatividade das contribuições. Por fim, deve-se dosar a discussão das idéias e
buscar o seu aprofundamento, ao tempo previsto para o trabalho de grupo. Pela
finalidade que pretendem alcançar, esses grupos não devem ter mais que cinco a
seis pessoas. A técnica, atualmente bastante empregada para várias finalidades e,
principalmente, em publicidade, tem etapas bem definidas para a consecução de
seu sucesso.
Estudo de caso é uma estratégia de investigação qualitativa para aprofundar o
como e o por que de alguma situação ou episódio, frente à qual o avaliador tem
pouco controle. Costumam ser classificados em explicativos, cognitivos e
expositivos e visam a aumentar o entendimento sobre fenômenos sociais
complexos. Em sua essência, o estudo de um caso, no âmbito da investigação
avaliativa, visa a apresentar ou a esclarecer por quê e como determinada decisão
ou conjunto de decisões foram tomadas. Objetiva, também, evidenciar ligações
causais entre intervenções e situações de vida real; bem como ressaltar o
contexto em que uma intervenção ocorreu. Além disto, visa a demonstrar o rumo
de uma intervenção em curso e como modificá-la.
As questões principais para o desenho de um estudo de caso são: definição do
foco de análise; o como e o porquê de determinado problema; formulação de
proposições especificamente orientadas para os vários aspectos em estudo;
determinação da unidade de análise; um grupo, uma organização, um setor;
esclarecimento da lógica entre as várias proposições; estabelecimento de critérios
para a interpretação dos dados (referencial teórico e categorias).
Os instrumentos geralmente usados nesse tipo de técnica são os documentos
escritos e o material primário recolhido em campo. Mas os formuladores dessa
abordagem aconselham usar múltiplas fontes de informação, construir uma base

87
de dados ao longo da investigação e ir formando uma cadeia de evidências
relevantes.
Estes cuidados são fundamentais porque as críticas mais freqüentes a esses
estudos se referem à sua falta de rigor, a existência de muitos vieses do
investigador e a pouca probabilidade de generalização dos resultados,
dependendo da forma como a investigação é conduzida.
A observação em investigação avaliativa quase sempre vem acompanhada de
algum adjetivo como participante ou participativa (Minayo, 2004). Como o próprio
nome indica, tem a finalidade de contrabalançar a investigação que valoriza a fala
com a que avalia a ação, as relações e os evasivos da vida cotidiana, na medida
do possível, participando mais ou menos do contexto da investigação.
No caso de grupos de avaliação, o processo de observação deve ser
cuidadosamente preparado. Para haver um mínimo de padronização de
procedimentos, é bom que seja precedido por um roteiro em que os pontos
principais a serem analisados são assinalados. Em qualquer hipótese, nunca se
deve formalizar demasiadamente o processo de observação, sob pena de que a
técnica ofereça pouco retorno. Por isso, propõe-se combinar os diversos
instrumentos de interação pela fala com as observações anotadas no que se
convencionou denominar diário de campo (Minayo, 2004).
Alguns autores, como March et al. (2003), lembram que, ante a explosão da
utilização da informática, é importante desenvolver técnicas que utilizem meios
eletrônicos, como grupos de discussão, entrevistas em profundidade por e-mail, e
outros.

2.2.3- Definição amostral

A amostra, segundo a abordagem qualitativa, no mínimo, demanda uma discussão


acerca de sua pertinência e de procedimentos. Em primeiro lugar, faz-se
necessário observar que o emprego da expressão amostra nessa abordagem
reflete uma lógica diferenciada da usada na perspectiva quantitativa. Sob o ponto
de vista qualitativo, os princípios de definição amostral se baseiam na busca de

88
“aprofundamento e de compreensão de um grupo social, de uma organização, de
uma instituição ou de uma representação” (Minayo, 2004: 102).
A partir desses princípios, o foco se volta para questões acerca de quais serão os
grupos a quem e o que observar, a quem e o que discutir. Operacionalmente,
Minayo (2004) sugere que sejam levados em conta alguns critérios para a
amostragem:
ƒ definição do grupo social a ser abordado;
ƒ possibilidade de inclusões progressivas de grupos ou instituições ou
segmentos, a partir das descobertas do campo, até se delinear o quadro
empírico a ser confrontado com a teoria;
ƒ previsão de triangulação no sentido de se multiplicar as tentativas de
abordagens através de diferentes fontes.

Em decorrência desses critérios a amostragem qualitativa assume, segundo a


autora citada, as seguintes características:
ƒ prioriza os sujeitos que possuem os atributos que se deseja conhecer;
ƒ considera que o tamanho da amostra é suficiente a partir da reincidência
das informações, mas não despreza informações singulares;
ƒ trabalha com a noção de que os informantes sejam suficientemente
diversificados a ponto de possibilitarem a apreensão de semelhanças e
diferenças;
ƒ busca que a escolha do campo e dos grupos a serem observados
contenham o conjunto das experiências que se pretende captar.

2.3.TRIANGULAÇÃO: A SUPERAÇÃO DIALÉTICA DO POSITIVISMO E DO COMPREENSIVISMO

Superação dialética é um conceito que, na sua essência, significa que os termos


de uma proposição não desaparecem quando se encontra uma forma superior de
evidenciá-los. Ao contrário, eles persistem em outra posição, ou seja, subsumidos
à nova formulação. É assim que aqui se entende a triangulação de métodos, tema

89
exaustivamente tratado no capítulo introdutório quando essa estratégia foi
conceituada. Nestas considerações finais, apresentam-se apenas alguns
princípios básicos dessa relação entre opostos complementares: tentativa de
aproximação entre abordagem positivista e compreensivista; entre métodos
quantitativos e qualitativos, entre desenhos diversos e entre várias técnicas,
lembrando sempre que a seleção da melhor metodologia deve ser feita sempre
pela sua adequação à realidade e não como uma escolha de preferência do
investigador. A conclusão mais relevante sobre o tema é que a síntese dos
resultados da triangulação se faz no terceiro termo, como lembra Kant (1980), ou
seja, no objeto de investigação.

Atenção, Carlota:
Aqui começa o modelito exemplo (tipo livro
didático)
AVALIAÇÃO DO PROGRAMA CUIDAR
Na avaliação do Programa Cuidar, todos os cuidados de contatos, negociações,
comunicação com os diferentes atores, colocação do projeto por escrito, delineamento
do orçamento e cronograma de atividades e de apresentação de resultados foram
observados, seguindo-se a lógica da triangulação.
Um tempo importante foi utilizado nesta fase de planejamento. Como acontece nas
situações reais, atrasos significativos ocorreram na implantação do Programa, trazendo
problemas à avaliação. A distância entre as escolas submetidas à avaliação, localizadas
em cidades de várias regiões do Brasil foi outro fator que limitou de alguma forma o
contato mais próximo com os avaliadores.
O método de triangulação adotado envolveu abordagem quantitativa: quase-
experimental dentro do modelo de grupos de controle não equivalentes e abordagem
qualitativa hermenêutica-dialética, em que foi valorizada a compreensão das relações e
das interpretações dos diferentes atores sobre o processo, visando compreender os
sentidos e as contradições das ações e os contextos onde se desenvolveram as
intervenções.
A pesquisa avaliativa deste Programa foi concebida no segundo semestre de 1999,
sendo efetivamente realizada entre março de 2000 e maio de 2003. O Programa foi
testado em três cidades de diferentes regiões do Brasil – Iguatu/CE, Juiz de Fora/MG e
Campinas/SP. Dele participaram, ao longo dos anos, todos os alunos das 7ª e 8ª séries
do ensino fundamental e da 1ª e 2ª séries do ensino médio e todos os professores de
escolas da rede pública (estadual e municipal) e da rede particular das escolas sob
avaliação. Definiu-se que em cada cidade seriam avaliadas seis escolas, três que
integrariam o programa e três para a modalidade de controle, constituindo um conjunto
de 18 escolas pesquisadas.

90
Para os estabelecimentos que adotariam o Programa definiram-se as seguintes
especificidades: (a) uma escola pública de primeiro grau; (b) uma escola pública de
segundo grau e (c) uma particular, que tivesse o ciclo completo do ensino fundamental e
médio. As três escolas-controle foram escolhidas a partir dos mesmos pré-requisitos das
anteriores, além do fato de possuírem as seguintes características semelhantes às
incluídas no Programa: número aproximado de alunos, padrão sócio-econômico do
corpo discente, localização urbana ou rural e número aproximado de professores. Foram
excluídos do estudo todos os alunos dos cursos noturnos, pelo fato de apenas algumas
escolas ministrarem aulas à noite e também por causa do seu perfil diferenciado.
A opção de avaliar apenas seis escolas em cada uma das três cidades foi feita por
vários motivos: (1) problemas de ordem operacional tornaram impossível a obtenção da
listagem prévia de todas as escolas dos municípios avaliados; (2) o prazo exíguo entre a
seleção das escolas e início da implementação do Programa e a importância de realizar
o diagnóstico antes de qualquer ação do Programa; (3) atraso significativo da
implementação do Programa nos municípios. Além desses fatores, a limitação
orçamentária foi determinante para essa decisão. Por isso se tomou uma amostra de
conveniência, não sendo possível generalizar os resultados obtidos para todas as
escolas que receberam a intervenção em cada município.
Embora não se tenha trabalhado com a técnica de seleção aleatória das escolas,
observou-se grande semelhança tanto no perfil da escola como dos participantes na
maioria dos temas abordados na avaliação. Mesmo nos itens em que se detectaram
diferenças, elas foram tão esparsas que não permitiram identificar qualquer tendência de
um perfil diferenciado entre as escolas experimentais e seus controles.
A primeira fase (base-line t0) foi efetuada no ano de 2000. Nela se buscou realizar um
diagnóstico do universo de valores dos 1.744 alunos e dos 308 professores do ensino
fundamental e médio das séries selecionadas. Outros 297 jovens e 70 professores
participaram de 36 grupos focais. Não se evidenciou tendência diferenciada do universo
de valores entre as escolas experimentais e seus controles, partiu-se, portanto, de um
base-line, com maior confiança de que os grupos avaliados fossem semelhantes
(CLAVES, 2000).
A segunda fase (2001) caracterizou-se por uma avaliação da implantação do Programa
nas nove escolas selecionadas para acompanhamento (CLAVES, 2001). Foram ouvidas
opiniões dos 217 docentes sobre o encontro geral de capacitação do Programa
(segundo semestre de 2000); as impressões dos 158 educadores responsáveis pela
aplicação do Cuidar nas escolas sob avaliação, obtidas através de questionários; além
das vozes de 297 jovens e 70 professores que participaram de 19 grupos focais.
A terceira fase constituiu-se como a primeira avaliação, propriamente dita, dos
resultados do Programa (2001). Investigaram-se as transformações das informações,
atitudes e comportamentos dos jovens e professores, em relação ao seu universo de
valores nas escolas sob intervenção pedagógica e nas que serviram como grupo de
comparação (CLAVES, 2002). Mas também se continuou a verificar a dinâmica e as
dificuldades encontradas no processo de implantação do Programa. Participaram desta
fase 1110 jovens e 391 educadores, dos quais apenas cerca de 70% dos alunos e 30%
dos educadores eram os mesmos que participaram da primeira fase da avaliação. Foram
também ouvidos em grupos focais 204 alunos e 65 docentes, além de efetuadas 4
entrevistas com consultores e 4 com autoridades das redes de ensino. As elevadas
perdas demonstram a alta rotatividade existente na escola. Visando lidar com tamanha
perda, foram incluídas, nessa etapa, alunos da 6ª série das escolas sob avaliação. A
observação do perfil destes novos estudantes mostrou-se similar ao dos adolescentes
mais velhos ao longo dos anos e principalmente, nas questões diretamente relacionadas
ao Programa.
A quarta e última fase da avaliação (2002) constituiu a segunda avaliação dos resultados
ao final de pouco menos de dois anos de desenvolvimento das ações do Programa

91
(Claves, 2003). Participaram 1454 jovens e 279 educadores. Também deram
verbalmente suas opiniões outros duzentos jovens, 59 docentes, 58 pais, além de
representantes da equipe que desenvolveu o programa e da rede de ensino. Apenas
20% dos educadores e 5% dos alunos se mantiveram nas mesmas escolas em que
estavam há dois anos atrás.
Esta elevada perda no seguimento de alunos e educadores configurou-se um problema
importante para a avaliação, que pouco pode fazer frente à letargia inicial das
instituições que tiveram dificuldades em organizar suas estatísticas e conciliar esforços
para que o programa acontecesse. Avaliadores precisam a todo tempo refazer o
planejamento da pesquisa, que se vê dinamicamente comprometido por uma sorte
imensa de problemas ocorridos no mundo real.

2.4.Conclusões

Os diferentes métodos, técnicas e estratégias são vistos aqui como “grades” por
meio das quais se pode observar e compreender a realidade. Devem ser
triangulados com precisão científica, ou seja, levando-se em conta as
especificidades e a adequação de cada um ao processo de avaliação, de forma
distinta e ao mesmo tempo, combinada. Denzin (1973) lembra que cada método (e
as respectivas técnicas com que atua) tem força e fraquezas peculiares. Lembra
também que, nas investigações trianguladas, os métodos devem ser usados com
rigor, reduzindo-se, o mais possível, as ameaças internas e externas à validade de
cada um; e que os métodos devem ser selecionados de acordo com sua
relevância teórica.
Métodos e técnicas compõem o discurso das teorias, mas nunca devem ser
absolutizados. Aos métodos, Habermas (1987) chamou “caminhos do
pensamento”, exatamente para lembrar sua intrínseca relação entre teoria e
estratégias de investigação. A tentação de reduzir o processo científico aos
procedimentos metodológicos (tão comum na história das ciências sociais em seu
sentido amplo, a partir dos anos 50 do século XX até hoje), tem sido criticada por
autores importantes como Adorno e Horkheimer (1979) e Wright Mills (1972).
Esses autores usam os termos “mito do método” ou “fetichismo do método”, para
se referirem à supervalorização das tecnologias de investigação em si mesmas.

92
Lembram o lugar central da relevância social e ética do objeto, das perguntas de
investigação e da reflexão contextualizada, sem estabelecer uma contradição com
o rigor do método.

Algumas considerações finais resumem o sentido da discussão elaborada neste


capítulo:

ƒ Toda avaliação investigativa supõe um processo de reconstrução da


realidade a ser pesquisada. Em conseqüência, o tipo de aproximação
que se projete em teoria por meio de métodos e técnicas condicionará a
modalidade de reconstrução que será produzida. Quem propõe uma
abordagem por triangulação de métodos quantitativos e qualitativos
reconhece que na realidade a ser avaliada há processos que podem ser
explicados em sua magnitude e compreendidos em sua intensidade.
ƒ As aproximações quantitativas e qualitativas não devem ser
consideradas antagônicas e sim linguagens complementares, embora
de natureza diferente (Minayo & Sanchez, 1993).
ƒ A diferença de paradigmas entre as abordagens quantitativa e
qualitativa não justifica a incomunicabilidade científica, uma vez que a
coexistência de críticas mútuas é enriquecedora para ambos (Paley,
2000; Deslandes & Assis, 2002)
ƒ Mais do que os instrumentos em si, o uso profissional e institucional das
duas abordagens é que, freqüentemente, as tornam antagônicas. A
pecha de rigidez quantitativista ou de impressionismo qualitativo ocorre,
na maioria dos casos, por causa de desenhos de investigação mal
elaborados e superficialmente realizados, não se fundando em razões
epistemológicas.
ƒ A postura de propor a triangulação como estratégia de pesquisa
constitui hoje, para boa parte dos investigadores e avaliadores sociais, o
reconhecimento dos limites de modelos fechados (Denzin, 1973; Jick,
1979; Samaja, 1992; Minayo et al., 1999; Minayo & Cruz Neto, 1999).

93
ƒ As técnicas de obtenção de informação, tanto estatísticas quanto
qualitativas não são instrumentos válidos em si mesmos. Devem estar
articuladas aos propósitos da pesquisa, exigindo formação específica e
treinamento dos investigadores para seu uso e combinação.
ƒ A seleção das abordagens estatísticas ou qualitativas depende, em
parte, do nível de análise que os avaliadores pretendem realizar em
relação ao problema em questão.
ƒ Embora devam ser articuladas, combinadas e usadas de forma
complementar, cada uma das abordagens assim como as várias
técnicas devem ser projetadas para propósitos específicos. Umas são
mais úteis para dimensionar, outras para avaliar interações, outras para
compreender crença, valores e representações. O uso privilegiado de
uma abordagem ou de uma técnica, tendo a outra como complementar,
depende do que se quer com a investigação avaliativa.
ƒ Não se pode desprezar o fato de que a formação dos pesquisadores e
suas relações com campos disciplinares e treinamento de habilidades, o
tipo de instituição em que o trabalho avaliativo se desenvolve, a
orientação e os limites impostos pelos financiadores, influenciam, e
muito, decisões sobre que tipo de orientação metodológica será dada
aos trabalhos de avaliação.

Referências Bibliográficas

ADORNO,T.W. & HORKHEIMER, M. Sociológica. Madrid: Ediciones Taurus,


1979.

BARBIER, R. A pesquisa-ação na instituição educativa. Rio de Janeiro: Jorge


Zahar Editor, 1985.

BLUMER, H. Symbolic Interactionism. New York: Prentice Hall, 1969.

BRANDÃO, C. R. Repensando a pesquisa qualitativa. São Paulo: Brasiliense,


1985.

94
CAMPBELL, D. T. & STANLEY, J. C. Experimental and quasi-experimental
designs for research. Chicago: Rand-McNally Editors, 1966.

CANO, I. Introdução à Avaliação de Programas Sociais. Rio de Janeiro: FGV,


2002.

CASAL, A.Y. Para uma Epistemologia do Discurso e da Prática Antropológica.


Lisboa: Edições Cosmos, 1996.

CHURCHILL, G. Marketing Research: methodological foundations. Nova York: The


Dryden Press. 1998.

COCHRAN, W. G. Técnicas de Amostragem. Rio de Janeiro: Fundo de Cultura,


1965.

COULON, A. Etnometodologia. Petrópolis: Vozes, 1995.

DEMO, P. Avaliação Qualitativa. São Paulo: Cortez, 1998.

DENZIN, N.K. The Research Act. Chicago: Aldine Publishing Company, 1973.

DESLANDES, S. F. & ASSIS, S. G. Abordagens quantitativa e qualitativa em


saúde: o diálogo da diferença, In: MINAYO, M. C. S & DESLANDES, S. F.
(orgs.). Caminhos do Pensamento: epistemologia e método. Rio de Janeiro:
Fiocruz, 2002.

DESLANDES, S.F. & GOMES, R. A pesquisa qualitativa nos serviços de saúde:


notas teóricas. In: BOSI, M. L. M. & MERCADO, F. J. (orgs.). Pesquisa
Qualitativa de Serviços de Saúde. Petrópolis: Vozes, 2004.

FIOCRUZ/ENSP/CLAVES. Avaliação do processo de implantação e dos


resultados do “Programa Cuidar” – 1ª fase. Rio de Janeiro: CLAVES, 2000.
Relatório de pesquisa.

95
FIOCRUZ/ENSP/CLAVES. Avaliação do processo de implantação e dos
resultados do “Programa Cuidar” – 2ª fase. Rio de Janeiro: CLAVES, 2001.
Relatório de pesquisa.

FIOCRUZ/ENSP/CLAVES. Avaliação do processo de implantação e dos


resultados do “Programa Cuidar” – 3ª fase. Rio de Janeiro: CLAVES, 2002.
Relatório de pesquisa.

FIOCRUZ/ENSP/CLAVES. Avaliação do processo de implantação e dos


resultados do “Programa Cuidar” – 4ª fase. Rio de Janeiro: CLAVES, 2003.
Relatório de pesquisa.

FRASER, R. Recuérdalo Tú y Recuérdalo a Otros. Barcelona: Editorial Crítica,


1979.

FREIRE, P. Pedagogia da Autonomia: saberes necessários à pratica educativa.


Rio de Janeiro: Paz e Terra, 2003.

GADAMER, H. Verdade e Método. Petrópolis: Vozes, 1999.

GAJARDO, M. Pesquisa Participante na América Latina. São Paulo: Brasiliense,


1984.

GARFINKEL, H. Studies in Ethnomethodology. Nova York: Prentice-Hall, 1967.

GEERTZ, C. The Interpretation of Cultures: selected essays. Nova York: Basic


Books, 1973.

GREENWOOD, E. Idéias correntes sobre a natureza do método experimental.


In: BRAGA, C.M.L. (org.). A Investigação em Sociologia: um guia para estudo
Salvador: UFBA, 1972. p. 97-108

HABERMAS, J. Dialética e Hermenêutica: para a crítica da hermenêutica de


Gadamer. Porto Alegre: LPM Editora, 1987.

96
HUGHES, J. A Filosofia da Pesquisa Social. Rio de Janeiro: Zahar Editores,
1985.

JICK, T.D. Mixing quantitative and qualitative methods: triangulation and action:
Administrative Science Quarterly, 24: 602-611, 1979.

JONES, J. & HUNTER, D. Consensus methods for medical and health services
research. British Medical Journal, 331: 153-168, 1995.

KANT, I. Crítica à Razão Pura. Rio de Janeiro: Abril, 1980. Coleção os


Pensadores.

KINNEAR, T. C. & TAYLOR, James R. Marketing research: an applied aproach.


San Francisco: Mc Graw Hill. 1979.

KRUEGER, R.A. Focus groups: a practical guide for applied research. Newbury
Park: Sage Publications, 1988.

MAFFESOLI, M. O conhecimento comum. São Paulo: Brasiliense, 1988.

MARCH, J.C.; PRIETO, M. A.; HERNAN, M.; SOLAS, O. In: MERCADO, FJ.;
GASTALDO, D. & CALDERÓN, C. (orgs.). Paradigmas y diseños de la
investigación cualitativa en salud. Guadalajara: Editora de la Universidad de
Guadalajara, 2003. p.461-479

MATTAR, F. Pesquisa de marketing. São Paulo: Atlas, 1996.

MILLS, W.C. A imaginação sociológica. Rio de Janeiro: Zahar, 1972.

MINAYO, M.C.S. & SANCHES, O. Quantitativo-Qualitativo: oposição ou


complementaridade? Cadernos de Saúde Pública, 9 (supl.1): 239-262, 1993.

MINAYO, M.C.S; CRUZ NETO, O. Triangulación de métodos en da evaluación


de programas y servicios de salud. In: BRONFMAN, M; CASTRO, R. (Coords.).

97
Salud, Cambio Social y Política: perspectivas desde América Latina. México:
Edamex, 1999. p. 65-80.

MINAYO, M. C. S.; SOUZA, E.; ASSIS, S. G.; CRUZ NETO, O. ; DESLANDES,


S. F.; SILVA, C. M. P. F. Avaliação dos Centros de Orientação e Apoio
Sorológico/CTA/COAS da Região Nordeste. Cadernos de Saúde Pública, 15(2):
355-367, 1999.

MINAYO, M. C. S. Hermenêutica-dialética como caminho do pensamento. In:


MINAYO, M.C.S & DESLANDES, S.F. (orgs.). Caminhos do Pensamento:
epistemologia e método. Rio de Janeiro: Fiocruz, 2002. p. 83-108

MINAYO, M. C. S. O Desafio do Conhecimento: pesquisa qualitativa em saúde.


São Paulo: Hucitec, 2004.

MULLEN, P. D. & IVERSON, D. Qualitative methods for evaluative research in


health education programs. Health Education, 13(3): 11-18, 1982.

OLIVEIRA, T.M.V. Amostragem Não-Probabilística: adequação de situações para


uso e limitações de amostras por conveniência, julgamento e quotas.
Administração on-line, 2 (3), 2001. Disponível em: http://www.fecap.br/adm_online.
Acesso em 08/07/2004.

PALEY, J. Paradigms and presuppositions: the difference between qualitative and


quantitative research. Scholarly Inquiry for Nursing Practice: international journal,
14: 143-155, 2000.

PASCAL, B. Pensamentos. Rio de Janeiro: Tecnoprint, 1966.

PEREIRA, M. G. Epidemiologia: teoria e prática. Rio de Janeiro: Guanabara


Koogan, 2000.

POSAVAC, E. J. & CAREY, R. G. Program evaluation: methods and case studies.


Nova Jersey: Pearson Education, 2003.

98
ROSSI, P. & WRIGHT, J. Evaluation research: an assessment. Annual Review of
Sociology, 10: 331-352, 1984.

SAMAJA, J. La combinación de métodos: pasos para una comprensión dialéctica


del trabajo interdisciplinario. Educación Medico-Social, 26 (1): 4-34, 1992.

SCHUTZ, A. A Comonsense and Scientific Interpretations of Human Actions.


Haia: Martiness Niphoff, 1982. Colleted Papers, v. 1.

SILVA, I. S. Como Planejar uma Investigação Clínica: avaliação da etiologia de


uma doença de intervenções preventivas e terapêuticas. Disponível em:
http://pages.madinfo/anaesthesia/congress/rev15_6.html. Acesso em 15/05/2004.

STEIN, E. Dialética e hermenêutica: uma controvérsia sobre método e filosofia,


In: HABERMAS, J. Dialética e Hermenêutica: para a crítica da hermenêutica de
Gadamer. Porto Alegre: LPM editora, 1987.

THIOLLENT, M. Metodologia da pesquisa-ação. São Paulo: Cortez, 1987.

VARELA, J. Los métodos de consenso en el sector sanitario. Gaceta Sanitaria,


5: 114-116, 1991.

WAISELFISZ, J. Avaliação Participativa. São Paulo: FDE, 1998. Série Idéias,


n.8.

WEBER, M. Basic Concepts in Sociology. Nova York: The Citadel Press, 1964.

99
Capítulo 3

Definição de objetivos e construção de indicadores visando à


triangulação

Simone Gonçalves de Assis


Suely Ferreira Deslandes
Maria Cecília de Souza Minayo
Nilton César dos Santos

A formulação do objetivo que vai guiar todo o processo de avaliação é um


elemento fundamental para a qualidade e efetividade da avaliação. Ter clareza
dos objetivos e metas do programa é um passo importante para mensurar o
grau de mudanças ocorridas e o quanto elas correspondem efetivamente aos
objetivos do programa.

Embora esta afirmação pareça óbvia, em muitos casos, a imprecisa definição


dos objetivos torna-se uma fonte de problemas para os avaliadores. É preciso
distinguir o objetivo do programa sob avaliação do objetivo da avaliação. É
difícil separá-los ou distingui-los, quando coincidem, especialmente quando os
responsáveis pela formulação e pela implantação da proposta têm dissensões
internas, demandando dos avaliadores um exaustivo exercício de diálogo e
negociação. Ter clareza do objetivo da avaliação direciona o desenho da
investigação possibilita a definição de objetivos específicos e a construção de
indicadores e dos instrumentos de coleta de dados, elevando a possibilidade de
êxito do processo de análise.

Transformar os objetivos em itens capazes de mensurar as mudanças devidas


a uma intervenção social é um passo fundamental e imprescindível em
investigação avaliativa. Para tanto, constroem-se indicadores e, no caso da
estratégia de triangulação, busca-se que sejam capazes de dimensionar e

102
compreender relações, movimentos, percepções, interpretações e eficiência,
eficácia, efetividade e resultados das ações.

Essa dupla possibilidade de medir processos e produtos e, ao mesmo tempo,


compreender e interpretar como os atores se envolvem em sua realização é
exigida na análise de programas sociais. Se eles devem mostrar resultados
mensuráveis, também, se quer saber se estão contribuindo para a
democratização, para a inclusão social e para a incorporação de determinados
valores. E ainda, se deseja conhecer o que cada conceito usado no processo
significa para cada um dos atores participantes.

Mais do que isto, em avaliação de programas sociais deve-se estabelecer a


relevância de aspectos econômicos, políticos e culturais que, ao mesmo tempo,
incidem e devem ser objeto de ação e intervenção. Portanto, construção de
indicadores não é apenas uma atividade técnica e positivista: é um processo
que precisa ser construído cada vez mais de forma comunicativa e dialógica
entre as diversas visões e interesses dos vários atores envolvidos nas ações
que se avaliam e dos próprios avaliadores (Furtado, 2001; Valarelli, 2004).

Os indicadores podem ser construídos para medir ou revelar aspectos


relacionados aos diversos planos em observação: nos níveis individuais,
coletivos, associativos, políticos, econômicos e culturais. Podem, por exemplo,
ser instrumentos para mensurar a disponibilização de bens e atividades, assim
como acesso de diferentes atores a intervenções e programas, a relevância das
ações executadas para a vida de cada um e a intensidade e o sentido das
mudanças obtidas.

No contexto da avaliação, os indicadores são parâmetros quantificados ou


qualitativamente elaborados que servem para detalhar se os objetivos de uma
proposta estão sendo adequadamente conduzidos (avaliação de processo) ou
foram alcançados (de resultados). São uma espécie de sinalizadores que
buscam expressar sinteticamente um aspecto da realidade (variável). Contudo,
nunca dão conta da totalidade do real. Por isto, mesmo quando são muito

103
potentes, eles assinalam determinadas tendências, mas não trazem certeza
absoluta quanto aos resultados de uma ação ou de um processo. No entanto,
seu grande valor é possibilitar a construção de meios de verificação dos rumos
das mudanças que se quer produzir.

Quando vistos do ponto de vista quantitativo e qualitativo os indicadores se


referem aos aspectos tangíveis e intangíveis da realidade. Tangíveis são os
elementos facilmente observáveis como renda, escolaridade, forma de
organização e gestão, legislação, mecanismos de divulgação. Intangíveis são
os elementos que só podem ser captados indiretamente por meio de suas
formas de manifestação, como é o caso de consciência social, auto-estima,
valores, atitudes, liderança, protagonismo, cidadania. “Como essas são
dimensões complexas da realidade, processos não-lineares ou progressivos,
demandam um conjunto de indicadores que apreendam algumas de suas
manifestações indiretas, cercando a complexidade do que pretendemos
observar” (Valareli, 2004: 4).

A escolha de indicadores para avaliação deve estar em função dos aspectos


que se quer analisar, como eficiência, eficácia, efetividade ou impacto.
Eficiência diz respeito à boa utilização de recursos financeiros, materiais e
humanos em relação às atividades e resultados alcançados. Eficácia se refere à
relação entre as ações realizadas e os resultados obtidos. Efetividade é a
observação da incorporação das mudanças geradas por determinado programa
na realidade da população-alvo. Impacto corresponde ao grau de influência e
de irradiação de um projeto realizado (Agguilar & Ander-Egg, 1994).

Uma pergunta fundamental na investigação avaliativa é saber a combinação


mais adequada entre indicadores quantitativos e qualitativos, tangíveis e
intangíveis, diretos e indiretos. Valarelli (2004) recomenda, no caso de
avaliação de projetos sociais, que se trabalhe sempre com um sistema de
indicadores, levando-se em conta:

104
• Concepções, interesses e enfoques das organizações e atores
envolvidos – um bom sistema de indicadores para avaliação deve
sempre surgir do processo de diálogo e de negociação entre todos os
atores. Por exemplo, as organizações responsáveis pela
implementação podem querer enfatizar a participação de determinado
grupo social; outro grupo gostaria de saber sobre a qualidade da
formação oferecida; o financiador pretende ter conhecimento sobre a
eficácia e a efetividade da proposta, e assim por diante. Como já se
viu no capítulo anterior, na fase de elaboração do projeto é preciso
explicitar francamente as diferentes visões e expectativas dos
diferentes atores envolvidos.
• O contexto – Cada investigação avaliativa deverá construir seu
sistema de indicadores específicos. Pois, mesmo quando um
conjunto de variáveis pode ser usado para vários projetos, os
indicadores devem sinalizar condições especificas da realidade em
avaliação. Por exemplo, a quantidade e a qualidade de informações
pré-existentes pode determinar a necessidade de produzir novas
informações. Por isso, a maioria dos projetos se inicia com uma
análise diagnóstica como ponto de partida para a construção de
indicadores.
• O modo de gestão – A forma de organização de uma proposta
avaliativa, a partir de um projeto claro em que objetivos e metas,
conceitos básicos, conexão entre os diferentes investigadores e
outros atores, desenhos metodológicos em seu sentido mais amplo
estejam sendo compartilhados, é possível e fundamental. Neste
espaço, os indicadores são os bons sintetizadores, sinalizadores de
caminho. Mas de nada valeria ter bons indicadores, se as diferentes
atividades não tiverem um plano de execução claro. É comum se
acumularem dados sem que ninguém se proponha a analisá-los ou
encontrar o seu sentido para a tomada de decisões.

105
• Os recursos – O tempo, a duração do projeto de avaliação e os
recursos disponíveis também interferem na possibilidade de utilização
de determinados indicadores. Por exemplo, um indicador de impacto
só pode mostrar seu sentido em investigações de longo prazo.

3.1. CONSTRUÇÃO DE INDICADORES QUANTITATIVOS

Conforme já exposto, indicadores são medidas que visam a avaliar a existência


e a intensidade das mudanças em relação ao objetivo almejado. O referencial
quantitativo está por trás da maioria das definições, a exemplo da que
considera o indicador como “uma válida e direta medida estatística que
monitora os níveis e as mudanças ocorridas no tempo” de determinado objeto
de análise (Vera Institute of Justice, 2003). Em geral, eles são substitutos de
conceitos mais abstratos e pouco mensuráveis ou operacionais (Carly, 1985).

Em avaliação, podem-se criar esses dispositivos teóricos para aferir a estrutura


organizacional, as necessidades do serviço, o processo de implantação, o
impacto e a relação de custo-benefício. Utilizando-os, é possível comparar
diferentes indivíduos, populações ou programas. Além disto, estes dispositivos
têm potencial de predizer fatos com maior probabilidade de ocorrer no futuro
(Pereira, 1995).

Vários cuidados precisam ser tomados (Posavac & Carey, 2003; Carley, 1981)
na etapa de formulação de critérios e de indicadores para a avaliação, pois
alguns equívocos podem prejudicar todo o desenvolvimento posterior da
avaliação:

• Os indicadores precisam refletir com muita clareza os objetivos do


programa – Um tradicional estudo de avaliação de um programa norte-
americano com foco na atenção a crianças e famílias em situação de
pobreza – Head Start – incorreu em um problema em sua primeira

106
avaliação: definiu como principal critério de sucesso das intervenções, o
incremento de habilidades intelectuais das crianças. Vários autores
questionaram a escolha desse indicador por não refletir claramente as
metas do programa, ressaltando o envolvimento dos pais na educação
dos filhos como o mais importante objetivo do Programa (Posavac &
Carey, 2003). Esse exemplo ilustra como critérios de sucesso podem ser
válidos sem, entretanto, mensurar exatamente o que se quer alcançar
com o programa.
• A construção dos indicadores precisa estar corretamente relacionada às
fases de desenvolvimento de uma proposta – Uma boa avaliação
necessita estabelecer a priori a temporalidade das ações e concatená-las
com medidas de curto, médio e longo alcance. É preciso também estar
atento e sensível a mudanças não previstas, mas que ocorrem com as
pessoas e instituições e que se podem considerar efeitos indiretos.
• A importância de debater e entrar em acordo sobre os indicadores, em
conjunto com os participantes da avaliação – A definição de indicadores
pela equipe de avaliadores pode suscitar tensão e resistência na
instituição em que se dará a avaliação, se as pessoas que promovem e
recebem o programa não concordam com os critérios adotados. Por
exemplo, avaliação de instituições escolares que afiram a efetividade do
ensino tomando como indicador apenas a nota dos alunos deixa de lado
várias outras importantes e cruciais questões implicadas no sucesso de
um programa, tais como as condições estruturais, relacionais e
pedagógicas envolvidas no processo de aprendizagem. É um desafio
para os avaliadores identificar medidas que reflitam os variados esforços
efetuados pela equipe que implementa os processos de intervenção.
Condensar a complexidade do tema em medidas simplificadas é uma
difícil tarefa que se apresenta aos avaliadores.
• A definição das fontes de dados que servirão de base aos indicadores –
Tem prós e contras que precisam ser avaliados. Embora seja mais fácil
contar com dados já coletados pelas instituições, freqüentemente estes

107
não possuem qualidade ideal ou não permitem obter o nível de
detalhamento desejado em uma avaliação. Utilizar informações
institucionais pode não ser desejável quando elas são tratadas
erroneamente e sem rigor, devendo, portanto, ser objeto de cautela por
parte dos avaliadores.
• O conhecimento sobre a instituição ou a região onde a avaliação será
feita é fundamental. Entendendo que toda avaliação precisa ser
contextualizada, os investigadores devem pesquisar dados que os
ajudem a entender melhor a história e a complexidade das relações
humanas e grupais em jogo numa intervenção social. A análise destes
dados – geralmente muito pouco sistematizados pelos que estão
envolvidos na prática – pode ser um dos produtos que os avaliadores
oferecem à instituição ou aos serviços, na medida em que realizam sua
sistematização em formato de relatórios e apresentações.
• A preocupação com a confiabilidade dos indicadores – Faz parte de
qualquer investigação, tendo espaço diferenciado em avaliação. Pode-se
considerar a confiabilidade como a capacidade do instrumento aferir
resultados similares se: aplicado por diferentes pesquisadores; aos
mesmos entrevistados em momentos distintos; ou entre diferentes tipos
de atores (por exemplo, comparando a opinião do pai e da mãe sobre
determinado filho).

Para alcançar confiabilidade, procura-se manter condições e formas de


aplicação similares. Um instrumento de pesquisa pode ter condições de
replicação e não se constituir num instrumento suficientemente válido:
dois médicos podem concordar com determinado diagnóstico e ambos
estarem errados (Pereira, 1999; Almeida Filho & Rouquayrol, 1990). A
confiabilidade de um instrumento também está sujeita a variações
individuais, que se elevam especialmente quando se aferem temas de
maior subjetividade, a exemplo da satisfação do usuário quanto ao
atendimento oferecido no serviço.

108
As estatísticas mais empregadas para aferir confiabilidade são kappa
simples e ponderado (para variáveis ordinais, cujo cálculo leva em
consideração a discordância parcial, ao atribuir pesos diferentes aos
graus distintos de discordância) e o α de Cronbach, que avalia a
consistência interna da escala e se refere à variabilidade dos itens de um
teste, ou seja, se um item mede determinado aspecto do construto
(Streiner & Norman, 1995).

Posavac e Carey (2003) ressaltam que o estudo da confiabilidade é


menos relevante em avaliações do que em pesquisas em geral. Em
avaliação, o enfoque principal das medidas é possuir sensibilidade para
detectar mudanças e a idéia de repetibilidade tomaria posição
secundária. Para estes autores, medidas de confiabilidade como o kappa
ou o α de Cronbach em torno de 0,40 (variam geralmente de nenhuma
concordância-0, a concordância perfeita-1) podem ter precisão suficiente
para as propostas de um programa de avaliação que se preocupa com
grupos e não com pessoas individualmente.

Contudo, uma avaliação não pode prescindir de avaliar a confiabilidade


das escalas e dos indicadores que utiliza para avaliar mudanças. Embora
o tempo proposto para uma avaliação seja geralmente curto –
‘atropelando’ planejamento, coleta e apresentação dos resultados é
sempre recomendável que os avaliadores dediquem um tempo inicial a
conhecer e avaliar melhor os indicadores e as escalas que pretendem
utilizar; planejar a inserção de medidas de confiabilidade e analisar
adequadamente os resultados, com esta finalidade.

• A relevância fundamental de aferir a validade – Os instrumentos e os


indicadores utilizados na avaliação precisam efetivamente medir os
comportamentos que o programa pretende modificar. Existem algumas
formas de aferir a validade de uma investigação. A mais utilizada em
avaliação é a denominada validade de conteúdo, em que os

109
investigadores efetuam revisões teóricas e discussões internas com
especialistas, sobre a capacidade dos indicadores escolhidos
sintetizarem adequadamente os objetivos do projeto. Outra forma de
validade possível de ser aferida em avaliações é a de construto, quando
se verifica, nos dados oriundos da avaliação, a associação entre
indicadores relacionados teoricamente entre si. Na verdade, busca-se
validar a teoria que está por trás do indicador (Pereira, 1995; Almeida
Filho & Rouquayrol, 1990; Reichenheim & Moraes, 2003). Ainda existe a
validade concorrente, menos utilizada em avaliações de programa
sociais, que compara um novo instrumento com outros já aceitos e
testados.
• Transparência e definição dos indicadores segundo os níveis de
mensuração – A nomenclatura utilizada varia na literatura, com tipologias
que distinguem entre indicadores de variados níveis (macro, micro ou
intermediários) e complexidade (simples e compostos). Há também os
que propõem que seja criada uma “cesta de indicadores” e não um único
indicador para aferir determinado objetivo (Tanaka & Melo, 2003; Carley,
1985; Pereira, 1995; Vera Institute of Justice, 2003; Valarelli, 2004).
Nesta cesta, diferentes aspectos do objetivo estariam incorporados,
como se pode verificar no quadro a seguir.

EXEMPLO DE DEFINIÇÃO DE INDICADOR A PARTIR DO OBJETIVO


“ACESSO IGUALITÁRIO À JUSTIÇA”

Indicador 1: percentagem de cidadãos que dizem ter acesso ao


sistema de justiça para resolver problemas (desagregado por
gênero, etnia, região e nível de urbanização);
Indicador 2: percentagem de pessoas acusadas de crime
legalmente representadas no sistema de justiça (desagregado
da mesma forma);
Indicador 3: percentagem de cidadãos que afirmam que a polícia
não aceita suborno quando solicitada para resolver problemas
(desagregado da mesma forma);
Indicador 4: razão entre prosseguimento processual em tribunais
que atendem a regiões de elevado padrão aquisitivo e
comunidades marginalizadas (desagregado da mesma forma).

Fonte: Vera Institute of Justice, 2003

110
A importância de se trabalhar com vários indicadores complementares
para se aferir uma mesma meta vem do fato de que é preciso observar
diferentes aspectos de objetivos complexos buscando-se construir uma
visão crítica dos resultados. O sucesso da avaliação está no equilíbrio do
número e da significância dos indicadores: nem excessivos que
inviabilizem a análise dos dados e nem insuficientes que impeçam o
avaliador de tirar conclusões sobre o efeito das ações que investiga.

• A desagregação do indicador referente à população em grupos


específicos – Possibilita comparações relevantes. Por exemplo,
compreender como o indicador se distribui segundo gênero, renda,
setores ou regiões pode aprimorar e complexificar os resultados da
avaliação. Esta desagregação deve ser projetada desde a fase de
planejamento e elaboração dos instrumentos, inserindo-se variáveis
adequadas.
• A definição da composição do indicador – outro passo essencial. Um
indicador é uma medida síntese comumente expressa por meio de
proporções, coeficientes e taxas, originado a partir de duas ou mais
variáveis. Um clássico exemplo da área da saúde é a taxa de
mortalidade infantil, que reflete o número de óbitos entre menores de um
ano em determinado período dividido pelo número de nascidos-vivos no
mesmo período. Na área de educação, a taxa de repetência é um
indicador da qualidade do ensino, por exemplo.

Pode-se também criar um indicador a partir de um ranking de respostas. Dá-se


como exemplo a escala de Rosenberg que afere auto-estima (Rosenberg, 1989;
Assis & Avanci, 2004). A escala contém dez itens designados a avaliar
globalmente a atitude positiva ou negativa de uma pessoa consigo mesma,
tendo quatro opções de resposta (concordo totalmente, concordo, discordo,
discordo totalmente), com valores específicos. Somando-se as respostas dadas
aos dez itens, tem-se que uma elevada auto-estima é indicada por um escore
alto.

111
A proposta de indicadores dicotômicos é sinalizada pelo Vera Institute of Justice
(2003), que apresenta, como exemplo, a presença (ou ausência) de escola
pública em determinada localidade.

Outra forma de apresentação de indicadores é por meio de índices, que


combinam múltiplos indicadores em medidas singulares.

Elaborar, apresentar e interpretar fielmente os resultados dos indicadores é


essencial para não induzir conclusões irreais, que estejam além do potencial
explicativo do indicador. Sintetizando as observações anteriores, apresentam-
se, a seguir, algumas perguntas que podem nortear os avaliadores na
construção de critérios para assegurar o cumprimento de objetivos. Os
indicadores devem responder às indagações sobre:

ƒ Validade/confiabilidade: têm a capacidade de captar mudanças em


relação ao alcance dos objetivos? Estão medindo resultados do
programa e não apenas atividades das instituições? Avaliadores distintos
chegariam aos mesmos resultados se utilizassem os mesmos critérios?
ƒ Equilíbrio: existe uma ‘cesta balanceada de indicadores’ para medir o
progresso de cada objetivo? A ambigüidade inerente a um critério
específico se reduz mediante a presença dos outros?
ƒ Sensibilidade: cada um deles e todos em seu conjunto são
suficientemente sensíveis para captar os tipos de mudanças que
provavelmente ocorrerão ao longo da avaliação?
ƒ Igualdade: captam experiências de pessoas ou de grupos minoritários? A
experiência do conjunto do grupo avaliado poderia ser desagregada para
isolar a experiência de grupos particulares?
ƒ Motivação: permitem identificar antecipadamente situações que mudam
comportamento de gestores e cidadãos?
ƒ Questões práticas: existem mecanismos viáveis de coleta de dados que
sejam regulares, continuados, simples e não muito caros? Os
indicadores coletados são confiáveis?

112
ƒ Propriedade: pessoas e instituições cujas mudanças serão avaliadas
participaram na sua definição e nos critérios de seu desenvolvimento?
Existe confiança dos que estão sendo avaliados na qualidade e
adequação dos critérios?
ƒ Clareza: são compreendidos e fazem sentido para todos os atores
envolvidos na investigação, incluindo as pessoas com maiores
dificuldades de compreensão teórica? As medidas expressam unidades
compreensíveis para a maioria dos cidadãos? (Vera Institute of Justice,
2003).

Um bom indicador será aquele que realmente medir ou expressar as mudanças


desejadas e os objetivos propostos, que for sensível às mudanças nas políticas,
programas e instituições, que não for facilmente manipulável e cujas
informações estejam acessíveis (World Bank, 2004).

Olá, Carlota! Este é mais um trecho de


exemplo, como consta nos capítulos anteriores,
OK?

CONSTRUÇÃO DOS OBJETIVOS E INDICADORES QUANTITATIVOS NO CUIDAR

A elaboração dos objetivos da avaliação partiu da análise e recortes do objetivo


fundamental do Programa Cuidar, que era “promover nas redes públicas e particulares de
ensino fundamental e médio um projeto de educação para valores, baseado numa ética
biofílica” (Modus Faciendi, 1999). Esse objetivo foi inicialmente debatido longamente
estudado pela equipe de avaliadores, em todas as dimensões que envolvia: mudança de
paradigma na educação, educação para valores; ética e educação; rede de ensino,
visando a nortear a avaliação da proposta. Como a avaliação do Programa Cuidar
prolongou-se por três anos, cada etapa da avaliação teve um objetivo diferenciado.
Na primeira etapa – diagnóstica – levada a efeito antes da implantação do Programa,
buscou-se mapear as informações, atitudes e comportamentos dos jovens e professores
quanto ao seu universo de valores, no que concerne aos seguintes aspectos: (1) o
adolescente consigo mesmo; (2) o adolescente e sua relação com as outras pessoas; (3)
o adolescente e as questões transcendentais; (4) o adolescente e sua relação com o meio
ambiente; (5) fatores e comportamentos de risco à saúde. As cinco áreas foram

113
inicialmente definidas como fundamentais para a avaliação de resultados do programa a
partir dos seus materiais educacionais. Tentou-se estabelecer um processo dialógico
entre a equipe de avaliadores e os parceiros responsáveis pela implementação do
Programa, trocando-se informações, documentos e opiniões sobre as estratégias de
avaliação que seriam implementadas e sobre os objetivos da pesquisa.
A segunda etapa de acompanhamento e monitoramento do Programa foi realizada até
seis meses após a avaliação diagnóstica. Buscou-se (a) observar o desenvolvimento do
programa; (b) identificar seus aspectos críticos; (c) analisar a atuação de educadores e
diretores responsáveis pela aplicação do programa; (d) captar a visão dos jovens sobre
seu desenrolar; os aspectos operacionais das unidades de trabalho (rotinas, canais de
comunicação, expectativas); (e) analisar a estrutura organizacional (material pedagógico,
capacitação de educadores, desenvolvimento de atividades); (f) e observar a
participação/pressões do meio social sobre as escolas, nos locais onde se inserem.
A definição dos objetivos decorreu da experiência dos avaliadores e dos responsáveis
pela execução do Programa Cuidar nos meses iniciais de implementação do programa.
Demandou troca de informações e relatórios mensais de atividades. Vários poderiam ser
os caminhos adotados, a exemplo da diversidade que se constata nos estudos publicados
sobre implantação de programas, com diferentes perspectivas teóricas e modelos de
pesquisa, já citados nos textos deste livro.
A terceira etapa e quarta etapas visaram, principalmente, a apresentar os resultados da
avaliação. Tiveram dois objetivos principais: (1) avaliar as possíveis mudanças que
ocorreram nas instituições (escola e família) e nos diferentes atores (jovem, educadores,
familiares, gestores do programa) que compuseram a realização das intervenções
previstas no final do primeiro e do segundo anos de sua implantação; e (2) apontar os
pontos cruciais para sucesso do Programa e suas condições de possibilidades. Nestas
etapas, conjugou-se a análise de implementação e de resultados, buscando-se fugir de
uma visão positivista que isola implementação de resultados. Separar artificialmente as
etapas contraria a visão dialética de processo educativo como atividade dinâmica,
conflituosa, contraditória e por vezes até imponderável, que se realiza pelas vias de
intervenções planejadas e, também, pelas mais impensáveis ocorrências, situações e
circunstâncias.
O processo de construção dos indicadores que avaliassem os objetivos do Programa
Cuidar de cada etapa da pesquisa também foi igualmente exaustivo. O primeiro passo
adotado foi o estudo dos vários livros publicados pela Modus Faciendi sobre o Programa,
bem como da bibliografia relevante na área, visando a transformar os objetivos gerais e
específicos em medidas ou preditores que indicassem possíveis mudanças ocorridas em
função do programa, sob a égide de uma ética biofílica.
Foram muitos os questionamentos e discordâncias existentes entre os avaliadores,
versando sobre temas práticos e objetivos até sobre as possibilidades e impossibilidades
metodológicas e teóricas. Neste rico e por vezes difíceis embates interdisciplinares muitos
indicadores foram criados, recriados e aperfeiçoados, para mensurar as diversas áreas
em que o programa se propunha a atuar: cuidado consigo mesmo (auto-estima,
capacidade de projetar o futuro, capacidade de realizar projetos, vivência de situações de
risco); cuidado com o outro (relações familiares, com pares, com professores); cuidado
com o ambiente em que se vive e capacidade de protagonismo; e experiências de
transcendência e de prática de valores ético-morais.
Para auxiliar a compreensão dos indicadores, foram levantadas informações
demográficas, educacionais, sanitárias, econômicas e os índices de violência de cada
localidade. O objetivo era contextualizar as condições objetivas e os estilos de vida dos
estudantes e professores e a situação dos estabelecimentos escolares em cada uma das
cidades onde a intervenção social e, conseqüentemente, as avaliações estariam sendo
realizadas. Esse exercício permitiu que se obtivesse uma melhor noção da realidade e
que fossem compreendidas as circunstâncias de implantação e de resposta do Programa.

114
Por exemplo, constatou-se maior percentual de crianças de até 14 anos com mais de 1
ano de atraso escolar na cidade de Iguatu – 76,6% (1991); enquanto em Campinas e Juiz
de Fora observaram-se percentuais mais baixos, porém ainda elevados: 34,7% e 39,2%,
respectivamente no mesmo ano. Esse dado, em conjunto com vários outros, indicaram
para a equipe de avaliadores a necessidade de trabalhar com indicadores com
capacidade de desagregação e de investigar separadamente a realidade dessa cidade do
interior nordestino em relação às duas outras localidades situadas na região sudeste.
Outro ponto importante no processo foi a necessidade de criar indicadores diferenciados
para alunos e professores. Para estes últimos, estabeleceram-se dois tipos de
indicadores: uns que mensuram a visão dos professores sobre os alunos e outros que
avaliaram sua própria visão em relação à atuação profissional.
A primeira fase da avaliação-diagnóstica foi fundamental para o estabelecimento dos
indicadores quantitativos. Em poucas áreas temáticas abordadas pelo Programa foi
possível introduzir indicadores já validados em outras pesquisas. Nesse último caso cita-
se o caso de indicadores sobre consumo de substâncias, tal como proposto pelo Cebrid
(1997). Por causa da amplitude de temas sobre os quais o Programa atuou, os
avaliadores tiveram dificuldade em introduzir escalas já validadas. O elevado número de
variáveis aumentaria muito a extensão do questionário utilizado a partir da construção de
indicadores. Para a maioria dos temas foram criados itens que explicitaram o conteúdo do
Programa, sempre buscando-se inserir outros tópicos já utilizados, de forma produtiva,
em pesquisas já realizadas.
Apresenta-se a seguir um exemplo de construção de um índice que conjugou vários
indicadores de auto-estima e autoconfiança, mudança considerada como fundamental
para que o programa deslanchasse nas escolas.
No quadro 1 encontra-se um exemplo do emprego da análise fatorial como alternativa na
construção de um índice que conjuga vários indicadores, buscando-se agregar
diversidade e simplicidade na etapa de apresentação dos resultados. Oferece-se este
exemplo para a construção de indicadores (quantitativos), pelo elevado grau de
dificuldade para definir comportamentos e atitudes, temas de difícil mensuração. Na sua
elaboração foram utilizadas variáveis latentes. Elas aferem construtos que visam a
entender áreas de interesse para as quais não há um método operacional capaz de
realizar uma medição de forma direta.

Atenção, Carlota! Não há esta interrupção, tudo


faz parte do exemplo, incluindo o quadro.
Quadro 1: Indicadores quantitativos sobre auto-estima/autoconfiança segundo atores avaliados
[Fonte?]
Objetivo do índice auto-estima/autoconfiança
Auto-estima: avaliar transformação na atitude de aprovação ou de repulsa que o indivíduo tem consigo mesmo,
considerando sua capacidade e valor (Coopersmith, 1967).
Autoconfiança: aferir mudança na capacidade de acreditar em si e na capacidade de se apoiar em suas próprias
forças (Costa, 2000)

115
Aluno Professor avalia o aluno Auto-avaliação do professor
Fatores e indicadores Fatores e indicadores Fatores e indicadores
Fator 1 - Grau de satisfação Fator 1 - Capacidade da maioria Fator 1 - Capacidade do educador de
com capacidade de: aprender, dos alunos de: aprender, ensinar estimular seus alunos a: aprenderem,
ensinar coisas para alguém, coisas para alguém, motivar outras ensinarem coisas para alguém,
incentivar outras pessoas, pessoas, lidar com novas incentivarem outras pessoas, lidarem com
lidar com novas situações, situações, avaliar pessoas e novas situações, avaliarem pessoas e
avaliar pessoas e situações, situações, trabalhar em grupo e ser situações, trabalharem em grupo,
trabalhar em grupo e ser avaliado por outras pessoas aceitarem ser avaliados por outras
avaliado por outras pessoas Fator 2 - Considerar que os alunos pessoas.
Fator 2 - Defender idéias e conseguem defender idéias e Fator 2 - Desenvolver atividades que
opiniões na família, escola e opiniões na escola; achar que a ajudem os alunos a se auto- [um pouco
com amigos/colegas maioria de seus alunos consegue: redundante, sug. suprimir] conhecerem,
Fator 3 - Achar que consegue: terminar o 2o grau, achar um a gostarem de si mesmos e a serem
terminar os estudos, achar um emprego e progredir no trabalho capazes de defender as próprias
emprego e progredir no Fator 3 - Os alunos conhecem a si opiniões.
trabalho. mesmos; os alunos gostam de si Fator 3 – Sentir-se preparado para ajudar
Fator 4 - Gostar do jeito que é, mesmos. os alunos a desenvolverem: auto-
gostar do corpo do jeito que é. conhecimento, capacidade de gostar de
si mesmos e serem capazes de defender
as próprias opiniões.

USO DA TÉCNICA DA ANÁLISE FATORIAL NO PROGRAMA CUIDAR


Na avaliação do Programa Cuidar, foi utilizada a técnica da análise fatorial1 para construir os
indicadores na primeira e terceira fase da pesquisa e assim analisar a mudança de valores da
população pesquisada. As variáveis foram ponderadas segundo seu maior poder de explicação.
Optou-se por utilizar a estrutura de ponderação do momento que apresentou maior consistência
interna, medido através do teste α de Cronbach.
O índice foi calculado para cada indivíduo através de uma média ponderada, utilizando-se as
cargas fatoriais como peso das variáveis e os autovalores como peso dos fatores, calculando-se
o peso de cada variável dentro do fator, além do peso de cada fator.
A partir das cargas fatoriais de cada variável. oriundas da rotação ortogonal-varimax foram
determinadas todas as medidas necessárias para se criar uma fórmula utilizada para calcular o
índice de auto-estima de cada indivíduo da amostra e para cada fase da avaliação
No índice de auto-estima/autoconfiança dos alunos observado no quadro 1, constata-se que
quatro fatores obtiveram autovalores maiores que 1, totalizando 50,8% da variabilidade total dos
dados. O fator 1 isoladamente respondeu por 24,2% da variação e os e fatores seguintes
oscilaram entre 8,6% e 9,2% cada um.
Os avaliadores precisaram contar com estatísticos que se responsabilizaram pelo demorado
tempo de formulação e análise de dados mais complexos. Muitas avaliações optam por trabalhar
com indicadores simples e de fácil manejo. Este foi um dos grandes desafios que o Programa
Cuidar trouxe para o grupo avaliador: criar índices complexos – agregadores de uma infinidade
de temas, que pudessem ser repassados aos participantes da pesquisa, de forma simplificada e
objetiva.

1
Análise fatorial pode ser definida como um conjunto de técnicas estatísticas cujo objetivo é representar
ou descrever um número de variáveis iniciais a partir de um menor número de variáveis hipotéticas. Mede
a interdependência entre as variáveis através da correlação ou covariância entre um conjunto de variáveis
observáveis, em relação a um número limitado de fatores calculados por meio da combinação linear das
variáveis originais. À medida que as respostas de indivíduos a itens da pesquisa ocorrem conjuntamente,
com correlações substanciais entre eles, define-se um fator (Reis, 1997; Hair et al., 1995; Pereira, 1995).
Para a extração dos fatores na pesquisa do Programa Cuidar, utilizou-se o método alicerçado na análise
das componentes principais.

116
3.2.CONSTRUÇÃO DE INDICADORES QUALITATIVOS

Esforços diversificados vêm sendo feitos para aprimorar o desenvolvimento de


indicadores no âmbito da abordagem qualitativa. A tentativa de inserção de
elementos subjetivos, consoante às teorizações que mostram o envolvimento
dos diferentes atores na produção do processo e dos resultados, vem
acompanhando o próprio desenvolvimento desse conceito científico, cuja
finalidade primeira é aumentar a validade dos parâmetros de análise de
processos e resultados.

• Construção de indicadores qualitativos por estratégias quantitativas – A


busca por mensurar valores, opiniões, relações e vivências
intersubjetivas, no entanto, é bastante antiga no campo das ciências
sociais. Desde 1920, criaram-se diversas escalas com este objetivo. Em
seus estudos, Mann (1973) cita as seguintes:

ƒ A de distância social, de Bogardus, que solicita ao


entrevistado para estabelecer uma hierarquia de intimidade-
convivência social que ele está disposto a ceder para pessoas de
outras nacionalidades ou raças/etnias.
ƒ A de Thurstone, que se baseia em questionários do tipo
“concordo” ou “discordo” de certas afirmações cujos resultados
serão submetidos a especialistas no tema estudado e que irão
definir as tendências comportamentais, das mais radicais, das
neutras às mais conservadoras;
ƒ A de Lickert, que estabelece o mesmo procedimento da
escala de Thurstone, mas substitui o grupo de especialistas pela
comparação entre as respostas de um mesmo grupo social com
características mais homogêneas;
ƒ Os escalogramas de Guttman, que seguem a mesma lógica
da escala de Bogardus, nos quais são estudadas as

117
concordâncias entre as respostas, criando-se um perfil de
comportamento em relação à tolerância e aceitação a outros
grupos étnicos;
ƒ A proposta sociométrica de Moreno, capaz de estabelecer
um sociograma, isto é, uma representação diagramática dos
sentimentos de atração ou repulsa entre pessoas de um certo
grupo.

A maioria dos instrumentos, produzidos entre os anos 20 e 30, atribuía valor


numérico ou ordenação percentual a respostas que expressavam certas
atitudes e comportamentos, diante de situações reais ou hipotéticas. Seguiam
os mesmos modelos de análise qualitativa neste período histórico,
intensivamente analisados por Lazarsfeld & Barton (1994). Estes autores
encontraram, nas reflexões de vários pesquisadores, as seguintes
preocupações epistemológicas, referidas no trabalho de Minayo (2004):

ƒ trabalhar com amostras reunidas de maneira sistemática;


ƒ assegurar a validade de procedimentos de coleta de dados e de
resultados;
ƒ criar codificadores que permitissem verificação de fidelidade;
ƒ considerar a análise de freqüência como critério de objetividade e de
cientificidade;
ƒ construir dispositivos para medir a validade, fidedignidade e
produtividade da análise.

Um exemplo bastante conhecido na área de avaliação de programas e serviços,


especialmente na área de saúde pública, é o chamado “indicador de satisfação
do usuário”. Esse dispositivo geralmente busca expressar um quantum de
contentamento sobre relações travadas com os profissionais, informações
recebidas e eficácia ou competência da ação para atender às necessidades.

Williams (1994) critica a quantificação sob a forma de surveys, como


empobrecedora, quando se trata de avaliar a satisfação do cliente, na medida

118
que não leva em consideração os critérios que os usuários tomam para julgar a
atenção recebida, como por exemplo, problemas socioculturais, de gênero e
étnicos, dentre outros. Tais estudos, aparentemente objetivos, geralmente não
dimensionam o fato de que a “satisfação”, como atitude subjetiva, está
diretamente influenciada pelo grau de consciência dos direitos e do papel que o
usuário pensa desempenhar diante do serviço ou do programa. Usuários sem
acesso a níveis básicos de cidadania, por exemplo, tendem a se considerar
satisfeitos pelo simples fato de receberem atendimento ou de serem ouvidos
por uma assistente social, uma diretora ou um médico.

Convencionou-se denominar a linha de investigação avaliativa qualitativa que


apresenta instrumentos e resultados típicos da abordagem quantitativa, de
“mensuração de atitudes” ou “escalas de atitudes”. Mas até o momento a
introdução da subjetividade nas avaliações vem sendo comumente investigada
por meio de questões ou escalas que tratam da singularidade e da
individualidade, reduzindo a complexidade do tema à esfera quantitativa e
mensurável. Tais estratégias são mais utilizadas em psicologia e sociologia e
buscam enfatizar percepções, sentimentos e reações dos indivíduos em relação
a atributos pessoais, como auto-estima, por exemplo; ou sociais, como é caso
da avaliação de qualidade de vida.

Em linhas gerais, há uma crítica epistemológica às tentativas de quantificação


de processos subjetivos e relacionais, pois elas limitam um conjunto de
associações, significados atribuídos, motivações e determinações socioculturais
a opções restritas e previamente definidas a partir de critérios dos próprios
avaliadores. Apesar das muitas restrições que vêm recebendo
academicamente, principalmente por reduzirem a complexidade das motivações
e das escolhas à quantificação das respostas, tais escalas são bastante
empregadas, por exemplo, para medir a aceitação de candidatos a cargos
políticos e de novos produtos a serem colocados no mercado.

119
• Construção de indicadores qualitativos por estratégias qualitativas –
Tendo em vista os questionamentos das bases quantitativas de
abordagens qualitativas, e seguindo um movimento teórico que vem se
firmando desde os anos 60 (Minayo et al., 2003), outras estratégias de
investigação avaliativa da subjetividade e das relações estão sendo
desenvolvidas e aperfeiçoadas. E junto com elas existem sérios
investimentos na construção de indicadores analisáveis por métodos
tipicamente qualitativos.

Tais abordagens se fundamentam na necessidade de ressaltar as


dimensões dos valores, das crenças, das atitudes e das relações
vivenciadas intersubjetivamente, entendendo que elas fazem parte de
qualquer processo social. E para tratá-las são usados instrumentos
específicos de coleta de dados como entrevistas, grupos focais,
observação participante e outros, temas abordados no próximo capítulo.

Assim, para definir indicadores qualitativos é importante assumir sua natureza


hermenêutica (Gadamer, 1999; Minayo, 2002). Isto significa entender que os
atores sociais, ao se comunicarem sobre qualquer assunto do mundo da vida,
interpretam e julgam-no a partir de um estoque de referências como classe,
gênero, grupo de pertinência, etnia, idade, função social (Shutz, 1982).
Igualmente, os pesquisadores que analisam tais interpretações também são
pessoas que convivem no mesmo tempo histórico e estão marcados por
diversos fatores sociais.

Indicadores qualitativos, portanto, devem ser considerados balizas avaliativas,


que permitem mapear com mais profundidade a natureza das mudanças
ocorridas e em processo, não se propondo a dimensionar quantitativamente o
grau de variações ocorridas (Deslandes & Assis, 2002). Apesar da sua
importância, poucos exemplos existem sobre indicadores em uma acepção
integralmente qualitativa.

120
Uma tentativa vem sendo realizada pela Canadian Association of Family
Resource Programs, que se propõe a criar indicadores a partir de narrativas de
famílias que assistem a dois mil programas comunitários no Canadá
(www.ryerson.ca/voices). Os autores exemplificam estratégias seguidas para o
desenvolvimento desses dispositivos, a partir de histórias individuais.
Apresentam também o movimento em que falas individuais são agrupadas em
códigos, subcódigos e temas de análise, até que sejam definidos os melhores
indicadores a serem testados em protocolos de investigação operacionais
voltadas para avaliação dos serviços. No exemplo a seguir, pode-se
acompanhar a construção de um indicador com base em falas (Silver et al.,
2004).

[Modelito depoimento] O programa ajudou a que ele ficasse um pouco mais


independente e um pouco mais acostumado a lidar com outras crianças. Isso nos
deu uma chance para entender que algumas das coisas vividas por ele iam ser
motivo para que nós fossemos capazes de ajudá-lo e estimular suas habilidades.
Por exemplo, lidar com níveis altos de ruído e com muitas crianças, e, ensinar que
em alguns momentos em que precisar, ele pode achar um canto quieto, se sentar e
depois se reunir de novo com os outros. Ele agora sabe que tem de fazer isso. A
situação também nos permitiu poder falar para os professores que se começarem a
ver certos comportamentos dele, o levem para um canto, e dêem alguns minutos
para ele ficar quieto. (Lily)

Um código, denominado “benefício para a criança”; foi extraído dessa fala.


Como subcódigo, surgiu o tema “acesso a recursos para cuidar dos filhos”;
como temas, sobressaíram “as práticas e experiências de engajar famílias” e
“de ‘empoderar’ participantes”. A partir do depoimento de Lily, os autores
elaboraram dois indicadores: “meu filho está pronto para a escola por causa do
Programa Comunitário”; “eu sou capaz de pedir aos professores para ajudarem
meu filho”.

Os dois dispositivos criados, segundo seus autores, servem de base para a


construção de roteiros que serão testados nos serviços de todo o Canadá,
visando a, futuramente, criar instrumentos nacionais de avaliação, com base na
própria experiência dos participantes, seguindo o exemplo das escalas de
Likert.

121
Em síntese, os indicadores qualitativos são aqueles que expressam a adoção
ou rejeição de certas atitudes, valores, estilos de comportamento e consciência
(Valarelli, 2004) Os exemplos mais constantes são oriundos da área de
educação, expressando capacidades e habilidades desenvolvidas pelos
indivíduos como indicativos de seu desenvolvimento educacional.

Demo (2002) ressalta que a participação dos sujeitos como essencial à


construção de indicadores qualitativos para avaliação. Para ele, a participação
política no cotidiano é o cerne da dimensão humana de qualidade, sua
capacidade de se autogerir, a criatividade que desenha seus caminhos futuros,
sua autodeterminação, sua autopromoção dentro de um quadro de limites
sociais.

• Validade interna e externa dos indicadores qualitativos – Por se tratar de


uma abordagem de compreensão da experiência a partir do senso
comum e do julgamento dos atores, uma das grandes questões que se
coloca freqüentemente é o grau de confiabilidade e validade dos
indicadores qualitativos. Para alguns autores, não cabe falar em
confiabilidade neste caso nem nas abordagens quantitativas, pois as
percepções e as relações sociais, objetos desse tipo de operação, são
dinâmicas e impossíveis de se repetir integralmente, além de serem fruto
do caminho interpretativo, eminentemente intersubjetivo (Passeron,
1995).

Minayo (2004), em O Desafio do Conhecimento, demonstra que o


maior consenso atualmente entre os estudiosos sobre a confiabilidade
e a validade dos dados qualitativos é o que se forma por meio da
intersubjetividade, pelo julgamento dos pares e pelo reconhecimento
dos participantes sobre o sentido e a veracidade da análise. Gadamer
(1999) fala exatamente o mesmo quando trata da validade na relação
intrínseca entre investigador e investigado (avaliador-avaliador), no
processo intersubjetivo. Em suas palavras, o estudo é válido quando os

122
investigados compartilham com o investigador a veracidade e o sentido
dos resultados.

Por isto, como lembram Minayo (2004) e Demo (2002), é preciso


investir na objetivação, por meio de várias estratégias, dentre as quais
o cuidado permanente e compartilhado de discussão e troca sobre a
pertinência de determinados indicadores e procedimentos com os
pares. E de rigor teórico-metodológico em relação à definição do
objeto, dos pressupostos ou hipóteses, dos instrumentos conceituais e
de campo e análise do material recolhido. Demo (1981) lembra que os
critérios de coerência, consistência, originalidade e de objetivação são
o marco da crítica interna de qualquer investigação científica. A
triangulação, proposta neste livro como esforço de comunicação entre
pessoas, conceitos, abordagens e elaboração de resultados é uma
forma de dar mais confiabilidade aos dados, como pensam também
Denzin (1973) e Minayo (2004).

Especificamente em relação à confiabilidade externa, em que


diferentes pesquisadores deveriam encontrar os mesmos resultados
investigando o mesmo tema, é necessário ter em conta que as
investigações qualitativas não buscam homogeneidades e sim
diferenciações e especificidades. A elas não se aplica o critério
quantitativo de comparabilidade – cuja raiz epistemológica é a
observação das regularidades nos fenômenos sociais, típica do método
positivista (Durkheim, 1980). No entanto, aos estudos qualitativos
cabem, em última instância, a avaliação por pares e os vários
processos de crítica intersubjetiva tal como pensado por Popper (1973).

A validade externa pretendida dentro da perspectiva qualitativa é a que se


refere à possibilidade de geração de conhecimentos que contribuam para o
aprofundamento conceitual ou analítico, por meio da elaboração de tipificações
ou de lógicas culturais. Estes achados permitem a melhor compreensão do

123
grupo estudado e o refinamento de categorias empíricas que podem ser
utilizadas em estudos de outros grupos sociais e de instrumentos padronizados
(Minayo, 2004) como é a pretensão do esforço canadense.

Em relação ao incremento da confiabilidade interna, em que diferentes


pesquisadores envolvidos no mesmo estudo concordam entre si em suas
análises, privilegiam-se algumas iniciativas:

ƒ constante troca de impressões e informações entre os pesquisadores,


visando a interpretações consensuais;
ƒ ‘checagem’ da adequação das impressões obtidas no trabalho de campo
com os sujeitos pesquisados;
ƒ descrição de situações e relatos verbais sem muitas interpretações a
priori do pesquisador;
ƒ análise em que se busque a lógica interna e hermenêutica do grupo
(Minayo, 2004) e
ƒ colocação do produto final da pesquisa para exame pelos pares (Le
Compte, 1982; Deslandes & Assis, 2002).

No entanto, lembra Popper (1973) em relação a qualquer tipo de estudo que,


seja ele qualitativo ou quantitativo, os critérios tradicionais de validade do
conhecimento precisam ser relativizados, pois hipótese alguma é verificável,
uma vez que a acumulação de casos afirmativos não pode garantir uma
generalização teórica.

Em síntese, a validade dos estudos qualitativos é concebida não como um


dispositivo que espelha a realidade e sim como uma “produção reflexiva”, em
que o observador é parte e parcela do contexto e da cultura que busca entender
e representar (Johnson & Altheide, 1994; Minayo, 2004). Pode-se obter maior
validade interna de uma pesquisa qualitativa quando as categorias conceituais
empregadas têm significado mútuo e partilhado entre os participantes e o
pesquisador. Para tanto, alguns fatores são fundamentais: tempo, pois quando
o processo e as mudanças são focalizados, o fenômeno observado pode não

124
se manter constante; variações nos informantes selecionados, que podem agir
de forma diferente, e demonstrar interpretações diferenciadas sobre os vários
aspectos em questão; diversidade de informantes, o que amplia a diversidade
de informações; ocorrência de eventos-limite que podem mudar o convívio e o
cotidiano do contexto sob observação.

Carlota, aqui está outro exemplo. O quadro faz


parte dele, OK?

CONSTRUÇÃO DE INDICADORES QUALITATIVOS NO PROGRAMA CUIDAR

A criação dos indicadores qualitativos do Cuidar foi definida a partir da bibliografia do Programa e
da leitura e debate sobre educação para valores. Foram levantados os principais eixos e
objetivos da proposta, identificando-se as competências e as habilidades que se desejava
promover entre os professores e educandos. Como o Programa apresentava cinco grandes eixos
e muitos objetivos, decidiu-se que o conjunto de competências fosse o alicerce para a criação de
indicadores. Após inúmeras discussões com os diferentes parceiros, chegou-se ao consenso de
que o primeiro eixo, o cuidado de si, envolvendo auto-estima e autodeterminação, seria o norte
da ação do programa e que sua meta mais elevada seria a de promover o protagonismo dos
jovens. Desta maneira, estes indicadores seriam buscados a partir da análise das entrevistas de
grupos focais de docentes e alunos, comparando-se os depoimentos ao longo de cada ano.
Longo tempo foi despendido tentando-se definir as questões que se beneficiaram do enfoque
qualitativo, descartando-se as que deveriam ser contempladas na abordagem quantitativa, em
função de sua elevada objetividade material e as que poderiam se adequar a ambas as
estratégias metodológicas, evitando-se superposição.
No Quadro 2 explicitam-se os indicadores primários definidos para se investigar auto-estima e
autoconfiança na avaliação do Programa Cuidar.

Quadro 2: Exemplos de indicadores qualitativos de auto-estima/autoconfiança dos alunos [Este é o terceiro


quadro deste capítulo]
CONTEÚDOS INDICADORES PRIMÁRIOS
DO PROGRAMA
Auto-estima/ Lidar construtivamente com suas potencialidades e limitações
Ver-se como ser único e especial
Perceber sua experiência como algo pessoal, vivido por ele e com traços de diferença em
Autoconfiança relação a vida de sua família e amigos
Perceber-se como pessoa em busca de desenvolver suas potencialidades
Perceber-se como pessoa que busca contribuir para melhorar o mundo
Ter amor próprio, gostar de si mesmo (sentimento positivo)
Falar com entusiasmo da própria experiência
Reconhecer as próprias potencialidades e limitações
Ter uma idéia positiva sobre si mesmo (racionalização da auto-estima)
Acreditar em si mesmo, confiar no seu potencial
Defender suas idéias na família, na escola e entre os pares

125
O foco principal da análise dos resultados dos indicadores qualitativos primários
avaliados no Cuidar valorizou especialmente as mudanças na capacidade participativa
dos alunos (protagonismo), a autodeterminação quanto aos projetos de futuro, a
solidariedade com os outros, o comprometimento social e ambiental, as mudanças
percebidas nas relações entre professores e alunos rumo a uma relação participativa; a
autoconfiança dos educadores sobre as diferentes potencialidades a serem
desenvolvidas pelos alunos e sobre sua segurança em apoiar tal desenvolvimento
humano integral.

A partir de revisão da literatura nacional e internacional na área de educação para


valores, três elementos qualitativos transversais foram estabelecidos, perpassando
todas os indicadores primários e áreas avaliadas do Programa Cuidar, sendo eles:
capacidade de argumentação: defender idéias, sintetizando e interpretando dados, fatos
e situações; capacidade de empatia: saber se colocar no lugar de outra pessoa;
capacidade de crítica: saber refletir os prós e contras de cada situação, pensando sobre
as ações de forma crítica e reflexiva (Zeichner, 1993).

Tomou-se como pressuposto para a avaliação que estas capacidades seriam


transformadas positivamente pelo programa, com resultados avaliados por meio da
comparação da etapa diagnóstica as posteriores, verificando-se a continuidade ou a
transformação de certos fatos e relações. Outras esferas comparativas forma
construídas, a partir das informações das escolas com e sem o programa e dos
indicadores de alunos e de professores. A triangulação dos diversos focos de
comparação levou a um intensivo processo de elaboração de roteiros de grupos focais
e de análise de dados, demandando a criação de vários corpos de análise, como será
visto mais adiante.

Esforço similar ao do quadro 2 foi efetuado para estabelecer os indicadores primários


para a avaliação dos professores, destacando-se sua auto-avaliação sobre sua
capacidade em estimular a elevação da auto-estima e da autoconfiança dos alunos.
Mais um indicador transversal foi criado também para a análise de mudanças entre
professores, atravessando todas as questões, independentemente do eixo temático: “a
relação de equilíbrio entre docência-vivência-presença”, ponto considerado pelos
autores do Cuidar como de extrema relevância para a efetivação e sucesso da
intervenção do Programa.

Algumas conclusões

No caso de avaliação do Programa Cuidar, uma das lições aprendidas pela


equipe de avaliação foi a complementaridade ou, por vezes, a oposição dos
resultados orientados por indicadores quantitativos e qualitativos.

Sobre os mesmos temas, na maioria das vezes, as conclusões trazidas pelo


estudo eram semelhantes, o que servia como balizamento de confiabilidade e
validade. A abordagem quantitativa se mostrou a mais produtiva frente a

126
algumas indagações. Mas, freqüentemente, ela foi absolutamente insuficiente
para compreender os contextos, o sentido e a intangibilidade de transformações
que não conseguiam se expressar em números. Por este motivo, nas diferentes
etapas dos relatórios de avaliação (Claves 2000; 2001; 2002; 2003), buscou-se
combinar e evidenciar uma reflexão complexa, em que ambos os dispositivos
foram valorizados passo a passo, em todos os momentos e tópicos analisados.

Essa triangulação, fruto de diálogo, comparação e crítica intersubjetiva, permitiu


apresentar muitas pistas para correção de rumos durante o processo de
implantação do Programa e orientações para sua continuidade.

Do ponto de vista teórico, o estudo evidencia algumas balizas que concordam


com recomendações de Valarelli (2004), quando analisa a necessidade de se
usar um bom sistema de indicadores para análise de programas sociais:

ƒ ser construído no contexto de um processo de negociação e a partir da


visão e da concepção que os vários atores envolvidos têm sobre os
objetivos centrais da avaliação;
ƒ considerar as especificidades do contexto;
ƒ definir os efeitos atribuíveis às intervenções que estão sendo avaliadas;
ƒ estar orientado para o aprendizado e para a compreensão dos
processos;
ƒ prever e especificar os meios de verificação;
ƒ ser simples e compreensível para todos e não apenas para especialistas;
ƒ ser viável do ponto de vista operacional e financeiro;
ƒ orientar-se para oferecer informações relevantes para a tomada de
decisões;
ƒ aproveitar as informações de fontes confiáveis, poupando recursos,
tempo e energia do grupo.

Toda a literatura atual de avaliação de programas sociais dá ênfase ao


potencial transformador dos indicadores quando a sua construção é assumida
como práxis dialógica entre todos os atores envolvidos e, sua operacionalização

127
se torna um sinalizador para mudanças e para a elevação do grau de
protagonismo social.

Referências Bibliográficas

AGUILLAR, M.J. & ANDER-EGG, E. Avaliação de Serviços e Programas


Sociais. Petrópolis: Vozes, 1994.
ALMEIDA FILHO, N. & ROUQUAYROL, M.Z. Introdução à Epidemiologia
Moderna. Salvador; Rio de Janeiro: APCE/Abrasco, 1990.
ASSIS, S. G. & AVANCI, J. Q. Labirinto de Espelhos. a formação da auto-
estima na infância e adolescência. Rio de Janeiro: Editora Fiocruz, 2004.
CARLEY, M. Social Measurement and Social Indicators. London: Jorge Allen &
Unwin, 1981.

CARLY, M. Indicadores Sociais: teoria e prática. Rio de Janeiro: Zahar Editores,


1985.

Centro Brasileiro de Informações sobre Drogas Psicotrópicas (CEBRID). IV


Levantamento sobre o uso de drogas entre estudantes de 1º e 2º graus em 10
capitais brasileiras. São Paulo: CEBRID, 1997.
COOPERSMITH, S. The Antecedents of Self-Esteem. São Francisco: Freeman,
1967.
COSTA, A.C.G. Programa Cuidar - Conversando com os pais: um diálogo sobre
educação para valores na família. Rio de Janeiro: HS Editora, 2000.

DEMO, P. Metodologia Científica em Ciências Sociais. São Paulo: Atlas, 1981.

DEMO, P. Avaliação Qualitativa. São Paulo: Cortez, 2002.

DENZIN, N.K. The Research Act. Chicago: Aldine Publishing Company, 1973.

128
DESLANDES, S. F. & ASSIS, S. G. Abordagem quantitativa e qualitativa em
saúde: o diálogo das diferenças. In: MINAYO, M.C.S. & DESLANDES, S.F.
(orgs.). Caminhos do Pensamento: epistemologia e método. Rio de Janeiro:
Fiocruz, 2002.

DURKHEIM, E. Durkheim. São Paulo: Abril, 1980. Coleção Os Pensadores.

FIOCRUZ/ENSP/CLAVES. Avaliação do processo de implantação e dos


resultados do “Programa Cuidar” – 1ª fase. Rio de Janeiro: CLAVES, 2000.
Relatório de pesquisa.

FIOCRUZ/ENSP/CLAVES. Avaliação do processo de implantação e dos


resultados do “Programa Cuidar” – 2ª fase. Rio de Janeiro: CLAVES, 2001.
Relatório de pesquisa.

FIOCRUZ/ENSP/CLAVES. Avaliação do processo de implantação e dos


resultados do “Programa Cuidar” – 3ª fase. Rio de Janeiro: CLAVES, 2002.
Relatório de pesquisa.

FIOCRUZ/ENSP/CLAVES. Avaliação do processo de implantação e dos


resultados do “Programa Cuidar” – 4ª fase. Rio de Janeiro: CLAVES, 2003.
Relatório de pesquisa.

FURTADO, J. P. Um método construtivista para a avaliação em saúde. Ciência


& Saúde Coletiva, 6(1): 165-181, 2001.

GADAMER, H. Verdade e Método. Petrópolis: Vozes, 1999.

HAIR JR. J. F.; ANDERSON, R. E.; TATHAM, R. L.; BLACK, W. C. Multivariate


Data Analysis: with readings. Nova Jersey: Prentice Hall/Englewood Cliffs,
1995.

129
JOHNSON, J. & ALTHEIDE, D.L. Criteria for assessing interpretive validity in
qualitative research. In: DENZIN, N.K. & LINCOLN, Y.S. Handbook of
Qualitative Research (eds.). Londres: Sage Publications, 1994.

LAZARSFELD, P. & BARTON, A .H. Qualitative measurement in the social


sciences: classification, typologies and indices. In: LERNER, D. & LASSWELL,
H.D. (eds). The Policy Sciences. Stanford: Stanford University Press, 1994.

LE COMPTE, M. D. Problems of reliability and validity in etnographic research.


Review of Educational Research, 52: 31-60, 1982.

MANN, P. Métodos de Investigação Sociológica. Rio de Janeiro: Zahar, 1973.

MINAYO, M.C.S. Hermenêutica-dialética como caminho do pensamento social.


In: MINAYO, M.C.S. & DESLANDES, S.F. (orgs). Caminhos do Pensamento:
epistemologia e método. Rio de Janeiro: Fiocruz, 2002.

MINAYO, M. C. S. O Desafio do Conhecimento: pesquisa qualitativa em saúde.


São Paulo: Hucitec, 2004.

MINAYO, M. C. S.; ASSIS, S. G..; DESLANDES, S. F.; SOUZA, E. R.


Possibilidades e dificuldades nas relações entre ciências sociais e
epidemiologia. Ciência & Saúde Coletiva, 8(1): 97-108, 2003.

MODUS FACIENDI. Programa Cuidar: Livro do Professor. Belo Horizonte:


Modus Faciendi, 1999. v.1.

PASSERON, J. C. O Raciocínio Sociológico: o espaço não-popperiano do


raciocínio natural. Petrópolis: Vozes, 1995.

PEREIRA, J. C. R. Análise de dados qualitativos: estratégias metodológicas


para ciências da saúde, humanas e sociais. São Paulo: EDUSP, 1999.

130
PEREIRA, M. G. Epidemiologia: teoria e prática. Rio de Janeiro: Guanabara
Koogan Editora, 1995.

POPPER, K. La Logique de la Découverte Scientifique. Paris: Éditions Payot,


1973.

POSAVAC, E. J. & CAREY, R. G. Program Evaluation: methods and case


studies. Nova Jersey: Pearson Education, 2003.

REICHENHEIM , M. E.; MORAES, C. L. Adaptação transcultural do


instrumento Parent-Child Conflict Tactics Scales (CTSPC) utilizado para
identificar a violência contra a criança. Cadernos de Saúde Pública, 19(6):
1701-1712, 2003.

REIS, E. Estatística Multivariada Aplicada. Lisboa: Edições Sílabo, 1997.

ROSENBERG, M. Society and the Adolescent Self-Image. Princeton, Nova


Jersey: Princeton University Press, 1989.

SHUTZ, A. A comonsense and scientific interpretations of human actions.


Haia: Martiness Niphoff, 1982. Colleted Papers, v. 1.

SILVER, S.; WILSON, S.; BERMAN, R.; SALAZAR, C.C.; SOKLARIDIS, S.;
KARIM, A. Fon narratives to Likert Scales…: the long and winding road of
devolping evaluation indicators from qualitative data. In: International
Qualitative Health Research Conference, 10., April 30-May 4, 2004, Alberta.
Program… Alberta: University of Alberta, 2004. p.39

STREINER, D. L. & NORMAN, G. R. Health measurement scales: a practical


guide to their development and use. Oxford: Oxford University Press, 1995.

TANAKA, O. Y. & MELO, C. Inovação e Gestão – a organização social do setor


saúde. São Paulo: Annablume Editora, 2003.

131
VALARELLI, L. L. Indicadores de resultados de projetos sociais. Disponível em:
http://www.rits.org.br/gestão. Acesso em:16/06/2004.

VERA INSTITUTE OF JUSTICE. Measuring progress toward safety and justice:


a global guide to the design of performance indicators across the justice sector.
Disponível em: http://www.vera.org/indicators. Acesso em: 22/11/2003.

WILLIAMS, B. Patient satisfaction: a valid concept? Social Sciences and


Medicine, 38(4): 509-516, 1994.

WORLD BANK. Disponível em:


http://www1.worldbank.org/education/adultoutreach/portuguese/designing.idicatr
os.asp. Acesso em: 30/06/2004.

ZEICHNER, K.M. A Formação Reflexiva de Professores: idéias e práticas.


Lisboa: Educa Editora, 1993.

132
Capítulo 4

Construção dos instrumentos qualitativos e quantitativos

Edinilsa Ramos de Souza


Maria Cecília de Souza Minayo
Suely Ferreira Deslandes
João Paulo Costa da Veiga

Os instrumentos para construção de dados são parte fundamental da dinâmica de


uma pesquisa científica, portanto de uma investigação avaliativa. Operacionalizam
os objetivos, os indicadores e os conceitos do estudo, na forma de variáveis ou
temas e geralmente assumem o formato de questionários e roteiros.

Os questionários se configuram como dispositivos normatizados e padronizados,


que captam a presença ou ausência de determinada característica ou atributo no
indivíduo, permitindo medir a magnitude com que essa característica ou atributo
se distribui naquele grupo. A semelhante ou diferente distribuição desses atributos
entre os diversos grupos é avaliada em termos de significância estatística.

Ao contrário, roteiros são guias que apenas sinalizam tópicos dos caminhos a
seguir.

Por tratarem de abordagens de natureza oposta, embora complementar (Kant,


1980), esses instrumentos seguem lógicas específicas. Os questionários precisam
ser rigorosamente padronizados para garantir reprodutibilidade. Já o roteiro, ao
buscar a intensividade e as diferenciações de significados de fatos, relações e
representações, depende fundamentalmente de processos interativos. O roteiro se
apóia na habilidade relacional do investigador e na sua capacidade para
transformar o objeto teórico em “conversas com finalidade” (Minayo, 2004: 92) e
em observações com propósitos. Exige preparação cuidadosa e pode passar por
modificações durante o trabalho de campo.

132
Ambos os instrumentos podem se completar, em uma dialética de contrários, se
houver disposição dos investigadores para exercitar o diálogo teórico e prático que
aqui se denomina triangulação.

Antes de elaborar qualquer instrumento, é recomendável, dos pontos de vista


teórico e prático, verificar se já existem estudos em que se usaram dispositivos
semelhantes e replicáveis. Mesmo quando um rigoroso levantamento indique que
não existem estudos dentro dos objetivos propostos, é possível que alguns lancem
luz sobre determinados aspectos e ajudem na elaboração dos questionários e
roteiros.

Um instrumento de construção de dados é mais preciso quanto maior for sua


capacidade de representar fielmente a variável que se propõe a mensurar ou o
aspecto da realidade que se pretende compreender. Os questionários são tão
mais confiáveis quanto maior for a sua capacidade de reproduzir as mesmas
respostas em distintos momentos ou por diferentes investigadores e tão mais
válidos quanto maior for sua sensibilidade e especificidade frente ao indicador
proposto. As medidas de sensibilidade e de especificidade de um instrumento
quantitativo são feitas comparando-as a algum padrão-ouro, jargão que indica a
existência de outra técnica ou instrumento de medida já validado e considerado
como bom.

A validade de um roteiro será sempre uma função da sua capacidade de permitir


emergir as categorias empíricas e os significados relativos à realidade em estudo.
Ele é testado na dinâmica de um processo de intersubjetivação. A produção de
questionários é um labor técnico específico do grupo de investigadores, embora os
pré-testes sejam uma forma de submeter estes dispositivos aos diferentes atores
sociais, buscando sua contribuição para avaliar sua adequação e inteligibilidade.

Os questionários são construídos por meio de um número considerável de


questões fechadas, prevendo-se respostas categorizadas. Em abordagens
qualitativas, os roteiros podem ser de vários tipos, abordando um único tema ou
vários, permitindo maior ou menor espontaneidade aos depoimentos. É possível

133
categorizá-los como (Patton, 2000; Fontana & Frey, 2000; Marconi & Lakatos,
1999):

ƒ informais: seguem um fluxo de conversação espontânea, porém é proposto


pelo entrevistador um tema para ser debatido de maneira mais
aprofundada. As perguntas podem ser personalizadas para cada
entrevistado;
ƒ focalizados: possuem uma lista de questões que a princípio serão
submetidas a todos os entrevistados, mas que concedem liberdade ao
entrevistador ou entrevistado a explorar mais determinada temática, relato
de experiência ou ponto de vista;
ƒ padronizados, ou seja, compostos de perguntas detalhadas que serão
aplicadas a todos entrevistados, de maneira idêntica, sem alteração de
ordem ou de formulação, visando a minimizar os efeitos da interação
entrevistador-entrevistado.

4.1. CONSTRUÇÃO DE ROTEIROS

Por roteiro se entende uma listagem de temas que desdobram os indicadores


qualitativos, elaborados de forma compartilhada com os diferentes atores
envolvidos em uma investigação, como já se discutiu no capítulo anterior. Esta
listagem deve ter, como substrato, um conjunto de conceitos que constituem todas
as faces do objeto de investigação e visar, na sua forma de elaboração, a
operacionalizar a abordagem empírica do ponto de vista dos entrevistados. Os
roteiros são feitos para entrevistas e para a observação de campo. No formato
final de sua elaboração, o roteiro deve apresentar-se na simplicidade de alguns
tópicos que guiam a entrevista de forma coerente, sendo capaz de propiciar uma
relação de confiança entre entrevistado e entrevistador ou possibilitando conduzir
a observação de campo de uma maneira que permita, ao mesmo tempo, a
abertura para novas descobertas e o foco nas questões previamente apontadas
para avaliação.

134
As entrevistas podem assumir diferentes formatos, recebendo distintas
classificações (Flick, 2002; Marconi & Lakatos, 1999), tais como episódicas
(voltadas para o cotidiano e a vivência de certos processos); focais
(desencadeadas a partir de estímulos tais como filmes, fotos etc.); narrativas
(priorizando processos biográficos); clínicas (voltadas para estudar os sentimentos
e condutas das pessoas); e painéis (repetição de perguntas semelhantes
aplicadas ao longo do tempo para estudar a mudança de opiniões, valores e
comportamentos). Desta forma, cada tipo de entrevista demandará um
determinado formato de roteiro e lógica de aplicação. Analisam-se, a seguir, os
roteiros mais usados nos processos de avaliação:

• Roteiro para entrevista aberta (ou não-estruturada ou etnográfica) – É,


aparentemente, mais simples de se preparar, pois pouco demanda do
investigador quanto à listagem de temas. O instrumento da entrevista
aberta é a descrição sucinta, breve e ao mesmo tempo abrangente, pelo
entrevistador, do objeto da investigação, orientando os rumos da fala do
interlocutor. Esse tipo de instrumento exige suficiente preparação sobre o
tema da investigação para permitir, ao investigador, durante a entrevista,
colocar questões que ajudem o entrevistado a abranger níveis cada vez
mais profundos em sua exposição. Nesse caso, o instrumento fica
guardado na memória do investigador testando sua capacidade de ouvir e
conduzir o entrevistado para que explicite da forma mais abrangente e
profunda possível, seu ponto de vista (Minayo, 2004; Marconi & Lakatos,
1999).
• Roteiro para entrevista semi-estruturada – Para esta modalidade de
abordagem, o roteiro deve se apoiar nas variáveis e indicadores
considerados essenciais e suficientes para a construção de dados
empíricos, podendo ser organizado em tópicos temáticos. Esses tópicos
funcionam apenas como lembretes, devendo, na medida do possível, ser
memorizados pelo investigador quando está em campo. Servindo de
orientação e guia para o andamento da interlocução, constrói-se o roteiro

135
de tal forma que permita flexibilidade nas conversas e absorção de novos
temas e questões trazidas pelo interlocutor como sendo de sua relevância.

Segundo os propósitos da pesquisa, os roteiros podem priorizar alguns tipos de


questões, tais como perguntas sobre (Patton, 2002): experiências e
comportamentos; opiniões e valores; sentimentos; conhecimentos e interpretação
de informações e impressões. É importante ainda considerar que o roteiro deve
levar em conta uma lógica de encadeamento das perguntas. Geralmente ocorre
uma seqüência de temas (Flick, 2002) na conversa semi-estruturada que vai da
introdução dos propósitos da entrevista para a concepção do entrevistado sobre o
programa e sua biografia em relação a ele. Em seguida, passa para o sentido que
as ações do programa têm para a vida cotidiana e focaliza questões centrais da
avaliação proposta. Continua com tópicos gerais mais relevantes, permitindo
exprimir expectativas, sugestões e, finalmente, chega ao balanço informal da
entrevista: o investigador solicita ao entrevistado que amplie o debate, sugerindo
novas questões a serem incluídas no roteiro.

Apesar da diversidade de propósitos, um roteiro deve levar em consideração as


seguintes questões:

ƒ A forma de colocação de um item na lista. Em uma entrevista de cunho


qualitativo devem ser evitadas perguntas que conduzam a respostas
dicotômicas do tipo sim ou não ou então, que exijam definições externas às
vivências dos entrevistados, pois seria como se ele estivesse respondendo
a um teste escolar. É preciso evitar também perguntas que induzam o
entrevistado a determinadas respostas, tais como as que trazem
implicitamente valores e julgamentos em seu enunciado. Ao contrário,
deseja-se que a linguagem do roteiro provoque as várias narrativas
possíveis das vivências que o entrevistador vai avaliar; as interpretações
que o entrevistado emite sobre elas e sua visão sobre as relações sociais
envolvidas nessa ação;

136
ƒ O guia de entrevista deve conter apenas alguns itens indispensáveis para o
delineamento do objeto em relação à realidade empírica, facilitando a
abertura, a ampliação e o aprofundamento da comunicação (Minayo, 2004;
Pádua, 2003; Willig, 2001);
ƒ Cada questão do roteiro deve fazer parte do delineamento do objeto, de
forma que todas, em conjunto, se encaminhem para dar-lhe forma e
conteúdo e contribuam para enfatizar as relevâncias previstas no projeto
(ponto de vista do investigador) e as dos informantes (ponto de vista dos
entrevistados), constituindo um texto negociado (Minayo, 2004; Fontana &
Frey, 2000; Denzin & Lincoln, 2000).

O pré-teste dos roteiros, que consiste na realização de entrevistas com os


informantes previstos no desenho do projeto, leva, geralmente, à modificação da
lista de temas e da forma de abordar os assuntos. Freqüentemente, torna-se
necessário dar explicações mais claras aos entrevistados sobre os tópicos que, na
sua elaboração, provoquem dúvidas, ou então, é recomendável acrescentar
questões que se mostrem relevantes do ponto de vista dos atores, surgidas nestas
interações.

Como já dito, o roteiro de investigação qualitativa pode ainda ser modificado


durante o processo interativo em campo, quando o investigador percebe que
determinados temas, não previstos, estão sendo colocados por seus
interlocutores, parecendo ser, para eles, de alta significância. Essas modificações
não devem causar preocupações, uma vez que, na abordagem qualitativa não se
quantificam respostas e sim, busca-se o ponto de vista dos entrevistados a
respeito dos temas em questão. Nesses casos, a unidade de significação não é
composta pela soma das respostas de cada indivíduo para formar uma relevância
estatística. E sim, ela se constrói por significados que conformam uma lógica
própria do grupo ou mesmo, suas múltiplas lógicas (Minayo, 2004).

Carlota, aqui vai mais um exemplo.

137
ROTEIROS DE ENTREVISTAS USADOS NO PROGRAMA CUIDAR
Os roteiros de entrevista da avaliação do Programa Cuidar seguiram as demandas de uma
entrevista semi-estruturada, isto é, introduziram as temáticas ao debate, permitindo a
flexibilidade para colocar novas perguntas no curso da conversa. Como todos os demais
instrumentos, os roteiros de entrevista foram sendo modificados a cada nova etapa da
avaliação do Programa, buscando captar o caminhar deste processo de implementação,
com o intuito de avaliar as mudanças operadas no decorrer de cada ano da execução do
Cuidar.
Os roteiros foram dirigidos essencialmente aos gestores: autoridades da Secretaria de
Educação, diretores das unidades escolares, supervisores locais da Modus [instituição
autora e executora do Programa) e gestores da Modus. Excepcionalmente na segunda
avaliação foram entrevistados os professores que foram os responsáveis pela capacitação
dos seus colegas de unidade escolar para atuarem no Programa.
Os roteiros exploravam os processos, parcerias e estratégias de execução do Cuidar. Os
mesmos intuitos orientaram os roteiros das entrevistas com as autoridades, acrescidos do
interesse de sondar as opiniões e expectativas desses sujeitos em relação à continuidade,
sustentabilidade e expansão do Programa nos municípios.

• Roteiro para grupo focal – A construção do roteiro para a realização da


entrevista em grupo tem pelo menos duas condições imprescindíveis: ser
suficientemente provocador para permitir um debate entusiasmado e
participativo; promover condições de aprofundamento, fazendo jus ao que
se pretende com esta técnica. Por isto, vários meios podem ser usados:

ƒ a formulação de uma pergunta central, acompanhada


de alguns itens que, durante a aplicação da técnica possam ajudar
a condução do tema rumo à focalização;
ƒ a escolha de um recurso mobilizador, por exemplo, de
foto, imagem, estória ou de pequena parte de um filme, abrindo
para discussão livre, em um primeiro instante, e depois
direcionada, por perguntas formuladas a partir das falas, ao
objetivo da investigação;
ƒ a elaboração, pelo investigador, de um texto episódico
que provoque e focalize a discussão, entre outros.

Carlota, mais um exemplo.

138
CONSTRUÇÃO DOS ROTEIROS DE GRUPOS FOCAIS DA PESQUISA AVALIATIVA
Os roteiros dos grupos focais, bem como os das entrevistas, que serviram de
base para a avaliação do Programa Cuidar foram elaborados a partir de
construção interdisciplinar, envolvendo todos os pesquisadores do Claves. Os
conteúdos focalizados nos instrumentos da primeira avaliação (que se destinava
a construir um diagnóstico dos valores e relações entre alunos e professores)
foram extraídos dos materiais didáticos produzidos pela Modus, tomando como
horizonte os cinco eixos centrais do Programa Cuidar: (1) o adolescente consigo
mesmo; (2) o adolescente e sua relação com as outras pessoas; (3) o
adolescente e as questões transcendentais; (4) o adolescente e sua relação com
o meio ambiente; (5) fatores e comportamentos de risco à saúde. Dado o grande
número de questões a serem trabalhadas e buscando privilegiar a discussão e o
aprofundamento dos temas, foi necessário elaborar dois roteiros voltados para a
reflexão dos alunos. Embora se tenha priorizado a escuta dos alunos sob
intervenção do Cuidar buscou-se ainda analisar se haveria mudanças no
cotidiano das relações escolares e se essas transformações poderiam ser
creditadas ao Cuidar. Optou-se, então, por também realizar, desde o começo,
grupos focais nas escolas de controle (as sem o Programa). Nas escolas em que
existia o Programa foram sempre aplicados os dois roteiros e nas escolas-
controle, os roteiros foram executados de forma alternada, garantindo-se, ao final,
a aplicação eqüitativa de cada um desses instrumentos. Desde este primeiro
roteiro já se adotava uma dinâmica que mesclava perguntas e estórias
provocativas ao debate. Algumas perguntas seguiam o perfil da modalidade de
entrevista de painel, isto é, as mesmas perguntas eram reapresentadas aos
entrevistados em diferentes épocas (o intervalo sempre foi de cerca de um ano),
permitindo posterior comparação entre opiniões e posturas.
Foi, igualmente, construído um roteiro exclusivo para os professores das escolas
incluídas no Programa Cuidar. Adotaram-se os mesmos eixos temáticos do
roteiro produzido para os alunos. Todos eles foram pré-testados em escolas do
município do Rio de Janeiro, visando avaliar sua coerência e adequação.
À medida que o processo de implementação do Programa avançava, os roteiros
dos grupos focais iam sendo adaptados. Na segunda fase, os roteiros dos alunos
exploravam suas primeiras experiências com o Programa: o uso do material a
eles destinado, a vivência de ações ligadas ao Cuidar e a avaliação sobre as
relações entre os sujeitos da comunidade escolar. Os roteiros dos professores
problematizavam a sua experiência de capacitação para atuar no Programa, o
apoio recebido, o material disponibilizado, as primeiras dificuldades identificadas
e suas expectativas. Já nas terceira e quarta avaliações, quando o Programa já
tinha mais de um ano de existência, os roteiros começaram a explorar as
eventuais mudanças operadas no cotidiano das escolas e se elas eram devidas à
atuação do Programa. Os indicadores centrais da avaliação qualitativa
concentravam-se, então, nos eixos programáticos do “cuidado de si” e “cuidado
com os outros”, e na capacidade de “protagonismo”. Especialmente na quarta
avaliação, os roteiros convidavam a uma reflexão sobre o processo, o que deu
certo e as estratégias que não foram exitosas, obstáculos e conquistas, além das
expectativas de continuidade e a sustentabilidade do Programa. Nesta última
avaliação percebeu-se que os pais dos alunos também deveriam ser ouvidos,
criando-se então um instrumento para estes sujeitos que abordava: o
conhecimento e a imagem que tinham do Programa, se percebiam alguma
mudança de comportamento e de relacionamento entre a família, no aluno e na
escola.

139
• Roteiro para observação participante – Antes da elaboração do guia, é
necessário que os investigadores decidam: o que observar. Denomina-se
observação descritiva a que se realiza de forma totalmente livre, embora,
obviamente, o investigador que vai a campo esteja preparado, por
processos anteriores, para olhar o que se relaciona com seu objeto de
estudo. Geralmente, nos casos de investigações multicêntricas, que exigem
vários pesquisadores de campo, como foi o caso da avaliação do Programa
Cuidar, preparam-se e detalham-se alguns pontos a serem observados.
Esses tópicos precisam ser formulados tendo em vista os temas que
constituem objeto da investigação.

Em seu clássico texto de orientação para antropólogos, Malinowiski (1978) dá


algumas pistas importantes para a realização da observação, considerando-a um
dos elementos mais fundamentais da pesquisa etnográfica. Chama atenção para a
necessidade de observar os evasivos da vida social: “toda a estrutura da
sociedade está incorporada no mais evasivo de todos os materiais, o ser humano”
(1978: 40). Explicando o que Malinowiski denomina arcabouço da constituição do
grupo, imponderáveis da vida social e espírito nativo, dir-se-ia que é preciso
observar:
ƒ como os processos que estão sendo investigados, expostos nas
várias formas de entrevista, se organizam na prática;
ƒ como funcionam;
ƒ quais as incongruências entre o que é dito e o que é feito;
ƒ como se processam as relações hierárquicas, as relações entre
pares e entre opostos;
ƒ quais são os símbolos e sinais significativos dos processos em
investigação que estão sendo emitidos e naturalizados no cotidiano
(Minayo, 2004).

Mais um...

140
A OBSERVAÇÃO DE CAMPO DO CUIDAR
No caso da avaliação do Cuidar, foi elaborado um roteiro básico de observação que
permitisse uma certa comparabilidade entre os vários relatos dos pesquisadores que
visitavam escolas em diferentes municípios. O roteiro estabeleceu inicialmente dois eixos
de observação: o do ambiente físico (condições gerais da escola) e do ambiente relacional
(focalizando as relações entre alunos, professores, profissionais da coordenação/direção,
funcionários e, quando possível, incluir os familiares dos alunos neste rol). Este roteiro
básico era enriquecido por detalhes e situações vividas em cada escola, permitindo
reavaliar a inclusão de novos itens de observação. A partir do segundo ano de avaliação
um eixo foi acrescido ao roteiro de observação: o que dizia respeito à presença do
Programa Cuidar nos ambientes físicos e relacionais. Neste eixo procuravam-se as marcas
que o Programa deixava sob a forma de cartazes, mensagens, mudanças na disposição do
espaço ou nas relações. Tal eixo gerou anotações muito ricas em “diários de campo” pois
foram registradas conversas, situações e impressões. Apesar das observações terem sido
apenas coadjuvantes do conjunto de estratégias empregadas, visto que o roteiro dizia
respeito a um dia do cotidiano escolar, tal instrumento permitiu o acompanhamento
gradativo da implantação do Cuidar e possibilitou o confronto crítico com os depoimentos
das entrevistas.

• Roteiro para análise documental – Bachelard (1980) e Block (1954)


chamam atenção para o fato de que os textos não falam por si, mas
respondem a indagações dos investigadores. Na preparação da
investigação, é preciso decidir que documentos listar e de que tipo: escritos,
visuais e audiovisuais. Contendo informações de que natureza: oficial; que
informam a filosofia dos processos em análise; os relatórios das etapas e
desenvolvimento do trabalho; os que narram histórias do cotidiano em torno
do objeto de estudo; os orçamentos; os materiais de divulgação e
propaganda; as comunicações entre os diferentes atores, são alguns dos
que se devem buscar. Frente a cada objeto de estudo e mediante seus
objetivos gerais e específicos, é preciso decidir sobre a lista dos que
buscar.

Idem...
OS DOCUMENTOS DO CUIDAR QUE FORAM ANALISADOS
Distintos documentos foram incluídos na avaliação do Cuidar: análise de relatórios de
atividades, análise de material didático produzido pela Modus e pelas escolas; cartazes e
outros documentos de divulgação do programa. Os relatórios mensais de atividades dos
supervisores locais, remetidos aos gestores da Modus, continham uma estrutura prévia,
delimitada pela instituição. Era preciso então criar um diálogo entre o roteiro já existente e
outras questões, elaboradas para fins de avaliação. Neste sentido, buscou-se identificar o
conteúdo explicitamente apresentado (descrições sobre as atividades realizadas, os atores

141
e parceiros envolvidos, as dificuldades encontradas e as soluções criadas) e os conteúdos
não claramente manifestos: dúvidas, críticas e opiniões emitidas nos relatórios oficiais.
Outra fonte essencial de análise documental foi o acervo de materiais didáticos produzidos
pela Modus para serem distribuídos aos professores das escolas incluídas no Programa.
Todos os livros eram fichados seguindo um roteiro elementar, que solicitava a descrição
dos conteúdos temáticos, as teses, idéias e ideologias ali defendidas, os conceitos
formulados e a linguagem empregada.
Finalmente, os últimos documentos incluídos foram os diversos cartazes elaborados para
sensibilização e divulgação do Programa nas escolas. Roteiro semelhante ao destinado aos
livros foi utilizado.

Em síntese, muitos problemas podem ser identificados nos diferentes roteiros para
uma determinada investigação, quando eles saem do ambiente acadêmico e
ganham significado na interação do entrevistador com o entrevistado. Por esta
razão, é preferível tratá-los sempre como dispositivos flexíveis, destinados a
orientar a condução de uma entrevista ou de qualquer outra técnica, como é o
caso da observação.

Vale lembrar que a flexibilidade que se exige do investigador qualitativo na


elaboração e re-elaboração dos instrumentos nunca deve ser confundida com
improviso ou desleixo. Ter de improvisar por falta de preparação pode colocar em
risco todo o esforço teórico que deve acompanhar, passo a passo a realização de
uma pesquisa ou de uma avaliação.

4.2. CONSTRUÇÃO DO QUESTIONÁRIO

Segundo Hill & Hill (1998: 39), “é fácil elaborar um questionário, mas não é fácil
elaborar um bom questionário”. A construção de um instrumento quantitativo é
parte integrante de um processo que deve começar bem antes da elaboração do
instrumento propriamente dito, pois considera etapas posteriores do projeto de
pesquisa.

Para se construir um bom questionário, é necessário que estejam definidos, de


forma clara, os objetivos e os métodos de análise que serão utilizados para se
atingi-los. Este arcabouço especifica as questões que comporão o questionário.

142
4.2.1 Operacionalização dos objetivos da pesquisa

Uma investigação tem normalmente um objetivo principal, que pode ser (Hill & Hill,
1998) testar uma hipótese, recolher informações para uma avaliação futura ou
coletar dados para comparação com informações já recolhidas. Este objetivo
central costuma ser decomposto em objetivos específicos.

Modelito exemplo

OPERACIONALIZAÇÃO DOS OBJETIVOS NO PROGRAMA CUIDAR


O objetivo principal da primeira etapa do trabalho foi delinear o conjunto de valores
seguidos por alunos e professores de determinadas escolas, verificando se havia alguma
diferença significativa entre as escolas que receberiam a intervenção do Programa Cuidar e
as escolas que serviriam como comparação (ver capítulo 1 – O Desenho do Estudo). Nas
duas últimas etapas, o objetivo central era delinear o mesmo conjunto de valores para
compará-los com as etapas anteriores. Um dos objetivos específicos da primeira fase da
avaliação era testar se fatores como idade, sexo, condição econômica ou composição
familiar dos alunos, bem como sexo, disciplina ou tempo de Magistério dos professores ou
tamanho e características do município tinham efeito sobre a diferença observada. Outro
era detectar possíveis diferenças em componentes restritos do conjunto de valores, como
os relacionados ao meio-ambiente, a questões transcendentais, a situações de risco e à
relação da pessoa com ela mesma e com os outros.

Este exemplo serve para chamar a atenção para o fato de que ainda antes da
formulação do questionário propriamente dito, é necessário transformar os
objetivos principais e específicos em objetivos operacionais (Hill & Hill, 1998). Isto
porque são estes os que podem ser atingidos a partir dos dados recolhidos no
questionário. O processo de passagem dos objetivos principais e específicos para
torná-los operacionais faz que o pesquisador tenha de pensar, simultaneamente,
nos tipos de questões que comporão o questionário e nos métodos de análise
desses dados. A natureza das questões impõe restrições sobre os métodos de
análise de dados e os objetivos operacionais são (parcialmente) definidos em
termos destes métodos.

Considerando-se, por exemplo, o seguinte objetivo específico: “investigar se a


idade do estudante influencia o seu consumo de álcool”. Na transformação deste
objetivo específico em operacional, é preciso indicar como se pretende avaliar

143
essa “influência”. A idade do estudante normalmente é informada como
pertencente a um intervalo de valores (faixa etária) ou como um valor específico.
Neste exemplo, a variável idade pode receber valores inteiros, em anos
completos. Já a variável consumo de bebida alcoólica pode ser medida de várias
formas, com impacto direto no tipo de objetivo operacional que pode ser atingido.

Supondo, primeiramente, que o questionário tenha uma questão em que, como


resposta, o estudante deve indicar a freqüência com que consome bebida
alcoólica e, admitindo como possíveis retornos de sua parte: “sempre, muitas
vezes, poucas vezes e nunca”, é possível estabelecer uma correlação estatística
entre essas variáveis. Este seria o objetivo operacional que poderia ser atingido:
definir se há uma correlação significativa entre idade e consumo de álcool por
parte dos estudantes pesquisados.

De um outro modo, supondo que o questionário peça ao estudante que indique


apenas se ele consome bebida alcoólica e, admitindo-se como possíveis
respostas: “sim e não”, chega-se à conclusão de que a técnica de correlação não
é indicada. Assim, não é possível atingir o mesmo objetivo operacional referido no
parágrafo anterior. Porém, pode-se redefinir o objetivo operacional como:
estabelecer se há diferença significativa de idade entre os estudantes que
consomem bebida alcoólica e os que não a consomem.

É possível, então, avaliar-se a influência da variável idade no consumo de álcool,


de pelo menos, duas formas diferentes, ambas aceitáveis, mas não exatamente
iguais. Isso se dá porque a pergunta relativa ao consumo de álcool foi desenhada
de maneira diferente, originando processos também diferentes de análise de
dados. Daí se conclui pela importância do pesquisador definir os objetivos
operacionais que pretende atingir durante o processo de construção do
instrumento, para que as questões e os métodos de análise sejam determinados
de forma que se possa atingi-los.

4.2.2.Tipos de questões

144
Existem vários critérios diferentes de classificação de questões em um
questionário. O mais comum divide-as em fechadas, abertas e mistas. A escolha
do formato mais adequado das respostas deve levar em conta vantagens e
desvantagens de cada tipo para os objetivos a serem alcançados na pesquisa.

• Questões Fechadas – Nas questões fechadas, ou de múltipla escolha, são


apresentadas várias opções, devendo ser escolhidas uma ou mais dentre
elas (Chagas, 2000). Podem-se apontar algumas considerações
importantes relacionadas a este tipo. As alternativas devem ser
coletivamente exaustivas e mutuamente exclusivas, ou seja, as questões
devem cobrir todas as respostas possíveis e uma alternativa deve ser
totalmente incompatível com todas as demais. Existem diferentes maneiras
de se responder a perguntas de múltipla escolha. A questão tal como
formulada pode exigir que o entrevistado escolha apenas uma das
alternativas; pode permitir, ao contrário, a escolha de mais de uma opção
ou pode pedir que ele ordene alternativas segundo algum critério como
preferência, importância, freqüência, facilidade e outros.

No Quadro 1, apresentam-se algumas das vantagens e desvantagens das


questões fechadas.

Quadro 1 – Vantagens e desvantagens das questões fechadas

Vantagens Desvantagens
Apresentam facilidade e rapidez no Exigem muito cuidado e tempo de
ato de responder preparação para garantir que todas as
opções de respostas sejam oferecidas
Apresentam pouca possibilidade de O respondente pode ser influenciado pelas
erros alternativas apresentadas
São altamente objetivas Se alguma alternativa importante não foi
previamente incluída, fortes vieses podem
ocorrer
São de fácil aplicação, Por vezes a informação das respostas é
processamento e análise reducionista, conduzindo a conclusões
simples demais
Permitem análise de dados de Às vezes requerem conhecimentos e

145
maneira sofisticada. equipamentos de informática para análise
nem sempre disponíveis.

• Questões Abertas – Nas questões abertas, os respondentes ficam livres


para usar as próprias palavras, sem se limitarem ao rol de alternativas
(Chagas, 2000). Esse tipo de resposta é muito mais difícil de se analisar,
por isto seu uso deve ser parcimonioso. Existem dois tipos bem distintos de
questões abertas: as numéricas e as de texto. As numéricas, como o
próprio nome indica, pedem que o entrevistado informe um número. São
usadas para se obter informações sobre idade, peso, altura, tempo de
serviço, dentre outras. Mesmo sendo classificada como aberta, esse tipo de
pergunta compartilha várias vantagens relativas às questões fechadas,
principalmente em relação à objetividade e à facilidade de resposta e de
análise dos seus resultados. Uma desvantagem digna de nota se registra
quando os respondentes não possuem a informação precisa e a estimam.
Neste caso, a resposta pode resultar distorcida.

As questões abertas de texto têm sua própria gama de vantagens e


desvantagens, como relacionado no Quadro 2.

Quadro 2 – Vantagens e desvantagens das questões abertas de texto

Vantagens Desvantagens
Exigem menor tempo de elaboração Quando aplicadas em forma de
entrevistas, podem levar a vieses dos
entrevistadores
Cobrem pontos além das questões São mais trabalhosas para responder
fechadas
Podem dar mais informação, Dão margem à parcialidade do
proporcionando comentários, entrevistador na compilação das
explicações e esclarecimentos respostas
significativos para se interpretar e
analisar as respostas.
Evita-se o perigo do pesquisador deixar Apresentam dificuldade para
de relacionar alguma alternativa codificação, pois, possibilitam
significativa no rol de opções interpretação subjetiva de cada
decodificador

146
Por vezes possibilitam o surgimento de São menos objetivas para se aferir
informação inesperada magnitude, já que o respondente pode
divagar e até mesmo fugir do assunto
Têm menor poder de influência nos São mais onerosas e mais demoradas
respondentes do que as perguntas com para serem analisadas
alternativas previamente estabelecidas

• Questões Mistas – Constitui uma combinação dos dois anteriores. A


questão se apresenta com uma série de alternativas de resposta, sendo a
última do tipo “Outra opção. Qual?”, são elaboradas com o objetivo de
garantir a exaustão de todas as possibilidades frente ao tema tratado.
Compartilham, basicamente, as mesmas vantagens e desvantagens das
questões fechadas. Superam, no entanto, uma das principais desvantagens
destas últimas: a impossibilidade de se dar uma resposta diferente às
alternativas oferecidas. Não é desejável, entretanto, que haja muitas
respostas diferentes das opções oferecidas. Quando isto ocorre, sinaliza a
imperfeita elaboração de uma questão. Se problemas desse tipo forem
detectados precocemente (no pré-teste, por exemplo), convém redefinir as
alternativas.

Carlota, aqui vai mais um exemplo.

QUESTIONÁRIOS USADOS NA AVALIAÇÃO DO CUIDAR


Na pesquisa avaliativa do Cuidar, o questionário foi construído a partir de consultas a
estudos prévios e de exaustiva discussão interavaliadores. Ele foi submetido a pré-teste em
escolas do município do Rio de Janeiro e, paulatinamente, foi sendo aprimorado ao longo
da avaliação. Na discussão sobre a construção das questões já eram pensadas as formas
que elas assumiriam no processamento e análise dos dados, o que muitas vezes exigia a
revisão das escalas de respostas, a fim de possibilitar o alcance do objetivo pretendido com
aquela questão.
Amplo debate foi feito no sentido de optar pela utilização de escalas já validadas na
população brasileira ou por questões isoladas sobre o mesmo assunto (muitas delas
utilizadas em várias pesquisas nacionais e internacionais). Em poucas situações foi
possível utilizar escalas já utilizadas e validadas no país, como é o caso do uso de
substâncias (Cebrid, 1997), mas foram mais utilizadas questões isoladas sobre cada tema,
pela extensão de questões focadas no Programa que necessitavam ser avaliadas.

147
O instrumento, finalmente, ficou constituído, sobretudo por questões fechadas, com
alternativas múltiplas, mas também continha umas poucas questões dicotômicas e algumas
mistas.
Foram construídos questionários para alunos e para professores, mas buscou-se
concatenar uma série de questões a fim de proceder à comparação discente/docente.
Também havia diferenciações entre os questionários das escolas com e sem a intervenção.
Além desses, foi feito um pequeno questionário para a segunda fase da avaliação. Ao todo
foram cinco instrumentos.
Na primeira fase da avaliação o questionário foi composto por seis blocos de questões: um
sobre o perfil dos alunos e dos professores e outros cinco sobre os eixos de valores
abordados pelo Programa. Na segunda fase havia um bloco dedicado ao perfil dos
professores e questões sobre a implementação do Programa. Nas terceira e quarta fases o
questionário teve a mesma estrutura: um bloco para informações sobre o perfil dos
entrevistados, questões dedicadas aos cinco eixos de valores e itens específicos de
avaliação. Na quarta fase, esse último item era bastante reduzido nas escolas que
compunham o grupo de comparação.

4.2.3.Tipos de questionário

Uma das decisões importantes no momento de construção de um questionário se


refere a como ele será aplicado. Existem basicamente duas opções: por meio de
entrevista e por autopreenchimento (Santos et al., 2004).

ƒ Preenchimento por entrevista – Nesta modalidade, o investigador preenche


o questionário com as respostas às perguntas que vai formulando. Há um
contacto pessoal e direto entre o aplicador e o respondente, havendo por
parte do entrevistador, a oportunidade de certificar-se se as respostas
correspondem fielmente ao que o entrevistado quis dizer. As entrevistas
também facilitam as respostas a perguntas que pedem opinião do
interlocutor. Como desvantagem, constata-se que o questionário por
entrevista consome muito tempo e, conseqüentemente, é muito
dispendioso. O entrevistador é considerado parte do processo de coleta de
dados e precisa de um treinamento prévio para aprender a conduzir uma
entrevista e ultrapassar dificuldades mais freqüentes.
ƒ O questionário autopreenchido pode ser aplicado com ou sem a presença
do entrevistador. Quando esse processo é conduzido por alguém,

148
normalmente um grupo de pessoas é reunido e os formulários são
distribuídos para cada pessoa que responde às questões individualmente.
Neste caso, se algum respondente tiver alguma dúvida relativa ao
questionário, tem a opção de pedir ajuda ou esclarecimentos ao
entrevistador no ato da aplicação.

O questionário também pode ser respondido sem a presença do aplicador,


normalmente sendo enviado pelo correio convencional ou eletrônico. Essa
modalidade tem como vantagens, o fato de se poder atingir um grande número de
pessoas de forma não muito dispendiosa e de o respondente poder preencher o
questionário quando lhe for mais conveniente. No entanto, observa-se baixa taxa
de retorno e não é indicado quando as perguntas exigem respostas muito
detalhadas.

4.2.4.Padronização do questionário

• Folha de Rosto – A folha de rosto é normalmente a primeira página de um


questionário a ser examinada pelo respondente. É necessário dar-lhe
especial atenção. As primeiras impressões que um respondente tem são
importantes e influenciam a decisão de cooperar (Hill & Hill, 1998). É
comum, e normalmente útil, que nessa página sejam considerados alguns
aspectos:

ƒ Sobre a identificação do respondente – Essa identificação tem sérias


implicações relativas ao anonimato do questionário. Portanto, só deve ser
pedida quando incontornavelmente necessária. Comumente, esse item só
se faz necessário quando há a previsão de se retornar ao mesmo
respondente em uma etapa futura do projeto de pesquisa.

Carlota, aqui vai mais um exemplo

149
A PRESERVAÇÃO DO ANONIMATO DOS INFORMANTES NA AVALIAÇÃO DO PROGRAMA
No caso da avaliação do Programa Cuidar, foi utilizado um sistema intermediário para o
acompanhamento das pessoas. Como os questionários eram aplicados em diversas etapas
ao longo do tempo, havia a necessidade de se identificar, no banco de dados, os
respondidos pela mesma pessoa nos diferentes momentos. No entanto, para garantir o
anonimato dos respondentes solicitaram-se apenas as iniciais do nome e o dia e mês de
nascimento do respondente, fosse ele aluno ou professor. Esses caracteres tornaram
possível criar um código capaz de identificar cada respondente nas diferentes etapas, sem
identificação pessoal, reforçando-se a garantia formal de anonimato. Os pesquisadores
nunca tiveram listas nominais dos integrantes da escola.

• Sobre a apresentação da pesquisa – É preciso expor os objetivos principais


do questionário, indicando a natureza e importância do problema que está
sendo investigado. Na folha de rosto, costuma-se indicar nomes ou
logomarcas das instituições responsáveis pela realização da pesquisa e por
seu financiamento.
• Sobre pedido de cooperação – Uma solicitação de colaboração no
preenchimento do questionário deve ser feita, ressaltando sua importância
para o sucesso do estudo. Em algumas situações, é bom esclarecer sobre
a natureza voluntária da participação. Em breves palavras pode-se motivar
o respondente, ressaltando as vantagens que a pesquisa poderá trazer
para a sociedade e em particular para ele ou seu grupo, se for o caso.
• Sobre instruções para o preenchimento. Este aspecto é essencial em
questionários autopreenchidos, devendo-se oferecer informações claras e
objetivas para o desempenho dessa tarefa.

Carlota, aqui vai mais um exemplo

A APLICAÇÃO DO QUESTIONÁRIO DE AVALIAÇÃO


Na experiência avaliativa aqui exemplificada, o questionário foi autopreenchido com a
presença de aplicadores em sala de aula. Eles se apresentavam, discorriam sobre os
objetivos da pesquisa e solicitavam a colaboração dos presentes. Todas essas
informações constavam na folha de rosto do instrumento. Com o uso de um cartaz
explicavam a forma como deveriam proceder para o preenchimento adequado,
tomando uma das questões como exemplo. Os aplicadores permaneciam presentes

150
até que o último respondente entregasse o questionário, podendo, assim, esclarecer
as dúvidas que surgiam.

• Sobre anonimato – Se o questionário for anônimo, é útil declarar isso


formalmente, garantindo que a informação fornecida será tratada
confidencialmente. Questões que pedem opiniões, atitudes e percepções
dependem fundamentalmente da sinceridade dos respondentes. Na imensa
maioria das vezes, essa sinceridade fica gravemente comprometida se não
há, por parte do pesquisador, uma postura clara e explícita a favor do sigilo
das respostas.
• Sobre formas de contatar o investigador ou a equipe – Além dos cuidados
acima é importante que haja, no instrumento, um endereço ou telefone de
contato para que o respondente, ou mesmo o pesquisador possa contatar a
equipe central no caso de dúvidas ou necessidade de esclarecimentos.

4.2.4. Validação e Consistência do Questionário

Um dos importantes aspectos a ser considerado ao elaborar um questionário é o


que trata da sua validação, também chamada consistência interna. É desejável
verificar, desde o pré-teste, se as respostas obtidas são realmente as informações
que se deseja. Se as perguntas solicitam atitudes, opiniões, percepções ou
valores, se existem dúvidas sobre a validade das respostas a cada uma das
perguntas. Certos cuidados podem ajudar a quem constrói um questionário.

ƒ Alguns itens, quando respondidos, estabelecem o contexto de quem os


respondeu. Convém tê-los em conta em questões subseqüentes.
ƒ As opções apresentadas nas questões fechadas precisam ter valores
concretos, de modo a evitar ambigüidades na sua escolha. Devem-se usar
critérios objetivos sempre que possível.
ƒ É possível, sem grande esforço, manipular a resposta que será dada a
certas questões. Isto acontece por vezes inconscientemente, refletindo os

151
desejos de quem escreve o questionário. O investigador precisa estar
atento a isto.

Em todos os tipos de questionário, é muito útil consultar especialistas na área


disciplinar e temática que será abordada, de forma que se assegurem consistência
teórica, clareza e compreensão.

Mais um exemplo

O OLHAR DE ESPECIALISTAS SOBRE O QUESTIONÁRIO


No caso da avaliação do Programa Cuidar, a equipe responsável pela implantação do
programa e vários especialistas das áreas de educação, psicologia e saúde foram
consultados. Esses profissionais, além de conhecerem, por razões óbvias, os temas
abordados pela intervenção, possuíam grande familiaridade com o universo escolar,
onde os questionários seriam aplicados.

Porém, conforme lembram Goode & Hatt (1972), nenhuma quantidade de


pensamento, não importa quão lógica seja a mente e brilhante a compreensão,
pode substituir uma cuidadosa verificação empírica. Daí a importância de saber
como o instrumento de coleta de dados se comporta em uma situação real por
meio de um pré-teste. Sem o pré-teste, pode-se perder tempo, dinheiro e
credibilidade, caso se constate, tardiamente, algum problema grave com o
questionário já na fase de aplicação. Se isso ocorrer, o questionário deve ser
refeito e se perdem todas as informações já colhidas.

O pré-teste é um ensaio geral. Cada parte do procedimento deve ser planejada e


implementada exatamente como se prevê para o momento da coleta efetiva dos
dados. As instruções devem estar na formulação final e ser obedecidas
rigorosamente, buscando-se averiguar sua adequação. Ao questionário,
apresentado como se fosse na sua forma definitiva, devem responder pessoas
com as mesmas características básicas do público-alvo da pesquisa,
preferencialmente, pertencentes ao próprio público-alvo.

152
A avaliação do pré-teste inclui a análise da proporção de respostas do tipo "não
sei", a identificação de questões que se mostraram difíceis, ambíguas ou mal
formuladas, além de comentários, muitas vezes valiosos, feitos pelos
respondentes sobre a ausência ou o excesso de determinados temas. Caso o pré-
teste revele necessidade de muitas alterações, o questionário revisado deverá ser
então novamente testado. O processo será repetido tantas vezes quantas forem
necessárias, até que o instrumento esteja adequado e pronto para ser aplicado.

Uma forma refinada de testar a consistência interna de um questionário e


eventualmente aprimorá-lo, é o uso de análise fatorial. Essa metodologia auxilia a
validação porque permite, a partir do conjunto de dados, agrupar os itens mais
correlacionados entre si e separar os não correlacionados (ver capítulo 3).
Portanto, é possível especificar itens ou questões de um questionário que não
contribuem significativamente para a caracterização do que se deseja medir.

Exemplo

AVALIAÇÃO DA CONSISTÊNCIA DO QUESTIONÁRIO


Os dados recolhidos na 1a etapa da avaliação foram utilizados para se realizar
uma análise fatorial, definindo-se a estrutura subjacente aos conceitos
pesquisados (no caso, diferentes conjuntos de valores e opiniões). Ao se definir
essa estrutura, foi possível identificar questões que pouco contribuíam para isso.
No momento de se aprimorar o questionário para as etapas seguintes, esse foi
um dos principais critérios para a eliminação de questões, o que deixou o
instrumento menos extenso e mais consistente.
No exemplo do Cuidar aqui adotado, na 1a etapa da avaliação foram aplicados
1.744 questionários aos estudantes e 308 aos professores. Na 2a etapa, foram
aplicados 158 questionários apenas aos professores das escolas sob intervenção
do Programa Cuidar. Na 3a etapa foram 1.110 questionários aplicados aos
estudantes e 391 aos professores e na 4a e última etapa, foram 1.454 aos
estudantes e 279 aos professores.
O questionário que foi repetidamente aplicado aos alunos e professores foi sendo
aprimorado por meio de análise fatorial, tornando-se menor e mais consistente. O
dos alunos passou de 115 questões na primeira fase para 79 na quarta fase. Do
mesmo modo, o aplicado aos professores passou de 122 para 93 nessas mesmas
etapas.

4.3. Breves conclusões

153
Ao encerrar este capítulo, é importante ressaltar que, os instrumentos de qualquer
tipo de investigação e, sobremodo, de uma avaliação investigativa como a do
Programa Cuidar, realizada de forma multicêntrica, por vários investigadores e em
etapas diferentes do processo de intervenção social, precisam ser
cuidadosamente construídos, sob pena de não existir nenhum tipo de
fidedignidade e de comparabilidade. Adicionando-se às especificidades já
mencionadas, o fato de que se trabalhou de forma interdisciplinar e se buscou
uma triangulação dos métodos, o cuidado nessa etapa de elaboração permitiu,
primeiramente perceber similaridades e diferenças e em seguida, propor
interfertilização das informações. Em última instância perguntas feitas das mais
diferentes formas quantitativas e qualitativas propiciam a compreensão das
relevâncias realmente observadas no processo social e de mudança, como foi o
caso da avaliação do Programa Cuidar.

Referências Bibliográficas

BACHELLARD, G. La Formation de l´Esprit Scientifique. Paris: Librairie


Philosophique J. Vrin, 1980.

BLOCK, M. The Historian’s Craft. Nova York: Prentice Hall, 1954.

Centro Brasileiro de Informações sobre Drogas Psicotrópicas (CEBRID). IV


Levantamento sobre o uso de drogas entre estudantes de 1º e 2º graus em 10
Capitais Brasileiras. São Paulo: CEBRID, 1997.
CHAGAS, A. T. R. O questionário na pesquisa científica. Revista Administração on
line – FECAP, 1(1), 2000. Disponível em: http://www.fecap.br/adm_online. Acesso
em: 01/06/04.
DENZIN, N. K. & LINCOLN, Y. S. Handbook of Qualitative Research. California:
Sage Publications, 2000.
FLICK, U. A entrevista episódica. In: BAUER, M. & GASKELL,G. (orgs). Pesquisa
Qualitativa com Texto, Imagem e Som. Petrópolis: Vozes, 2002.

154
FONTANA, A. & FREY, J. H. The interview: from structured questions to
negotiated text. In: DENZIN, N. K. & LINCOLN, Y. S. (orgs.). Handbook of
Qualitative Research. California: Sage Publications, 2000.
GOODE, W. J. & HATT, P.K. Métodos em Pesquisa Social. São Paulo: Nacional,
1972.
HILL, M. M. & HILL, A.B. A Construção de um Questionário. Lisboa: Dinâmica
Editora, 1998.
KANT, I. Crítica da Razão Pura. Rio de Janeiro: Abril, 1980. Coleção os
Pesadores.
MACEDO, R. S. A Etnopesquisa Crítica e Multireferencial nas Ciências Humanas
e na educação. Salvador: EDUFBA, 2000.
MALINOWSKI, B. Os Argonautas do Pacífico. São Paulo: Abril, 1978. Coleção Os
Pensadores.
MARCONI, M. A. & LAKATOS, E. M. Técnicas de Pesquisa. São Paulo: Atlas,
1999.
MINAYO, M. C. S. O Desafio do Conhecimento: pesquisa qualitativa em saúde.
São Paulo: Hucitec, 2004.
PÁDUA, E. Metodologia da Pesquisa: abordagem teórico-prática. Campinas:
Papirus, 2003.
PATTON, M. Q. Qualitative Evaluation and Research Methods. Londres: Sage
Publications, 1990.
SANTOS, C.; ALVES, M.; MACHADO, N.; MORENO, N.; LOPES, P.;
FERNANDES, R. Como fazer um questionário? Disponível em:
http://intro.med.up.pt/. Acesso em: 01/06/04.

WILLIG, C. Introducing Qualitative Research in Psychology. Philadelphia: Open


University Press, 2001.

155
Capítulo 5

Trabalho de campo
Construção de informações qualitativas e quantitativas

Suely Ferreira Deslandes

O trabalho de campo permite obter informações e conhecimentos sobre o objeto de estudo


ou uma hipótese de pesquisa. Em geral, os investigadores utilizam vários instrumentos:
entrevistas estruturadas, semi-estruturadas, em profundidade, observação, coleta de material
documental e outros. Esta etapa da avaliação constitui uma das fases mais importantes, pois
permite a produção de dados primários e a captação de outros materiais que balizam a
dimensão e o sentido das atividades (Minayo, 2004; Marconi & Lakatos, 1999).

A idéia de “ida a campo” – que significa ir para ver, ouvir, observar e comunicar-se – tem,
na antropologia, sua mais antiga aplicação. Os estudos realizados por Boas entre os
esquimós em 1883, por Spencer com os aborígines da Austrália em 1899 e por Seligman e
Rivers na mesma região entre o período de 1864 e 1922 constituíram a primeira geração de
pesquisas que incluíam “trabalho de campo” (Durham, 1978). Posteriormente, Radcliffe-
Brown e Malinowski foram os grandes nomes do método observacional.

Malinowski foi responsável pela sistematização e padronização do método que se


convencionou chamar de etnográfico. Para ele, a imersão na cultura, no cotidiano do grupo
estudado, devia ser priorizada. Era central, para o trabalho, a observação, em lugar dos
roteiros roteiros feitos a partir das referências do pesquisador – que geralmente não
conhecia sequer a língua ou as categorias centrais do pensamento nativo.

Além da tradição da antropologia, a sociologia, inicialmente por meio da Escola de


Chicago (1915-1940), destacou a importância do trabalho de campo, responsável pelo
grande avanço dos “estudos de comunidade” em meio urbano (Coulon, 1995). Seus
pesquisadores inovaram na formulação de abordagens já referidas, como a etnometodologia

155
e o interacionismo simbólico, assim como na produção de instrumentos de observação e de
entrevistas (Haguette, 1990).

As perspectivas compreensivas formaram gerações de antropólogos e sociólogos e também


profissionais das ciências humanas e sociais. Investigadores dos mais diferentes campos
passam a reconhecer que, para produzir um conhecimento em profundidade sobre
determinada cultura ou realidade social, é importante mergulhar no seu cotidiano, buscando
uma relação de intersubjetividade, seja por meio da comunicação verbal seja por meio da
participação em suas atividades.

A prática do trabalho de campo se dedica, fundamentalmente, à construção de dados


empíricos de um estudo, seja ele de pesquisa voltada para a produção de conhecimento e/ou
para a avaliação. Ao contrário da idéia positivista de coleta, que supõe o observador externo
indo aos locais para recolher coisas (inclusive fatos), a proposta construcionista valoriza as
premissas e as categorias do investigador, como recomenda Malinowiski (1978), mas,
simultaneamente, faz um movimento intencional de busca comunicativa com as
representações, valores, crenças, opiniões e categorias empíricas provenientes dos
investigados, em interação e intersubjetividade.

Como lembra Bachelard (1971), o real só responde ao que lhe é perguntado. Os dados de
pesquisa, isto é, as informações e as respostas às perguntas feitas em uma pesquisa, bem
como as técnicas utilizadas para obtê-las, são frutos de várias escolhas: a de construir
coletivamente as balizas do novo conhecimento que vem das trocas com o mundo da vida,
por exemplo, é uma. Mas, em qualquer circunstância, o processo de conhecimento responde
também a opções teóricas e a interesses pessoais ou institucionais (Bourdieu,
Chamboredon, Passeron, 1999).

Os exemplos deste capítulo provêm da pesquisa avaliativa do Programa Cuidar. Este estudo
traz uma experiência bastante singular. O processo avaliativo foi bastante extenso e
prolongado. Envolveu atividades de construção de dados empíricos em 18 escolas, em três
cidades de estados diferentes (Campinas/São Paulo, Juiz de Fora/ Minas Gerais e
Iguatu/Ceará), ao longo de quatro anos de trabalho. Durante este período, em épocas
diferentes, foi necessário empreender sucessivos trabalhos de campo. Entre um período e

156
outro, analisavam-se os dados e se produzia um relatório anual. Desta forma, o acúmulo de
referências interpretativas a cada ano possibilitou um retorno cada vez mais acurado ao
campo, permitindo um olhar mais ágil e sensível quanto às estruturas, relações,
representações e práticas que compunham o universo escolar observado e suas implicações
para a implementação do Programa que se avaliava. Os relatórios de campo da avaliação,
devidamente divulgados entre os sujeitos do Programa, permitiram que vários
interlocutores reorientassem o rumo de suas práticas ou problematizassem aspectos
relevantes que, provavelmente não agiriam assim, de forma espontânea. Em outros termos,
a pesquisa (especialmente a de avaliação) pôde interferir na realidade estudada,
modificando comportamentos e trazendo mais complexidade aos dados produzidos na
interação entre pesquisador e sujeitos em um campo de pesquisa.

5.1. A preparação do trabalho de campo

Imagine-se um pesquisador americano ou europeu, nos fins do século XIX ou na década de


10, ou mesmo nos anos 30 do século XX, indo fazer trabalho de campo em algum lugar
longínquo do Sudão, da Nova Guiné ou do centro-oeste brasileiro. Tais viagens levavam
meses por mar e por terra e eram chamadas, com toda razão, “expedições”. Podiam durar
meses ou anos.

Apesar do tom de aventura e impetuosidade que estas jornadas inspiram hoje, toda uma
sorte de preparativos, dos burocráticos aos logísticos, era necessária para que ocorressem de
forma proveitosa. Nos relatos de viagens, assinalam-se, por exemplo, cuidados em relação a
permissões em embaixadas e governos locais, compra de suprimentos para meses inteiros,
compra de objetos para ofertar aos nativos a fim de facilitar o contato, contratação de
intérpretes e empregados para transportar toda a bagagem, armazenamento de comida,
transporte de barracas e outros.

Muitos antropólogos levavam equipamentos que exigiam cuidados, como máquinas


fotográficas, chapas fotográficas, fonógrafos, aparelhos para medição antropométrica e de
topografia, mapas, mosquiteiros e outros. Vários deles buscavam, ainda, contatos com

157
algum “homem branco” da região, que se dispusesse a lhes dar apoio, hospedá-los por
algum tempo ou servir-lhes como referência em caso de enfermidade ou mesmo de extrema
solidão.

Malinowski (1978: 21), em sua obra-prima Argonautas do Pacífico Ocidental (publicada


em 1922), considerava como condições adequadas à pesquisa etnográfica que o pesquisador
se afastasse do convívio do “homem branco” para poder buscar um contato íntimo com a
vida nativa. Entretanto, também aconselhava aos iniciantes que mantivessem algum tipo de
comunicação com pessoas que pudessem dar-lhes suporte: “É muito bom quando se pode
manter uma base na residência de um homem branco, para guardar os suprimentos e saber
que lá se pode obter proteção e refúgio em casos de doença ou no caso da estafa da vida
nativa”.

O que poderia ser visto como meros detalhes nos preparativos de viagem eram, na
realidade, elementos essenciais para que a pesquisa pudesse, efetivamente, ter chances de
começar. Um dos mais impressionantes relatos sobre tais preparativos e como eles podem
interferir no andamento das investigações é dado por Evans-Pritchard. Na introdução de Os
Nuer (2002), o autor pede ao leitor que não julgue sua obra (considerada um marco na
antropologia) com muito rigor, pois foi realizada em “circunstâncias desfavoráveis”. E ele
não estava exagerando nem um pouco. O povo Nuer, em suas distintas tribos, habitava uma
região pantanosa no Sudão Meridional e eram incrivelmente temidos pelos membros de
tribos vizinhas. Evans-Pritchard (2002: 15) descreve o que teve de enfrentar:

Cheguei à terra dos Nuer em princípios de 1930. O tempo tempestuoso impediu


que minha bagagem me alcançasse em Marselha e, devido a erros pelos quais não
fui responsável, meus suprimentos de comida não me foram enviados de Malakal
e meus empregados zande não receberam instruções de ir a meu encontro. Segui
para a terra dos Nuer (região Leek) com minha barraca, algum equipamento e
alguns suprimentos comprados em Malakal, e dois empregados, um atwot e um
bellanda, escolhidos às pressas no mesmo lugar. [modelito citação]

Quando finalmente estava instalado perto do território Nuer, boa parte de seus empregados,
inclusive o intérprete, aterrorizados, fugiu no meio da noite. Seguindo para outra parte do
território, o investigador encontrou melhor acolhida, porém foi vítima da força
governamental que perseguia rebeldes e acabou ameaçando seu acampamento. Após tantos

158
obstáculos, Evans-Pritchard encerra sua primeira excursão. Na segunda viagem (em 1931),
considerada mais proveitosa do que a primeira, o antropólogo teve dificuldade de obter
água potável, não conseguiu carregadores e contraiu malária, tendo de ser hospitalizado.
Finalmente, na terceira expedição, quatro anos depois, o estudo pode transcorrer mais
continuadamente, mas ainda com dificuldades.

Estes e muitos outros exemplos dos pioneiros do trabalho de campo revelam que esta fase
do estudo exige preparação cuidadosa, sob pena de haver perda de tempo ou mesmo não se
conseguir realizar o trabalho. Mesmo com tais cuidados, as atividades empíricas não ficam
imunes a contratempos e a obstáculos.

Atualmente, as investigações são, em boa parte, realizadas no mesmo país de origem do


pesquisador, envolvendo integrantes e comunidades de sua própria cultura. O investigador
solitário deu lugar a equipes de profissionais que atuam conjuntamente, com evidente
divisão do trabalho investigativo. A preparação da logística da pesquisa é auxiliada por
mecanismos muito cômodos como os de marcar vôos pela internet, organizar a estadia por
telefone ou e-mail, alugar um carro e outras facilidades, como foi feito para a avaliação do
Programa Cuidar. Mas, guardadas as devidas proporções, algumas etapas de preparação
continuam tão difíceis e delicadas como nos primeiros tempos. Por exemplo, em qualquer
hipótese é preciso:

ƒ obter permissões oficiais ou oficiosas para a realização da pesquisa;


ƒ selecionar e capacitar uma equipe para o trabalho de campo;
ƒ listar e preparar todos os suprimentos, equipamentos e instrumentos que serão
necessários;
ƒ organizar os detalhes da estadia, como hospedagem e transporte;
ƒ e, a depender do tipo de estudo, torna-se vital elaborar uma agenda, um roteiro das
atividades, fazendo contatos prévios, marcando as visitas, entrevistas e outros tipos
de ação investigativa.

As permissões oficiais são de diversas naturezas. Podem variar de autorizações do governo


federal, estadual ou municipal para se contatar determinado setor, ter acesso a documentos
e entrevistar determinados funcionários.

159
No caso de populações consideradas vulneráveis, como é o caso dos indígenas e das
crianças, os protocolos são mais exigentes e requerem mais tempo para sua efetiva
obtenção. Em investigações relacionadas a coletividades e a grupos sociais, são necessários
contatos com instituições locais, buscando abrir portas para as atividades. É relevante ter
em conta que os contatos iniciais podem demarcar ou até determinar os rumos de uma
pesquisa. Além disso, na atualidade, levando-se em conta as normas consensuadas para
investigações com seres humanos, há que se buscar a aprovação dos Comitês Institucionais
de Ética em Pesquisa, antes de iniciar o trabalho de campo.

A seleção da equipe de pesquisa precisa cumprir alguns requisitos: o tamanho do grupo e o


perfil dos profissionais que o compõem devem se adequar às necessidades específicas de cada
investigação e ao tempo de que se dispõe para realizá-la. Existe uma equação
aparentemente simples: muitos campos de pesquisa e pouco tempo exigem uma equipe
maior e mais experiente. A capacitação destes profissionais pode variar enormemente
quanto ao foco. Ao se priorizar a construção de determinados tipos de dados e o uso de uma
abordagem específica, todos os esforços devem se remeter ao domínio da técnica e à
padronização de procedimentos.

É importante esclarecer que, embora o trabalho de campo deva permitir criatividade e


construção de informações novas e não previstas nos instrumentos, quando se trabalha com
uma equipe, torna-se importante criar normas e procedimentos comuns a todos. Ao optar
pela formação de um grupo para as atividades de campo que, ao mesmo tempo estará
envolvido em todas as fases da pesquisa, sua capacitação deve incluir o domínio do
conteúdo temático, das referências teóricas e metodológicas, além do treino para o manejo
das técnicas de abordagem empírica.

Os suprimentos podem incluir artefatos que garantam o bem-estar dos integrantes da


equipe, desde vacina a soros específicos para acidentes com animais venenosos, repelente
(quando for conveniente), protetor solar, remédios para males previsíveis, roupas
adequadas ao clima, sempre que isso se aplicar. Equipamentos como máquinas fotográficas,
filmadoras, gravadores e respectivos cabos, baterias e suplementos precisam ser
previamente preparados. Também se organizam os instrumentos e documentos impressos,

160
como questionários, formulários, roteiros de entrevistas ou de observação, consentimentos
esclarecidos, papéis com permissões oficiais, entre outras providências.

A estadia no local, ambiente da investigação, define-se a partir dos objetivos do trabalho e


das decisões da equipe. Será importante estabelecer uma relação mais estreita com a
comunidade? Será melhor, por razões plausíveis, manter uma certa distância dos grupos e
pessoas a serem investigadas? Será aconselhável hospedar-se em um lugar mais simples e
mais perto do campo ou o contrário? Será aconselhável aceitar hospedagem de alguém da
comunidade?

Nas pesquisas, cujo tempo de permanência da equipe em campo é mais restrito, uma
agenda prévia, marcando as entrevistas, reuniões e atividades, é essencial. Mesmo nos
estudos em que se prioriza a observação, a gradativa imersão no cotidiano de determinada
comunidade ou instituição também precisa-se de parâmetros e contatos prévios que evitem
turbulências e contratempos desnecessários na efetivação do trabalho.

A seguir será descrita a ocorrência do trabalho de campo da pesquisa de avaliação do


Programa Cuidar. Esta experiência não foi uma atividade típica do campo antropológico.
As observações efetuadas se restringiram aos momentos de estadia nos locais para
aplicação de questionários, realizações de entrevistas e grupos focais, estendendo-se a
participações em seminários das equipes de formuladores e aos simpósios que reuniram
todos os atores para avaliação coletiva ou para apresentação de trabalhos.

Carlota, mais um exemplo.

ATIVIDADES DE CAMPO DO PROGRAMA CUIDAR


As secretarias de Educação de cada município citado, desde o momento que, em parceria
com a ONG Modus Faciendi e com o Instituto Souza Cruz, aceitaram participar do
Programa de intervenção pedagógica orientado à educação para valores, pactuaram
também sua participação no processo avaliativo que transcorreria durante toda a vigência
da experiência. Como já se relatou anteriormente, a metodologia seguida desde o início
contou com a representação de todos os atores na elaboração do projeto, dos indicadores e
na seleção dos pontos relevantes a serem investigados. Mesmo tendo uma aceitação
prévia para suas atividades, a equipe gestora da pesquisa avaliativa enviou o projeto de

161
investigação e realizou todos os trâmites de praxe para obter a aceitação institucional das
hierarquias do sistema educacional local e das escolas.
As atividades de campo foram marcadas em comum acordo com cada instância abordada,
levando-se em consideração, as necessidades e os prazos da avaliação e a agenda das
escolas, buscando-se evitar épocas de provas ou de outras atividades que envolvessem
docentes e discentes. A partir da aceitação oficial do trabalho de avaliação, cada diretor(a)
de escola foi previamente consultado(a), sendo negociado diretamente com ele(a) os
melhores dias para as atividades.
A equipe de campo foi composta pelos pesquisadores do Centro Latino Americanos de
Estudos de Violência e Saúde da Fiocruz e complementada por pessoas contratadas.
Adotou-se uma estratégia que se mostrou bastante útil para esse tipo de estudo
multicêntrico. Foi contratado um pesquisador residente na cidade onde as escolas estavam
sendo avaliadas, com a responsabilidade de administrar todos os detalhes da agenda de
campo e da seleção e treinamento de uma equipe local de apoio para as atividades. Um
dos critérios utilizados para a contratação desse investigador de campo foi o seu
envolvimento com a execução do Programa Cuidar nas escolas. Essa opção, como todas,
teve vantagens e desvantagens. A vantagem veio de seu profundo conhecimento dos
ambientes que seriam avaliados, das suas facilidades para visitar pessoalmente as escolas
e organizar a agenda de trabalho que previa várias atividades necessárias ao processo de
avaliação em cada local. Houve o cuidado, por parte da equipe coordenadora da avaliação,
de introduzir critérios delimitados e padronizados para as atividades desses colaboradores,
visando a minimizar fatores subjetivos que pudessem interferir em sua atuação. No entanto,
observou-se como principal desvantagem que, excepcionalmente, algumas vezes, seu
envolvimento como executor do projeto gerou um certo viés na seleção das pessoas que
deveriam ser entrevistadas, visando a passar uma imagem apenas positiva e menos
diversificada dos processos em curso.
O treinamento deste pesquisador local foi feito na sede da equipe central de pesquisa,
envolvendo todos os profissionais ligados às abordagens quantitativa e qualitativa, durante
três dias. A cada ano este processo se repetiu. Durante a capacitação, era apresentado,
discutido e se criava um consenso em torno de cada instrumento (questionários, roteiros de
entrevistas, observação) quanto aos seus objetivos, conteúdos e à sua forma de aplicação,
assim como os critérios de seleção dos indivíduos e o número necessário de informantes.
Era organizada uma agenda para a visita em cada escola, levando-se em conta: o número
de turmas a serem entrevistadas, tempo de aplicação dos questionários a alunos e a
professores, número de participantes nos grupos focais e realização de entrevistas com
diretores e membros da Secretaria de Educação, além das formas de observação de
campo. Sabia-se que o tempo estipulado deveria incluir possíveis atrasos, deslocamento de
equipe e outros contratempos. Nesse processo também eram definidos os critérios de
seleção da equipe local e combinada a capacitação que deveria receber. Foi elaborado um
manual contendo todas as instruções, tendo sido distribuído a todos os participantes.
A equipe de campo, sistematicamente envolveu: (a) dois investigadores seniores e dois
pesquisadores auxiliares para a realização das entrevistas qualitativas (todas foram
realizadas pela equipe do Claves) e (b) dois seniores, cinco auxiliares e o colaborador local,
para a aplicação dos questionários. Essa última atividade transcorreu sempre com a
colaboração das duas equipes. O trabalho de campo, em cada fase da avaliação, levava
em torno de sete a dez dias em cada município. Porém, as atividades de construção de
dados empíricos se estendiam por mais duas semanas em caráter complementar, visando
a repor a aplicação dos questionários de professores ausentes e preencher eventuais
lacunas de informação sobre a escola.
Como a avaliação foi realizada em território urbano, os suprimentos de uso pessoal de cada
pesquisador ficaram a critério individual. Os equipamentos envolviam basicamente
gravadores e pilhas. Certa vez, um dos gravadores quebrou em pleno trabalho. Nas lojas
da cidade não havia nada disponível. O equipamento foi reposto graças ao empréstimo de

162
um membro da equipe local. Depois disso, dois gravadores sobressalentes passaram a ser
levados.
Os questionários também eram levados em número adicional. Centenas destes
instrumentos equivaliam a algumas milhares de folhas, o que correspondia a um peso
considerável. Assim, malas tradicionais foram sendo substituídas por exemplares com
rodas. Cada equipe levava um pacote de questionários e uma lista de presença para o
controle das perdas. Os destinados aos professores eram colocados em envelopes
individuais e lacrados na frente do respondente, no ato de entrega. Além desses
instrumentos havia ainda os papéis relativos aos consentimentos esclarecidos. No caso dos
alunos, o diretor da escola assinava, e, no caso dos diferentes entrevistados e dos
professores que respondiam a questionários, suas assinaturas eram individuais.
Todos esses instrumentos, às vésperas da ida a campo precisavam ser copiados, contados
e empacotados. Isso exigiu detalhada organização prévia. A experiência mostrou que numa
cidade do interior, por exemplo, uma máquina de fotocópias pode existir em apenas uma
loja, estar quebrada, não haver estrutura para operar com quantidade, e o preço de cada
peça copiada poderia ser exorbitante.
A hospedagem é momento digno de nota, pois, a depender da cidade, a oferta disponível
de hotéis pode ser muito precária. Os hábitos culturais, inclusive alimentares, também se
diferenciam, exigindo capacidade de adaptação dos investigadores.

5.2. Entrada em campo e construção de papéis sociais

Grande parte da literatura em pesquisa social concede importante destaque à fase inicial do
trabalho de campo. Os motivos são evidentes, pois dependendo da forma como o
investigador se comporte, haverá conseqüências positivas ou negativas, que facilitarão ou
mesmo inviabilizarão todo o trabalho. Este é considerado um momento muito delicado e,
como lembram Hammersley e Atkinson (1996), requer muita negociação, paciência e
diplomacia.

A primeira etapa, como foi abordado na seção anterior, diz respeito aos contatos e
negociações com autoridades, chefias e gestores para a autorização e operacionalização do
estudo. Contudo, mesmo tendo obtido todas as permissões oficiais, é fundamental construir
a aceitação do pesquisador e de seu estudo junto aos vários atores locais.

Além das autorizações oficiais, as comunidades, grupos e instituições têm lideranças


informais, que o pesquisador precisa levar em conta ao negociar sua entrada em campo.
Ignorar estes espaços e hierarquias pode levá-lo à incomoda situação de ter a oficialidade,

163
mas não a legitimidade para sua investigação. Contudo, a identificação desses atores requer
muito tato, para não ferir suscetibilidades nem acirrar disputas de poder.

A apresentação do pesquisador e de seus objetivos precisa ser cuidadosamente pensada.


Autores experientes (Bernard, 1995) sugerem que esta introdução seja honesta, breve e
consistente. Por princípios éticos elementares não se deve mentir aos seus interlocutores,
dizendo algo diferente do que se pretende realizar. Todavia, nem sempre é bom entrar em
detalhes sobre todos os objetivos e hipóteses da pesquisa (Berreman, 1980). Primeiro,
porque pode produzir comportamentos artificiais, seja para agradar ao pesquisador, seja
para provar que ele está errado em suas hipóteses. Além disso, se nos objetivos ou
premissas declarados houver a exposição de comportamentos e fatos considerados pelo
grupo como interditos, vergonhosos ou polêmicos, sua exposição pode gerar situações de
grande desconforto e desconfiança.

Apresentações longas, com linguagem muito acadêmica e excesso de detalhes, além de


serem enfadonhas, não estabelecem um vínculo de simpatia, não comunicam de fato o
motivo da pesquisa nem o apoio que ela demandará. Correm o risco também de atribuir
uma identidade indesejável ao pesquisador, como a de alguém que quer se mostrar superior
ao usar linguajar técnico ou de alguém que desconhece inteiramente aquela realidade, um
“ET” que saiu das “torres de marfim” da academia e vai visitar o mundo real.

A apresentação também precisa ser consistente, pois o pesquisador será interrogado


inúmeras vezes sobre seus propósitos. Até que a comunidade ou grupo em questão se sinta
minimamente confortável com sua presença, lhe serão feitas várias perguntas visando a
sondar suas reais intenções.

Assim, toda a etapa de entrada em campo busca construir uma identidade favorável ao
pesquisador e a sua pesquisa, possibilitando a viabilidade de execução do estudo (Zamora,
1983). Autores indicam que alguns papéis assumidos pelo pesquisador podem se configurar
como obstáculos ao trabalho. Apesar de se modificarem ao longo da interação de campo
(Costa, 1999), alguns papéis delimitam um acesso diferenciado a muitas informações,
influenciando os contornos da pesquisa.

164
As posturas de especialista (daquele que tudo sabe) e de crítico (aquele que está sempre
pronto a julgar) não são as mais adequadas (Hammersley & Atkinson, 1996) em uma
atividade que requer interação e empatia (Minayo, 2004). Adotar a figura de aprendiz, isto
é, daquele que busca aprender sobre a cultura local, sobre comportamentos e práticas que
desconhece, tem sido um recurso considerado favorável à aceitação do pesquisador em
campo por vários estudiosos como Lawless, Sutlive Jr. e Zamora (1983).

O papel de avaliador também precisa ser problematizado em suas várias circunstâncias.


Não raro, quando se coloca externo aos processos e aos sujeitos, ele será visto pelos que
estão sendo avaliados como um juiz, um intruso alheio às dificuldades e esforços do grupo
em implementar determinado programa, estando lá somente para apontar erros.

Há também situações de uso do processo de avaliação e de alguns investigadores por


grupos rivais em comunidades e instituições, quando os descontentes com chefias e
autoridades, aproveitam para apontar erros e denúncias. Esses crêem que o pesquisador será
o porta-voz daquilo que os oponentes tentam ocultar. Mas, dentro de um processo dialógico
em que se busca formular, conjuntamente, objetivos, indicadores e metas, o avaliador pode,
ainda, ser considerado como um aliado pelos diferentes atores, mesmo quando seus dados
sejam críticos e apontem falhas. Nos três casos, os processos de sua inserção são difíceis.
No primeiro caso, sua presença gera resistências e antipatias; no segundo, provavelmente
precisa estar atento às tentativas de manipulação. A terceira situação é sempre a desejável,
devendo ser trabalhada desde a construção do projeto.

Exemplo

APRESENTAÇÃO DA EQUIPE DE CAMPO NA AVALIAÇÃO DO CUIDAR


Na avaliação do Programa Cuidar, buscou-se realizar um tipo de apresentação da equipe
de campo aos diretores, professores, pais e alunos que desmistificassem o lugar de
avaliador enquanto juiz. Os investigadores foram treinados a assumir uma postura de
aprendiz, ao mesmo tempo solidária com os diferentes atores que iam entrevistar e
observar, e com autonomia suficiente, pois seu papel era de buscar e aprofundar as fontes
de informação. O texto elaborado para apresentação, que não deveria ser lido e sim
apropriado pelos investigadores, dizia mais ou menos os seguinte: “Nós somos do Claves
(era dito o que significa a sigla) da Fundação Oswaldo Cruz, e estamos encarregados de
levantar informações para a avaliação do Programa Cuidar. Não pertencemos à Modus
Faciendi (instituição autor e executora da implantação do Programa Cuidar) nem à

165
Secretaria de Educação. Acreditamos que o fato de sermos independentes das instituições
que executam o Cuidar nos dá mais liberdade e isenção para fazer este trabalho. Nosso
papel é avaliar como está o processo de implantação e de implementação do Cuidar.
Quando falamos em avaliar estamos buscando identificar o que está sendo feito, como está
sendo feito, o que tem facilitado e o que tem dificultado a realização do Programa e quais
os resultados que começam a ser vistos. Nosso intuito é o de analisar e sugerir mudanças
na condução do trabalho se isso for considerado importante. Achamos que quem pode
realmente nos mostrar e nos ajudar a entender tudo isso é quem vive o dia-a-dia da escola
e quem está envolvido com o Programa. Assim, consideramos que não existem respostas
certas ou erradas, mas opiniões e experiências diferentes que precisam ser ouvidas. Por
isso precisamos da sua ajuda e pretendemos estar o tempo todo nos comunicando e
trocando idéias com vocês”.
Nesta apresentação também eram explicados, de forma sumária e simplificada, os
procedimentos de pesquisa e suas finalidades. Buscava-se propiciar um clima de troca de
opiniões em que os diferentes atores pudessem falar o que pensavam sobre a adequação
das estratégias de construção de dados. Apesar de insistentes explicações, alguns
professores confundiam os papéis, imaginando que o grupo que avaliava o Programa era o
mesmo que o criou, ou seja, seriam funcionários da ONG Modus Faciendi. Várias vezes foi
necessário reiterar as diferenças de papéis.

5.3.Entrevistas ou entre-vistas

A entrevista, como já se viu em capítulos anteriores, constitui uma técnica amplamente


utilizada na investigação social. Fontana e Frey (2000) chegam a dizer que se vive
atualmente em uma “sociedade da entrevista”, pois este recurso é empregado para tantos e
tão distintos propósitos que se tornou um verdadeiro produto da cultura de massa na sua
modalidade de pesquisa de opinião.

Mas, ainda que tão disseminada no cotidiano, a entrevista institui um momento especial na
construção dos dados. Trata-se de uma forma de interação singular entre pesquisador e
interlocutor (Chizotti, 1991), em que informações, estórias, depoimentos e opiniões são
profundamente influenciados pelo tipo de relação que se estabelece entre ambos. Em uma
interação em ambiente de confiança e empatia, os entrevistados podem permitir o acesso a
informações muito importantes, geralmente interditas aos interlocutores usuais. Ao
contrário, em um contexto de formalidade e desconfiança, o chamado “discurso oficial”
predomina, apresentando afirmações formais, estéreis, breves ou escapistas.

Uma entrevista pode ser reconhecida como “uma conversa com finalidade” (Minayo, 2004:
98) regida por regras de sociabilidade, que terá maior sucesso de partir, gradativamente, de

166
perguntas e assuntos mais amenos até os mais difíceis. Uma introdução ou um bate-papo
informal prévio ajuda a criar um clima mais descontraído. Em uma pesquisa avaliativa, as
perguntas mais “tensas”, sobre os impasses, as contradições entre a teoria e a prática e
sobre os “nós” de um programa, precisam ser feitas paulatinamente.

Outra regra de sociabilidade elementar sugere que não se deve interromper o interlocutor, a
não ser para redirecionar uma conversa, ou quando é preciso ajudá-lo a aprofundar suas
afirmações. Mesmo que o entrevistado esteja dando voltas à sua narrativa, é aconselhável
esperar uma brecha, uma pausa para reconduzi-lo à questão em pauta. É importante,
também, que o entrevistador esteja atento, pois, freqüentemente o que pareceria redundante
ou sem sentido pode conter significados implícitos, estilos de discurso ou uma mensagem
do tipo “não quero responder a isto”. Forçar limites na conversa pode comprometer a
entrevista como um todo e criar situações de constrangimento (Gaskell, 2002).

A entrevista é, enfim, uma conversa direcionada a determinados objetivos de pesquisa, mas


repleta de ambigüidades, de ditos e não-ditos, de versões que mudam conforme o momento
em que são contadas e a audiência (Mattingly & Garro, 2000). Mais do que verdades e
fatos, se constrói um rico material sobre versões, opiniões, descrições peculiares, criadas
em interação de dois interlocutores, ou seja, nos interstícios de uma relação, em uma inter-
view do pesquisador e seu entrevistado.

Modelo exemplo

AS MANHAS E POMPAS DO DISCURSO OFICIAL


EXPERIÊNCIAS DO PROGRAMA CUIDAR
Ao abordar gestores, como no caso dos diretores de escolas e, macrogestores como
secretários de Educação ou pessoas de alto escalão na esfera de poder do sistema
educacional, foi necessário que os entrevistadores redobrassem sua atenção sobre as
“falas oficiais” e os discursos prontos. Essas entrevistas eram precedidas de uma
introdução que tentava criar um pacto de solidariedade prévia com o gestor sobre as
dificuldades que ele estaria encontrando na gestão do Cuidar. Reafirmava-se o sentido
produtivo que se queria imprimir à avaliação e a idéia de que estava em jogo a dinâmica de
implantação e de implementação de um processo de trabalho e não a sua pessoa.
Buscava-se, assim, criar um clima de confiança que geralmente foi eficaz.
Excepcionalmente alguns gestores mantinham a postura defensiva, claramente declarando
somente o que julgavam mais prudente para não comprometer sua administração. Eis um
exemplo típico de tentativa de imposição do discurso oficial. Numa determinada escola, a

167
diretora afirmava que o Programa estava plenamente incorporado, que os professores já o
adotavam no dia-a-dia e que os alunos sentiam claras mudanças nas relações com seus
mestres. Tais declarações não coincidiam em nada com as observações de campo, pois os
gritos, a intolerância e as atitudes autoritárias de funcionários e membros da coordenação
predominavam. Quando perguntada sobre qual havia sido a sua avaliação sobre o material
destinado aos professores, de pronto, essa diretora teceu fervorosos elogios aos livros.
Nesta altura, percebendo o jogo da entrevistada, a pesquisadora teve a idéia de lhe
perguntar qual dos livros foi o mais interessante. Embaraçada, a diretora confessa que não
pôde ler nada ainda, pois tem estado totalmente absorvida pelas demandas administrativas.
A partir desta pequena brecha, a pesquisadora retoma a fala de reforço do pacto solidário,
dizendo que entende as muitas atribuições e os grandes desafios para gerir bem uma
escola e que um programa não é implementado de uma hora para outra. A entrevistada foi,
então, baixando um pouco sua guarda, para a seguir retomar o velho discurso oficial.
Uma vez que o processo de avaliação durou quatro anos, após cada nova fase, a equipe
de campo ia usufruindo maior confiança por parte da comunidade escolar. Mas também já
identificava com mais nitidez os discursos oficiais, podendo confrontá-los com observações
e informações da realidade em curso.

Outra situação bastante comum nas pesquisas etnográficas e avaliativas é o uso da


entrevista por interlocutores, para “mandar recados” aos seus opositores ou chefes
hierárquicos (Deslandes, 2002). Assim, alguns informantes aproveitam a oportunidade para
criticar pessoas, para apontar as falhas do sistema gerencial e para fazer os mais diversos
pedidos.

Exemplo

O USO DE ENTREVISTAS PARA MANDAR RECADOS


No caso do processo avaliativo do Cuidar, os macrogestores, por exemplo, enviavam
solicitações à Fundação Souza Cruz (financiadora do Programa) para que não houvesse
descontinuidade do financiamento, para que se estendesse o Programa às séries mais jovens
ou para que os apoiassem em outras iniciativas. Os professores (que participavam em grupos
focais) também mandavam recados aos seus diretores e à Secretaria, para que garantissem
carga horária remunerada a fim de se dedicarem ao projeto. Os alunos solicitavam mais
atividades extra-sala e melhores dinâmicas didáticas.

5.4. A experiência dos grupos focais

Como já foi referido em capítulo anterior, a entrevista de grupo focal aborda indivíduos que
têm características identitárias homogêneas, como, por exemplo, trabalhar juntos em uma

168
mesma instituição, estudar juntos, participar de um mesmo projeto ou ter vivência, em
comum, de algum fato específico (Krueger, 1998).

No entanto, nunca a homogeneidade é total. Quando são compostos grupos focais com
pessoas que constituem grupos reais como professores e alunos de determinada escola, há
que se levar em conta que, também, pode haver códigos de comunicação fechados aos não-
membros, ou referências a situações vivenciadas que ficam subjacentes às falas, além da
existência de segredos compartilhados. Muitas informações referentes ao cotidiano,
guardadas no estoque de experiências, não serão reveladas diretamente nas trocas que se
dão em um grupo focal. Mas também há relações de interação entre seus integrantes que
atravessam a convivência diária desse coletivo: de cooperação e aliança entre alguns, e, de
conflito e competição entre outros. Tudo isto requer atenção e sensibilidade enormes
(Gaskell, 2002) do entrevistador, recomendando-se que ele nunca trabalhe sozinho. O apoio
de outro pesquisador é essencial para problematizar aspectos conversados, bem como para
checar as versões apresentadas pelo grupo e proceder ao registro das temáticas e interações.

Exemplo

CONDUÇÃO DOS GRUPOS FOCAIS NO PROGRAMA CUIDAR


Ao iniciar uma sessão de grupo focal com os professores, a equipe de pesquisa fazia uma
breve apresentação de seus integrantes, dos objetivos da avaliação, reafirmando que o que
se analisava ali era o processo de implantação e de implementação do Programa.
Nomeava-se explicitamente que se buscava conhecer a opinião dos participantes sobre o
que estava facilitando o processo ou o que se constituía em obstáculos. Não estava em
pauta a avaliação de pessoas. Em todos os demais grupos (alunos e pais), esta mesma
informação foi traduzida para linguagens mais adequadas. Depois dessa etapa, o
consentimento livre e esclarecido era lido, explicava-se aos participantes o seu significado
ético, sendo um deles o fato de que todos os entrevistados teriam o anonimato de seus
depoimentos preservado. Esta estratégia foi útil para amenizar súbitas desconfianças em
relação a assinar o documento. Finalmente, se pedia a cada participante que falasse
brevemente de si, dando algumas informações básicas. No caso dos professores se pedia
nome, matéria lecionava, anos de trabalho na escola. Para os estudantes se pedia o nome,
a série que cursava. E, no caso dos pais, seu nome e a série que o filho cursava na escola.
A seguir, se começava o debate, guiado pelo roteiro. O roteiro servia de fio condutor da
entrevista, mas de forma flexível, incluindo testemunhos de experiências, polêmicas,
pedidos de esclarecimentos, comparações, explicações. Aos poucos, como preconiza a
técnica, se buscava aprofundar o sentido das falas. O encontro finalizava com a leitura do
relator sobre as principais passagens dos depoimentos e sobre os argumentos debatidos
pelo grupo. Neste momento eram checados as versões e pontos de vistas enunciados. Na
maioria das vezes, os participantes, a partir da leitura do resumo das discussões

169
esclareciam melhor, davam detalhes ou mesmo reviam posições, o que contribui, segundo
Morgan (1988) para aumentar a validade desse tipo de entrevista grupal.

Por propiciar visibilidade das interações grupais, não se busca neste tipo de abordagem,
uma fala única e consensual. O que se procura é exatamente a cartografia das opiniões,
argumentos e pontos de vistas, concordantes ou conflituosos, críticos ou resignados. O
grupo permite, ainda, o aprofundamento das influências recíprocas entre os falantes, ou
seja, a reflexividade das opiniões. Além do conteúdo do que se debate, a dinâmica de grupo
focal permite inferir o tipo de relações que existem entre seus participantes.

Exemplo

TIPOS DE INTERAÇÃO NOS GRUPOS FOCAIS REALIZADOS NO PROGRAMA CUIDAR


Era possível discernir, em um grupo de professores de determinada escola, por exemplo, se
havia disputas internas, dissensões no corpo docente, qual era a imagem predominante da
direção e dos alunos e como se pautavam as relações entre esses diferentes atores. Na
experiência conduzida ao longo de quatro anos, e muitas dezenas de entrevistas realizadas
em várias escolas, foi possível construir três tipos ideais de interações.
O primeiro tipo se caracterizou pela excessiva preocupação dos diferentes atores, uns sobre
os outros. Por exemplo, os professores ficavam ansiosos por saber se a direção da escola
teria acesso ao que diziam nos grupos. Alunos mostravam-se muito intimidados em expressar
suas opiniões. Falas entrecortadas por autocensuras, justificativas meticulosas para evitar
qualquer mal-entendido, olhares que se desviavam de outros e, eventualmente, alguns
depoimentos “de desabafo” e de crítica aconteciam. Essas situações geralmente coincidiam
com as observações de campo sobre formas de gestão muito hierarquizadas e pouco
democráticas.
Um segundo tipo de interação é a que conformou grupos muito participativos e espontâneos,
revelando alto grau de afinidade entre os componentes. A fala entusiasmada era disputada
para oferecer exemplos e expressar idéias. Os problemas eram expressos criticamente, e os
interlocutores, professores, alunos e pais buscavam vê-los sob diferentes prismas.
O terceiro tipo de interação geralmente marcava indiferença. Nesse modelo, os membros do
grupo pareciam conhecer pouco uns aos outros, ter uma relação formal e distanciada com a
direção e baixo envolvimento com o Programa Cuidar. Essas situações geralmente
coincidiam em escolas onde havia muitos docentes novatos ou nas unidades em que a
dispersão de forças substituía o sentimento de pertinência e de comunidade.

Entrevistar grupos, especialmente adolescentes, requer atenção redobrada, ora para conter
aqueles que querem dominar a cena e podem monopolizar a palavra, ora para estimular que
os mais tímidos também se expressem. Contudo, na prática essa fórmula de manejo de
grupo tem seus limites. Aproveitar dos mais falantes o papel de estimular a participação,

170
“quebrar o gelo” e dirigir, a partir dos depoimentos, o turno da fala aos que se encontram
em silêncio são estratégias que exigem atenção e versatilidade.

Após o término do depoimento do mais “falante”, ou mesmo interrompendo-o


delicadamente depois de muitos minutos do seu discurso, os entrevistadores devem buscar
dirigir a mesma pergunta para os outros participantes, olhando-os firmemente nos olhos e
chamando-os pelo nome: “Então, Paula? José? O Ricardo deu esta opinião, vocês também
concordam?” Contudo, há pessoas tão tímidas que não há recurso que as faça falar. Essas
devem ser respeitadas em seu renitente silêncio, tentando-se, vez ou outra, consultá-las.

Exemplo

O SENTIDO DOS GRUPOS FOCAIS PARA OS PARTICIPANTES


Ficou evidente na maioria das sessões dos grupos para avaliação do Programa Cuidar que
para os estudantes esse tipo de espaço para a reflexão e expressão de opiniões, pautado
por regras, mas sem hierarquias rígidas, foi, para eles, um momento importante e novo. Na
maioria das vezes eles solicitavam que fossem repetidas essas experiências pela escola.
A participação dos pais nos grupos focais evidenciou, em muitos casos, a absoluta
ausência de espaços de convivência destes com a escola. A maioria se mostrava
desinformada sobre os temas debatidos no grupo focal, especialmente os que diziam
respeito à implantação e implementação do Programa Cuidar. Alguns provenientes de
áreas economicamente muito pobres se mostravam até corporalmente desconfortáveis no
ambiente escolar: a escola não lhes parecia um lugar familiar. As observações anotadas
sobre esse tópico enriqueceram a avaliação, dado que o Programa preconizava
enfaticamente o envolvimento dos pais no cotidiano escolar.
A experiência do grupo focal para os professores mostrou-se diversificada, condizendo com
o tipo de relações que predominavam na sua unidade escolar. Em algumas escolas com
uma gestão mais rígida, os professores mostravam-se de início em uma postura defensiva,
sentindo-se cobrados a “prestar contas” do Programa. Em outras, o grupo focal assumiu o
espaço de fórum de reflexão autocrítica, mas também propositiva, onde os professores
davam sugestões para ação futura.

A realização de entrevistas com grupos distintos requer estratégias diferentes para se


promover o elo de confiança e de aproximação entre pesquisadores e seus interlocutores.
Além das expressões verbais, de apresentações e conversas, devem ser utilizados recursos

171
não-verbais (Gorden, apud Fontana & Frey, 2000), tais como os da comunicação
proxêmica, cronêmica, knésica e paralingüística, como se vê no exemplo a seguir.

Exemplo

ESTRATÉGIAS DE APROXIMAÇÃO NOS GRUPOS FOCAIS DO PROGRAMA CUIDAR


Nos grupos focais, estratégias de aproximação diferentes foram usadas, dependendo dos
entrevistados. Adotaram-se expedientes de usar o espaço interpessoal para comunicar
atitudes, tais como ficar corporalmente mais juntos (recurso proxêmico); de valorizar o ritmo
do discurso e o tamanho do silêncio na conversação (cronêmico); de apresentar posturas e
movimentos corporais mais juvenis, como cruzar pernas em cima das cadeiras, quando
entrevistando os alunos e posturas mais acolhedoras quando com os pais (knésico); e, de
empregar variação de volume, tom e qualidade da voz ao fazer certas perguntas,
evidenciando sua importância (paralingüistico). A partir das reiteradas experiências com os
mesmos grupos de professores (os alunos e pais não foram os mesmos), as pessoas
passaram a confiar mais na equipe de pesquisa e a se sentir mais à vontade para expressar
suas críticas, opiniões e reivindicações.

5.5.A observação : circular, conversar, ler murais e ir ao banheiro

A observação etnográfica é considerada um recurso metodológico privilegiado na pesquisa


qualitativa. Permite estabelecer relações de proximidade com a comunidade e seus
membros; possibilita uma imersão no cotidiano do grupo; favorece a redução da reatividade
à presença do observador; subsidia a comparação entre as práticas dos membros com os
seus discursos sobre certos processos e situações; além de fornecer um conhecimento das
lógicas “internas” dos grupos em questão (Haguette, 1990).

A observação de campo leva o pesquisador a assumir papéis. Segundo a tipologia de Gold


apud Angrosino e Pérez (2000), estes podem variar:

ƒ o de participante-total, em que o pesquisador se coloca inteiramente imerso na vida


do grupo que pretende conhecer;
ƒ o de participante-como-observador, em que o investigador deixa claro para si e para
o grupo que sua relação de membro visa ao trabalho de campo;
ƒ o de observador-como-participante, em que o pesquisador usa a observação como
estratégia complementar à entrevista;

172
ƒ o de observador-total, em que o investigador omite sua condição de pesquisador,
mas atua como um agente externo, fora da cena de interação direta com os
informantes. Este último modelo, pelas conseqüências éticas que envolve, raramente
é utilizado e não se recomenda em abordagens qualitativas.

Adler & Adler (1994) usam outra tipologia. Consideram as categorias de:

ƒ membro periférico, para denominar o pesquisador que busca a visão interna de um


grupo sem participar de suas atividades constitutivas;
ƒ membro ativo, designando o que se envolve nas atividades fundamentais do grupo,
algumas vezes assumindo responsabilidades internas a ele, sem contudo assimilar
seus objetivos e valores;
ƒ membro completo, termo que diferenciaria o investigador que já é parte do grupo ou
se filia a ele e sua observação viria da vivência subjetiva da própria experiência.

Na avaliação do Programa Cuidar, adotou-se o papel de observador-como-participante.


Como as observações foram pontuais, geradas em curto espaço de tempo, visando a uma
atividade que deveria ao mesmo tempo incluir os participantes e distanciar-se deles para se
produzir uma abordagem crítica, sequer foi possível alguém se estabelecer em condição de
membro.

Exemplo

OBSERVADORES-COMO-PARTICIPANTES DA AVALIAÇÃO DO CUIDAR


As observações foram guiadas por um roteiro, mas flexível e aberto a questões que fossem
eventualmente consideradas relevantes. A utilização de roteiros foi aconselhada pelo fato
de se atuar em pesquisas mais rápidas e com objetivos focais de investigação. Incentivava-
se os pesquisadores de campo a prestarem atenção aos detalhes de vários aspectos das
atividades em avaliação e às formas de relacionamento entre os diferentes atores.

Em que sentido a presença do observador interfere no comportamento dos indivíduos,


alterando sua espontaneidade? Esta é uma pergunta básica dos que usam esta técnica.
Alguns consideram que a observação seria mais objetiva se os investigadores se limitassem
a registrar ações e fatos. Contudo, a maioria dos que trabalham com abordagem qualitativa

173
tende a concordar que o pesquisador modifica e é modificado pelo contexto de observação,
sendo esta uma condição intrínseca das atividades desta natureza, pois a observação é
também interação com os vários atores em campo. O efeito da presença do observador
pode, sem dúvida, gerar comportamentos ensaiados, especialmente quando a pesquisa
envolve avaliação. Como controlar ou desconstruir o efeito-visita? O tempo de
permanência mais prolongado no campo é o melhor recurso, posto que os membros do
grupo vão se acostumando à presença do pesquisador. Além disso, é possível ir
conversando com as pessoas, sondando o quanto aquela situação é excepcional ou
corriqueira e quais são seus significados.

Exemplo

EFEITOS DA PRESENÇA DO OBSERVADOR DE CAMPO


Na primeira visita de campo para avaliação do Cuidar, em uma das escolas, por exemplo,
havia uma festa supostamente preparada pelos estudantes e apenas com o apoio dos
professores, o que seria uma pequena amostra do protagonismo dos discentes. Essa
comemoração, em que havia danças e declamação de poesias, foi cuidadosamente
organizada, a fim de coincidir com a estada da equipe em campo. Em outras escolas,
apesar do efeito-visita, do reforço no lanche, da melhoria da merenda ou do zelo a mais
com a decoração dos ambientes, se percebia que nada havia sido montado para ser
exposto. E com o passar do tempo, as visitas posteriores já não ensejavam manifestações
preparadas para impressionar.
Em uma determinada escola, por exemplo, fora oferecido um almoço caprichado para os
professores e para recepcionar a equipe de avaliação. Além das boas-vindas, buscava-se
implicitamente passar a idéia que a equipe de professores era muito coesa e a direção
promovia, sempre, oportunidades para esses encontros. Tal situação contrastava,
entretanto, com a geografia da escola. Os professores sequer possuíam uma sala própria,
a chamada “sala de professores” era na realidade um imenso hall que mais parecia um
corredor. Com a desculpa de ajudar na cozinha, descascando as batatas do almoço, foi
possível conversar com as merendeiras. Depois de muitas amenidades, estas senhoras
deram a entender que aquele tipo de evento raramente acontecia, exceto por ocasião de
“visitas importantes”.

Momentos demarcadores da jornada diária escolar também são excelentes oportunidades de


observar como se dão as relações entre as pessoas. A chegada dos alunos, a entrada das
turmas, o recreio, a saída dos estudantes e a recepção de pais na unidade escolar são
ocasiões especiais para a observação. Além das conversas informais e da observação
propriamente dita, a “leitura” dos signos, das mensagens e dos cartazes espalhados pela
escola constitui uma importante fonte de observação (Penn, 2002).

174
Certa vez, o educador Antonio Carlos Gomes da Costa, em uma de suas palestras,
comentou que o melhor lugar para se saber como os alunos são realmente tratados em uma
escola é visitando os banheiros. E este foi um ponto alto do roteiro das visitas. De todos os
ambientes este era um ponto de observação que se revelou altamente eloqüente.

Exemplo

OBSERVAÇÃO DE SIGNOS E MENSAGENS


Em certas escolas o banheiro era limpo, com papel higiênico disponível, havia espelho,
lavatório, sabão e pequenas toalhas. Em outras, não havia espelho algum, as pias não
funcionavam, a limpeza já estava vencida e o papel higiênico havia sido “confiscado” para
evitar badernas e possíveis entupimentos dos sanitários. Nos casos mais constrangedores,
alguns funcionários argumentavam que os alunos “não estavam acostumados com higiene
mesmo”.
Outro ponto que ficou evidente foi a desigualdade nas relações existentes entre certas
escolas. Em algumas os estudantes eram recebidos aos berros, com ameaças avisando
sobre as conseqüências ante a futuras indisciplinas; noutras os alunos eram acolhidos com
sorrisos e eles mesmos tomavam a iniciativa abraçar professores e funcionários.
Em algumas salas de professores havia vários cartazes, reflexões e mensagens de incentivo
aos profissionais, recados mais antigos sobre reuniões e atividades em torno do Programa,
além da lista das datas dos aniversariantes do mês. Em outras escolas, a sala de professores
ostentava apenas anúncios de venda de cosméticos. Em um destes murais, havia um recorte
de jornal com a manchete estampada: “aluno mata professor”. Crítica ou aviso do perigo que
pensam correr?
As salas também “falam” das relações que se estabelecem naquela comunidade escolar.
Desde salas repletas de trabalhos dos alunos, valorizando-lhes a participação até as de
paredes nuas, com discretos enfeites ou com os cartazes do Programa, cuidadosamente
emoldurados em uma parede vazia, sem nenhuma vida. Desde mobiliários bem cuidados, até
os quebrados, depredados, amontoados num canto no fundo da sala, dando a idéia de sala-
de-aula-depósito. Desde ambientes arejados e claros até os soturnos e cinza-chumbo.

Estas inúmeras pistas, oferecidas pela observação de campo, foram extremamente úteis
para contrastar os depoimentos e discursos e para compreender melhor o quanto o ideário
do Programa estava sendo ou não incorporado no cotidiano da escola.

5.6.Aplicação de questionários

Tomando como base a proposta de triangulação de métodos, a pesquisa também buscou


aferir qualitativa e quantitativamente práticas, ações, opiniões e mudanças ocorridas na

175
comunidade escolar a partir do processo de implantação do Programa. Assim, aplicou-se
um questionário a partir de estratégias diferentes para professores e alunos.

Exemplo

A APLICAÇÃO DOS QUESTIONÁRIOS NO PROGRAMA CUIDAR


No caso dos alunos, a entrega do questionário era precedida por uma introdução. Nessa
conversa inicial, a procedência e os objetivos da avaliação eram apresentados, além dos
esclarecimentos de praxe quanto ao anonimato e à participação voluntária. Era enfatizada a
importância da colaboração, o respeito às opiniões de cada um, e a alternativa que se
oferecia a cada estudante, de escolher as questões que melhor expressassem suas
próprias idéias. Pedia-se que evitassem recorrer a colegas para formular suas respostas.

O questionário que se apresentava, inicialmente um pouco longo e sendo posteriormente


abreviado, era visto pelos alunos como uma interessante novidade, algo que viera para
mudar a rotina daquele dia de aula. Na maioria das escolas, foi negociada a suspensão das
aulas para propiciar, a docentes e alunos, maior disponibilidade para participar das
atividades da pesquisa.
Em cada turma, um controle era feito para saber quantos estudantes haviam faltado.
Algumas situações não esperadas demandaram à equipe uma ação imediata. Em uma
escola de Juiz de Fora que adotava a perspectiva de educação inclusiva, por exemplo, foi
necessário mobilizar alguns auxiliares e pesquisadores para ler o questionário,
separadamente, para alunos deficientes visuais. Seria inconcebível excluí-los, porém esse
fato demandou o triplo de aplicadores do que fora inicialmente designado para uma única
turma.
O tempo de duração da aplicação dos questionários também se mostrou uma informação
mais reveladora que se imaginava. Em determinadas escolas, o tempo médio foi de uma
hora e quinze minutos e em outras atingiu a absurda marca de quatro horas. Não é o caso
de apontar competição, mas de se assinalarem problemas de leitura e compreensão em
alguns locais mais que em outros, entre alunos de mesma série e de igual faixa etária.
Como não estranhar situações em que estudantes cursando a sétima série do ensino
fundamental em certas escolas liam rapidamente e outros silabavam fonemas e nem
sempre entendiam o que liam?
A aplicação dos questionários aos professores precisou se adequar aos diversos horários e
turnos destes profissionais. Quando possível, os educadores eram reunidos numa sala
sendo-lhes oferecida uma explicação inicial da mesma forma que foi feita para os
estudantes. O que de fato ocorreu mais freqüentemente foi o agendamento de um largo
horário para o preenchimento dos questionários, sendo ele respondido individualmente por
cada docente. O controle das listas de freqüência indicava as ausências e eram
mobilizados plantões para nova coleta que contemplassem suas possibilidades de
participar. Não raro eram necessárias várias outras visitas subseqüentes, o que foi, em
alguns casos, feito pela equipe local.
Tanto professores como estudantes mostraram-se bastante cooperativos. E, mesmo com
este recurso metodológico mais padronizado e que deixava pouca margem de
manifestação espontânea, aproveitavam para mandar bilhetes, falar mais sobre o que
queriam ressaltar e assim, criar sua própria pauta de respostas. É importante ressaltar que
essa busca de transgredir o instrumento padronizado significou uma expressão das

176
estruturas de relevância dos diferentes atores, tendo sido assim compreendidas pelos
avaliadores.

5.5.Breves conclusões

Como se evidenciou neste capítulo, o trabalho de campo propicia o contato direto, face a
face com os sujeitos e com a realidade estudada. Permite múltiplos olhares, abrindo a
reflexão a muitas vozes. Nesta construção, que é polifônica e repleta de imagens e gestos, o
encontro humano entre pesquisadores e membros do grupo estudado dá os contornos e a
matéria-prima da interpretação. Uma pesquisa avaliativa não pode prescindir desta fase da
investigação, sob a pena de empobrecimento e artificialidade.

Do ponto de vista da triangulação metodológica, é importante ressaltar o esforço profícuo


de formação para as atividades de campo, de um grupo que, ao mesmo tempo, seja capaz de
aplicar questionários e atender às exigências de padronização e significância e também
fazer observação, realizar entrevistas e dirigir grupos focais. Essas habilidades, que já
haviam sido adquiridas em outros processos de investigação realizados pela equipe do
Claves, foram aperfeiçoadas durante os anos de realização da avaliação do Cuidar.

Referências Bibliográficas

ADLER, P. A. & ADLER, P. Observational techniques. In: DENZIN, N.K. & LINCOLN,
Y.S. (orgs.). Handbook of Qualitative Research. Thousand Oaks: Sage Editions, 1994.

ANGROSINO, M. V. & PÉREZ, K .A. M. Rethinking observation: from method to


context. In: DENZIN, N.K. & Pp. 673-702. Y.S. (orgs.). Handbook of Qualitative
Research. Londres: Sage Publications, 2000.

BACHELARD, G. Le Nouvel Esprit Scientifique. Paris: PUF, 1971.

BERNARD, H. R. Research Methods in Anthropology. Walnut Creek: Altamira Edition,


1995.

177
BERREMAN, G. D. Por detrás de muitas máscaras sociais: etnografia e controle de
impressões numa aldeia do Himalaia. In: ZALUAR, A. (org.). Desvendando Máscaras
Sociais. Rio de Janeiro: Francisco Alves, 1980. p. 123-174

BOURDIEU, P.; CHAMBOREDON, J. C.; PASSERON, J. C. A Profissão de Sociólogo:


preliminares epistemológicas. Petrópolis: Vozes, 1999.

CHIZZOTI, A. A Pesquisa em Ciências Humanas e Sociais. São Paulo: Cortez, 1991.

COSTA, A. F. A pesquisa de terreno na sociologia. In: SILVA, A.S. & PINTO, J.M.
(orgs.). Metodologia das Ciências Sociais. Lisboa: Afrontamento, 1999.

COULON, A. A Escola de Chicago. Campinas: Papirus, 1995.

DESLANDES, S. F. Frágeis Deuses: profissionais de emergência entre os danos da


violência e a recriação da vida. Rio de Janeiro: Fiocruz, 2002.

DURHAM, E. R. Malinowski, vida e obra. In: Malinowski. São Paulo: Abril, 1978.
Coleção Os Pensadores.

EVANS-PRITCHARD, E.E. Os Nuer: uma descrição do modo de subsistência e das


instituições políticas de um povo nilota. São Paulo: Perspectiva, 2002.

FONTANA, A. & FREY, J. H. The interview: from structured questions to negotiated text.
In: DENZIN, N.K. & LINCOLN, Y.S. (orgs.). Handbook of Qualitative Research.
Londres: Sage Editions, 2000.

GASKELL, G. Entrevistas individuais e grupais. In: BAUER, M. & GASKELL, G. (orgs.).


Pesquisa Qualitativa com Texto, Imagem e Som. Petrópolis: Vozes, 2002.

HAMMERSLEY, M. & ATKINSON, P. Ethnography: principles in practice.


Londres/Nova York: Routledge Editions, 1996.

HAGUETTE, T. M. F. Metodologias Qualitativas na Sociologia. Petrópolis: Vozes, 1990.

KRUEGER, R. Analyzing & Reporting Focus Groups Results. Londres: Sage Edition,
1998.

LAWLESS, R.; SUTLIVE JR., V. H.; ZAMORA, M. D. Introduction: human variations in


fieldwork. In: LAWLESS, R.; SUTLIVE JR., V.H.; Zamora, M. D. (orgs.). Fieldwork: the
human experience. Nova York: Gordon and Breach Science Publishers, 1983.

MALINOWSKI, B.K. Os Argonautas do Pacífico Ocidental: um relato do empreendimento


e da aventura dos nativos nos arquipélagos da Nova Guiné melanésia. São Paulo: Abril,
1978. Coleção Os Pensadores.

178
MATTINGLY, C. & GARRO, L. C. Narrative as construct and construction. In:
MATTINGLY, C. & GARRO, L. C. (orgs). Narrative and the Cultural Construction of
Ilness and Healing. Berkeley: University of California Press, 2000. p. 1-49

MARCONI, M. A. & LAKATOS, E. M. Técnicas de Pesquisa. São Paulo: Atlas, 1999.

MINAYO, M.C.S. O Desafio do Conhecimento: pesquisa qualitativa em saúde. São Paulo:


Hucitec, 2004.

MORGAN, D. Focus Group as Qualitative Research. Newbury Park: Sage Editions, 1988.

PENN, G. Análise semiótica de imagens paradas. In: BAUER, M. & GASKELL, G. (orgs).
Pesquisa Qualitativa com Texto, Imagem e Som. Petrópolis: Vozes, 2002.

ZAMORA, M. D. Initial encounter, choice, and change in field research. In: LAWLESS,
R.; SUTLIVE JR, V.H.; ZAMORA, M. D. (orgs.). Fieldwork: the human experience. Nova
York: Gordon and Breach Science Publishers, 1983.

179
Capítulo 6

Organização, processamento, análise e interpretação de dados


o desafio da triangulação

Romeu Gomes
Edinilsa Ramos de Souza
Maria Cecília de Souza Minayo
Juaci Vitória Malaquias
Cláudio Felipe Ribeiro da Silva

A organização e o processamento de dados são um dos aspectos mais


complexos da avaliação, no entanto, está intimamente articulado às etapas
anteriores desse processo de trabalho e da perspectiva analítica adotada.
Dentro da estratégia de triangulação, espera-se que haja um cuidadoso labor
analítico tanto estatístico como compreensivo, antecedendo ao balizamento
metodológico e interdisciplinar. Em uma pesquisa avaliativa, este diálogo ocorre
a partir de indicadores vistos previamente e ajustados aos objetivos da proposta.

No caso do Programa Cuidar, foram previstos eixos comuns para nortearem a


organização dos dados e sua posterior análise. Em um deles, por exemplo, o do
autocuidado, foram sistematizadas, na parte quantitativa, informações que
possibilitassem mensurar mudança, tendo em vista um repertório de respostas.
Do mesmo modo, na parte qualitativa, organizaram-se depoimentos que
aprofundassem a compreensão das mesmas questões que seriam mensuradas.

A orientação geral da análise aqui proposta e que correspondeu ao que se


pretendeu realizar no Programa Cuidar é a concepção da hermenêutica-
dialética. Ou seja, em um primeiro movimento analítico se realiza uma
valorização fenomênica e técnica dos dados primários (qualitativos e
quantitativos), em si mesmos e à exaustão. Em uma dinâmica subsequente, eles
são ao mesmo tempo contextualizados, criticados, comparados e triangulados. É
bem verdade que se torna dificil descrever em palavras esse processo de

179
trabalho, uma vez que ele corresponde a um caminho e a uma orientação
teórica do pensamento e, na sua realização, se processa de forma inseparavel.
No entanto, neste capítulo se busca evidenciar, do modo mais simples possível,
as técnicas utilizadas para isso. O esforço e o risco de tornar esse movimento
visível e plausível não devem desviar o seu sentido e sua complexidade, em
uma atenção demasiada sobre a mecânica da análise.

6.1.PRIMEIRO MOVIMENTO: ANÁLISE INTERNA DO MATERIAL

6.1.1. Organização de materiais para a interpretação qualitativa

A avaliação de um programa, pelo volumoso e diversificado material que


acumula, costuma demandar muito trabalho dos investigadores. E o momento
de sua organização é de fundamental importância para que se possa obter êxito
na análise.

Oi, Carlota, aqui está um exemplo

MATERIAL QUALITATIVO CONSTRUÍDO NO PROGRAMA CUIDAR

No caso do Programa Cuidar, trabalhou-se com o seguinte conjunto de materiais:


transcrições de entrevistas individuais e de grupos focais; relatórios dos responsáveis
pela implementação do programa; materiais impressos distribuídos para os diferentes
atores do programa (alunos, pais e professores); diários de campo, cartazes e vídeos.

O primeiro princípio organizador do material é adotar uma classificação a partir


das formas como foram construídos ou recolhidos (Wolcott, 1994), como por
exemplo: material gerado a partir das entrevistas (individuais ou grupais);
material de observação participante e materiais preparados por outras pessoas.
Após esse primeiro passo, avança-se para uma segunda etapa: preparação e

180
reunião do material de cada classificação inicial; avaliação da sua qualidade e
elaboração de estruturas de análise.

• Preparação e reunião do material – Em relação à transcrição das


entrevistas (individuais ou grupais) gravadas, com base na experiência da
equipe e com base em Gaskell (2000), opta-se por trabalhar com palavras
faladas sem incluir suas características paralingüísticas. Algumas
observações são importantes para se conseguir transcrições de boa
qualidade:

ƒ cada entrevistado recebe um código para que lhe seja


garantido o anonimato;
ƒ todas as palavras devem ser transcritas na integra;
ƒ nomes mencionados pelos entrevistados são registrados só
com suas iniciais também para assegurar anonimato;
ƒ no caso de uma entrevista grupal, os autores das falas
igualmente devem ser identificados por códigos;
ƒ quando não é o entrevistador que transcreve, ele deve
conferir o trabalho com a gravação original e editá-lo de maneira
correta, se for o caso;
ƒ à medida que se lê reiteradamente as transcrições,
introduzem-se colchetes, quando for necessário ressaltar idéias
que vêm à mente acerca do que se ouve.

Embora o grupo não tenha trabalhado com as características paralingüísticas,


buscou-se inserir entre colchetes observações importantes sobre: o volume e
entonação da voz dos entrevistados em relação a determinados temas ou o uso
de certas palavras ou em momentos específicos da entrevista; silêncios entre as
falas, bem como a ênfase em palavras ou expressões.

Em relação aos diários de campo, o trabalho de ordenação de dados pode ser


tão demorado quanto o das transcrições. Há pesquisas que enfatizam tanto as

181
entrevistas quanto as anotações de campo e há algumas que se baseiam
somente em observações. Neste último caso, a preparação do que se
convencionou chamar diário de campo é mais complexa, exigindo tratamento
específico. A perspectiva teórico-analítica mostra os princípios mais adequados
para se preparar o material de campo.

Mais um...

USO DO MATERIAL DE CAMPO NA ANÁLISE DO PROGRAMA CUIDAR

No caso da avaliação do Programa Cuidar, utilizaram-se as anotações de campo apenas para


melhor se contextualizar ou compreender as falas. Nas visitas de campo, os diários serviram
também para se registrarem anotações acerca: das inter-relações ocorridas no espaço escolar, a
disposição e a organização do desse espaço e a apresentação de materiais específicos do
Programa, como cartazes e murais. Tais anotações não constituíram um corpo de análise
específico. Tiveram um papel complementar às entrevistas.

Para o correto processo de ordenação e de organização do material qualitativo


Goldin (2000: 134) recomenda que:

Os dados coletados devem ser copiados e, pelo menos uma cópia integral guardada
em lugar seguro e diferente das demais. É bom não esquecer que os dados
coletados são únicos e insubstituíveis. Isto é válido tanto para os arquivos em papel
quanto para aqueles que utilizam meios magnéticos ou ópticos, tais como fitas e
discos.

A equipe de avaliação do Claves, em sua experiência, recomenda que se


guarde cópia de todos o processo pelo menos por cinco anos decorridos,
buscando-se, em seguida, destruí-lo para que não seja usado indevidamente no
futuro.

• Avaliação do material disponível – Não existe uma delimitação formal


entre o término da construção de dados de campo e o início da análise.
Uma avaliação da qualidade dos materiais disponíveis pode ser
considerada como uma pré-análise. Muitas vezes se aconselha voltar a

182
campo para completar informações ou esclarecer alguma anotação que
tenha ficado obscura.

O primeiro passo se refere à avaliação da qualidade dos materiais,


principalmente quanto à impressão e à clareza dos registros. No caso dos
diários de campo, é importante revisar os registros, verificando se faltam
dados importantes ou situações registradas que precisam ser esclarecidas.
Ao se constatar que as informações estão completas, é importante distinguir:

ƒ observações pessoalmente realizadas;


ƒ informações prestadas por outros pessoas;
ƒ enunciados verbais que constituem citações dos atores sociais em
estudo (Costa, 1999; Iturra, 1999).

Estes últimos, no caso de serem utilizados, devem ser transcritos com as


expressões utilizadas pelos seus enunciadores.

Na avaliação da qualidade dos materiais a serem trabalhados, é importante


observar se os dados são suficientes para a análise. Para isto, de início,
deve-se retomar os objetivos da avaliação e ter em mente o desenho que se
estabeleceu para análise. Por exemplo, quando se pretende avaliar as
repercussões da implantação de um programa de educação para valores no
cotidiano de um conjunto de escolas, os dados devem possibilitar, dentre
outros aspectos, uma discussão sólida e o estabelecimento de conclusão
acerca de tal propósito.

Para que se cumpra esse objetivo, observam-se os seguintes requisitos em


relação ao material:

ƒ cuidar para que abranja todo o conjunto das escolas avaliadas;


ƒ incluir os dois momentos da intervenção: o antes e o depois da
avaliação em curso;

183
ƒ verificar se ele é suficiente para a discussão dos indicadores
previamente estabelecidos.

Os requisitos para avaliação da qualidade dos materiais variam em função da


complexidade do desenho de estudo planejado, dos objetivos a alcançar e da
análise que se deseja efetuar. Na medida em que os materiais próprios da
abordagem qualitativa não são gerados a partir de técnicas de amostragem com
representatividade numérica, deve-se avaliar se eles conseguem refletir as
múltiplas dimensões da realidade estudada (Minayo, 2004).

O trabalho de campo, que gera os dados primários, só deve ser esgotado


quando tenha possibilitado o delineamento do quadro empírico da investigação.
No caso da análise eles precisam conferir base suficiente para sugerir
conclusões. Caso isso não ocorra, podem-se fazer sucessivas inclusões de
novos momentos de coleta para que se alcance o ponto desejado.

No entanto, a questão da suficiência ou da insuficiência de informações não é


um problema simples. Por vezes, investigadores inexperientes acumulam dados
e se perdem nas análises. Em geral, os que têm uma formação teórica e prática
mais profunda são capazes de fazer inferências, correlações e interpretações
com o material que têm em mãos. É uma norma prática das abordagens
qualitativas, considerar que o material construído no campo está suficiente
quando se percebe que as idéias acerca das questões da pesquisa começam a
se repetir.

• Elaboração de estruturas de análise – As estruturas para análise de


material qualitativo são uma construção teórica. Em geral ela se faz por
aproximações sucessivas por meio de propostas de categorização. Pode-
se classificar o conjunto de depoimentos ou os registros de observação a
partir dos atores, dos grupos ou por tipo de instrumento de coleta de
dados, conforme exemplo a seguir.

184
ƒ Atores (ex: gerentes, implementadores, autoridades educacionais,
educadores, os estudantes e familiares);

ƒ Grupos (ex: escolas públicas e privadas; as que participaram do


programa e as do grupo-controle, escolas por municípios, escolas
rurais e escolas urbanas);

ƒ Materiais por tipo de instrumento (ex: entrevistas individuais,


entrevistas de grupo, diários de campo e relatórios).

Estes tipos de agrupamento podem coexistir, compondo subcategorias dentro de


categorias. Por exemplo, deve-se classificar o material por atores e, no interior
da cada subconjunto de atores, subdividi-los por escolas, por exemplo, tendo em
vista que o papel do qualitativo é buscar diferenciar.

Pode-se adotar outra perspectiva de organização. Sem necessariamente anular


a proposta anterior, parte-se das questões gerais da pesquisa avaliativa,
transformadas em perguntas ou tópicos nos instrumentos de interlocução como
entrevistas, grupos focais e outros. Neste último caso, poder-se-ia classificar o
material empírico, por exemplo, em relação:

ƒ às imagens suscitadas pelo programa nos diferentes atores;


ƒ às mudanças atribuídas a sua implementação, pelos atores;
ƒ aos limites impostos pela sua operacionalização;
ƒ às condições necessárias para que as metas sejam atingidas ou
solidificadas;
ƒ às críticas que lhe são dirigidas pelos diferentes atores;
ƒ às expectativas para ações futuras.

Mais um...

ESTRUTURA DE ANÁLISE DO PROGRAMA CUIDAR

185
Especificamente em relação à Pesquisa de Avaliação do Programa Cuidar, a estrutura
de análise variou em cada fase de avaliação do programa. No que se refere à última
etapa de avaliação, em geral, adotamos os seguintes procedimentos para elaborarmos
as estruturas de análise qualitativa:
>centrou-se o foco nas falas dos atores por se considerar que este era o material mais
nobre da investigação avaliativa;
>definiram-se como centrais, os materiais gerados nos inúmeros grupos focais;
>dividiram-se os materiais dos grupos focais por três categorias de atores: professores,
alunos e pais;
>buscou-se cruzar e triangular as falas provenientes dos grupos focais com as
entrevistas individuais, os diários de campo, os relatórios e materiais utilizados ao longo
da implementação do programa;
>os depoimentos de cada um desses conjuntos de atores foram organizados em torno
das questões centrais da avaliação;
>no interior de cada conjunto, separaram-se os depoimentos dos atores que integravam
as escolas que implementaram o Programa Cuidar e dos que correspondiam às escolas
que serviram de comparação.

No sentido de ilustrar esse caminho percorrido para se chegar às estruturas de


análise qualitativa, dentro do Programa Cuidar, apresenta-se, a seguir, um
exemplo relacionado às falas sobre a Aids. Entre parênteses, encontram-se os
códigos de referência dos alunos e das cidades de sua proveniência.

Exemplo

EXEMPLO PARA ILUSTRAR O CAMINHO DE CONSTRUÇÃO DE ESTRUTURAS


PARA ANÁLISE QUALITATIVA DO PROGRAMA CUIDAR

O exemplo se refere a depoimentos de jovens do Programa Cuidar a respeito da


transmissão da Aids na relação com o namorado.

Escolas com o Programa Cuidar:

“Ela por ser tímida (...) ficou com vergonha (...) não falou nada [sobre o preservativo] pra
ele [o namorado] (...) deu no que deu” (alunaCA/com) (Campinas, SP)
“Talvez essa [menina) mais solta, que transou uma porção de vez, ela se preveniu e a
mais tímida não se preveniu” (alunaIG/com) (Iguatu, Ceará).

“Ela confiou no namorado (...) e essa que é bastante solta não confiou. É esperta.”
(alunaIG/com)(Iguatu, Ceará).

“Ela não conseguiu dialogar com as pessoas e assim não tinha meios pra saber como
se prevenir” (alunoJF/com), (Juiz de Fora, Minas Gerais).

Escolas sem o Programa Cuidar:

186
“Esse ano não teve nada na escola [sobre sexo sem proteção]” (alunaCA/sem)
(Campinas, SP).

“A mais tímida tinha confiança total neste namorado” (alunoIG/sem) (Iguatu, Ceará).

“Os pais que não sabem chegar no filho e falar isso (alunaIG/sem) (Iguatu, Ceará).

Por ela ser tímida, não tinha informação (alunaJF/sem) (Juiz de Fora, Minas Gerais)

Sabe, eu não sou tímida, mas se o dia chegasse [...] não faço a mínima idéia como
coloca [o preservativo] (alunaJF/sem) (Juiz de Fora, Minas Gerais).

O exemplo anterior é apenas uma imagem que sintetiza a forma de organização


dos depoimentos, por questões. Sua estrutura seguiu a lógica de agrupamento
por:

ƒ questões das entrevistas (individuais e grupais);


ƒ tipo de escola (com ou sem ou Programa);
ƒ municípios da pesquisa;
ƒ atores (aqui o exemplo se relaciona a alunos).

Como se privilegiou a fala dos atores, em cada parte dessa estrutura, sempre
que possível, procurou-se triangular os depoimentos com as observações de
campo. Os relatórios dos gestores do Programa e os materiais produzidos pelos
formuladores para os diferentes atores foram analisados separadamente.

A estrutura de análise pode seguir ainda outros formatos. Mas, seja qual for o
modelo utilizado, é bom sempre ter em mente que, ao construí-lo, criam-se
recursos para a adequada aproximação dos dados. Para isto, o investigador
pode ser criativo, experimentando sucessivas classificações. Mesmo porque,
nesse ponto do trabalho, ainda se está no processo de classificações prévias à
análise dos dados. O momento analítico final pode indicar a conveniência de
outros esquemas classificatórios de modo que se contemplem ordens implícitas
da lógica dos sujeitos ou no contexto das experiências em análise.

187
6.1.2. A Organização e o Processamento dos Dados Quantitativos

Após coletadas todas as informações quantitativas necessárias ao


desenvolvimento da análise, o primeiro passo a seguir é a reunião de todo o
material a ser processado, observando-se que o conjunto contemple todos os
grupos participantes do processo de avaliação. No caso do Cuidar, foram
ordenados os questionários referentes às diferentes escolas por municípios; às
diferentes turmas no interior dessas escolas e aos diferentes atores previstos na
amostra.

Após essa etapa organizativa, procede-se à sistematização das informações


coletadas. Em geral o processamento de dados quantitativos resulta na
construção de um ou mais bancos de dados que possibilitam a apuração das
informações de maneira rápida, precisa e eficiente, por meio eletrônico.

Para a construção de bancos de dados, algumas etapas técnicas específicas,


muito bem definidas, são necessárias. Elas se ordenam da seguinte forma:
codificação, digitação e correção (Berquó et al., 1981).

• Codificação do questionário – Esta fase consiste na preparação do


questionário tornando-o claro, objetivo e inteligível para os digitadores. O
processo de codificação pode ser de maneira eletrônica ou manual.

A codificação eletronica é feita por meio de cartões-resposta. Nesse caso,


existem dois materiais entregues ao entevistador: o questionário com as
perguntas e o cartão-resposta onde são feitos os registros. O questionário é
entregue ao respondente apenas para ser consultado quanto às perguntas, mas
ele deverá responder no chamado cartão-resposta, respeitando-se o número
das respectivas questões. É esse cartão que vai ser processado em
equipamento computadorizado. Ele faz a leitura das respostas codificadas
anteriormente.

188
O procedimento de aplicação do questionário, como já foi referido no capítulo
específico sobre trabalho de campo, pode ou não ser acompanhado da técnica
de entrevista com a presença de um entrevistador orientando o seu
preenchimento. Nas provas de concursos públicos é muito comum esse tipo de
procedimento. Grandes instituições de pesquisa como o Instituto Brasileiro de
Geografia e Estatística (IBGE) também utilizam o procedimento de codificação
eletrônica. Por conta da natureza e da magnitude de certas investigações, a
utilização desse procedimento eletrônico é imprescindível, pois seria
humanamente impossível realizar uma codificação manual em tempo hábil para
finalidade de censo, por exemplo.

Em investigações de menor porte, pode-se fazer a codificação manual, com


pessoas devidamente treinadas para atribuir códigos numéricos a todas as
respostas dadas para cada questão do questionário. A codificação eletrônica
ggeralmente não é utilizada, nestes casos, por conta do alto custo que pode
significar. As regras estabelecidas para a codificação manual devem ser
detalhadas no Guia do Revisor, elaborado pela equipe de pesquisa. Esse guia
deve ser suficientemente simples e claro para orientar os profissionais
responsáveis pela revisão dos questionários.

Na codificação manual, o código ou valor de cada variável é registrado pelo


codificador no espaço do intrumento a ele destinado. Costuma-se reservar a
lateral direita do questionário para isso. Toda ocorrência de resposta já está
prevista pelo guia e, por essa razão, não haverá questões em branco,
futuramente, no banco de dados. São atribuídos códigos também para respostas
do tipo incompreensíveis, ilegiveis e em branco.

Este primeiro estágio de processamento é imprescindível, visto que evita, além


dos erros de digitação, a perda de tempo provocada, comumente, por
incompreensão das respostas por parte dos digitadores. O trabalho desse
profissional deve ser facilitado para que possa realizar suas atividades de
maneira rápida e precisa. Por isto, a etapa de codificação deve ser muito bem

189
planejada para que o digitador não tenha que tomar decisões na hora de realizar
seu trabalho, por razões de ilegibilidade. Por último, observa-se que a
codificação deve contar com um número de profissionais compatível com a
extensão do material e o prazo destinado para essa etapa da pesquisa.

Carlota, aqui vai mais um...

COMO FOI REALIZADA A CODIFICAÇÃO DOS QUESTIONÁRIOS NO PROGRAMA CUIDAR

Para a análise do Programa Cuidar se construiu um manual de codificação e, em todas


fases da avaliação, os questionários foram submetidos às orientações desse manual. Os
questionários foram codificados no espaço lateral à direita. A codificação foi feita
manualmente, registrando-se em vermelho os códigos referentes à cada questão.

Digitação dos dados – A digitação dos dados deve ser realizada mediante
procedimentos que visem à minimização de problemas na etapa de construção
do banco de dados. Para isto, é preciso desenvolver uma máscara do
questionário e criar um programa para estabelecer os valores válidos para cada
questão.

A máscara é um programa utilizado basicamente para se ter uma melhor


visualização das questões do questionário no processo de entrada de dados.
Esse programa pode ser construído em softwares próprios para banco de dados
como o Dbase ou o Acess, por exemplo. Atualmente, já existem alguns mais
específicos, por exemplo o Epi Info, programa utilizado na avaliação do Cuidar.
Esse tem versões tanto para a plataforma DOS quanto para a Windows.

A máscara contém os espaços necessários para cada resposta atribuída e


codificada no questionário, com o número de dígitos estabelecidos no guia de
codificação. Ela deve proporcionar uma boa visualização dos itens e ter uma
estrutura o mais semelhante possível à do questionário original.

A seguir, pode-se observar um exemplo de parte da estrutura de programação

190
da máscara do quesionário utilizada na Pesquisa Cuidar.

Em seguida, apresenta-se o layout do programa da máscara do questionário já


em funcionamento.

191
Além da máscara do questionário, pode-se utilizar outro programa para realizar
o checking dos dados e se obter maior controle de erros de digitação na entrada
deles. Esse programa é responsável por estabelecer os valores válidos para
cada questão. Funciona concomitante à máscara de dados no momento da
digitação, no qual nenhum valor fora do intervalo é aceito. Isso possibilita a
identificação das respostas válidas e dos missings (valores inválidos
desconsiderados na análise) para cada variável. A digitação deve ser realizada
por um número de profissionais adequado à demanda da pesquisa.

Ainda nesta etapa se trabalha na construção do banco de dados. Tal processo


deve seguir a estrutura do questionário original. Em cada questão prevê-se o
número de espaços para os possíveis dígitos que correspondem às respostas.
No caso de uma pesquisa de avaliação que envolve diferentes momentos, os
bancos devem ser compatilizados de modo a permitir comparabilidade entre as
etapas da avaliação.

No Programa Cuidar, além dessa preocupação, o banco de dados foi adaptado,


ao longo do processo da avaliação, para acompanhar as mudanças introduzidas
no questionário, como a exclusão de questões que se mostraram pouco

192
sensíveis.

A seguir, consta, um exemplo da estrutura de banco de dados construída com


Software Epi-Info, após a digitação dos dados da Pesquisa Cuidar.

• Correção dos dados – Esta etapa tem um caráter preventivo de erros no


tratamento dos dados. Os processos de codificação e de digitação são
fontes comuns de erro. Também podem ocorrer falhas na máscara dos
questionários. Para evitar isto, adotam-se precauções específicas, citadas
a seguir.

Neste etapa, os bancos já foram gerados e são submetidos a dois


procedimentos: o primeiro, visa a verificar possíveis falhas na digitação e o
segundo, busca detectar inconsistências entre as respostas dadas pelos
entrevistados.

Para verificar falhas de digitação, pode-se agir de duas formas, uma das quais
deve ser escolhida já na fase da organização e processamento dos dados: (1)
realizar dupla digitação ou (2) selecionar uma amostra de 10% dos questionários

193
digitados e fazer sua verificação, contrastando as respostas deles com as
digitadas no banco de dados.

O procedimento de dupla digitação consiste em replicá-la no mesmo


questionário por digitadores distintos em momentos diversos para
oportunamente serem confrontadas, verificando-se possíveis falhas e que
devem ser corrigidas. A realização desse procedimento pode ser muito oneroso
para a pesquisa já que o número de questionários digitados será sempre
duplicado e requerendo um tempo muito maior que o disponível no cronograma
da pesquisa.

A outra modalidade de identificação de erros se faz por meio de uma amostra


dos 10%, por meio de um sorteio aleatório dos questionários. No caso do
Programa Cuidar, adotou-se este procedimento, tanto para o banco referente
aos alunos como para o dos professores. Os questionários sorteados foram
revistos e corrigidos. Tal procedimento não garante a total correção dos itens do
questionário, mas, permite conhecer a probabilidade de algum erro que exista no
banco de dados construído. Usando-se tal processo, apenas os 10% de
questionários sorteados são corrigidos. Caso a proporção de erros encontrados
seja muito grande, deve-se decidir se convém elevar a quantidade de
questionários a serem verificados, aumentando-se a proporção de 10% para um
percentual maior ou se é mais correto verificar 100% deles, caindo-se, então, na
realização da dupla digitação.

Aqui vai mais um...

VERIFICAÇÃO DA QUALIDADE DOS DADOS DO PROGRAMA CUIDAR

Na primeira fase da pesquisa do Cuidar, 11,4% dos questionários dos alunos continham,
pelo menos, uma falha de digitação, mas apenas 1% das questões apresentavam erros.
Esses resultados mostraram a boa qualidade dos processos de codificação e digitação.
Nessa mesma fase, no banco dos professores, 19,3% dos questionários e 0,9% de todas

194
as variáveis investigadas apresentavam algum erro de digitação.

Após a verificação de erros provenientes do processo de digitação, é rodado um


programa de crítica aos dados com a função de localizar inconsistências nas
respostas dadas pelos entrevistados, comparando-se as que dizem respeito a
questões que se relacionem de maneira lógica. Tal programa pode ser
construído tanto no próprio Epi info ou em outros próprios para análise de dados,
como o SAS ou o SPSS. A importância dessa etapa também é resgatar
possíveis erros de digitação não contemplados no procedimento de anterior.
Pois, tanto no procedimento de dupla digitação quanto na amostra dos 10%
ainda é possivel encontrar resíduos de problemas de digitação. Porém, o
número de ocorrência já nesta etapa do trabalho é significativamente menor.

Mais um...

CRÍTICA DE INCONSISTÊNCIAS NO PROCESSAMENTO DOS DADOS DO PROGRAMA CUIDAR

O programa utilizado para a verificação das inconsistências na pesquisa do Cuidar foi


construído no Epi info. Tomando como exemplo a primeira fase da pesquisa, constatou-
se, no banco dos alunos, que 774 questionários apresentaram alguma inconsistência,
das quais 5,4% eram erros de digitação logo retificados e as questões incoerentes foram
anuladas. No banco dos professores encontraram-se 42 questionários com questões
inconsistentes, que também foram anuladas.

É importante assinalar que, geralmente, quando se identifica uma inconsistência


nos questionários, já não se pode retornar aos respondente para corrigir o erro.
Assim sendo, a decisão mais correta do ponto de vista científico é anular ambas
as questões que, confrontadas, se mostram incoerentes.

6.2.SEGUNDO MOVIMENTO: ANÁLISE CONTEXTUALIZADA E TRIANGULADA DOS DADOS

A triangulação como recurso metodológico para uma avaliação, conforme já


referido, processa-se por meio do diálogo de diferentes métodos, técnicas,

195
fontes e pesquisadores. Na avaliação do Programa Cuidar, houve um esforço
teórico e metodológico de aprofundar esta estratégia.

Na prática, observa-se que, em determinados momentos, as perspectivas


analíticas de cunho quantitativo predominam sobre as qualitativas e vice-versa.
Isto ocorre pelas exigências do processo de conhecimento, ou seja, sempre o
melhor método é o que melhor se adequa à reconstrução teórica da realidade.

Como exemplos, apresentam-se a seguir os procedimentos utilizados na


primeira e na segunda etapa da pesquisa avaliativa. Na primeira, dentre outros
propósitos, o objetivo foi traçar uma base, base line, a respeito do universo de
valores dos jovens que pudesse ser comparada em etapas posteriores,
avaliando-se os efeitos causados pela intervenção do Programa Cuidar.

Exemplo

TRIANGULAÇÃO DE FONTES NA AVALIAÇÃO DO CUIDAR


No primeiro momento interessava um perfil dos valores, evidenciado em linguagem
numérica e também em palavras que indicassem a compreensão dos significados por
trás dos índices (Claves, 2000). Nessa etapa realizou-se uma triangulação de fontes
comparando-se o estudo elaborado pela equipe do Claves utilizando-se de uma
amostra estatística e compreensiva dos participantes com os resultados de uma
pesquisa de base populacional acerca do mesmo tema ocorrida em Belo Horizonte
(MG). Assim, a primeira etapa da investigação avaliativa, o base line, teve esse
parâmetro como referência.
Já na segunda etapa da avaliação o uso da perspectiva qualitativa foi predominante.
Isso se explica pelo objetivo de analisar o movimento, as relações e os nós que
estavam ocorrendo na implantação do Programa, segundo a ótica dos atores (Claves,
2001). Para isso, os indicadores qualitativos de processo são os mais potentes.
Na terceira e quarta etapas, com o propósito de avaliar os resultados alcançados pela
intervenção, produzidos por diferentes fontes e diferentes olhares interpretativos,
utilizaram-se, simultaneamente as duas perspectivas analíticas (Claves, 2002; Claves,
2003. Nelas, a dinâmica de construção da triangulação foi intensa em todos os
sentidos, assim como foi possível ter uma perspectiva longitudinal, ao se comparar os
diferentes momentos da avaliação.

196
Independentemente do fato de ocorrer o predomínio de uma ou outra
abordagem metodológica, é de fundamental importância ter clareza, ao longo do
processo de triangulação, sobre as possibilidades e os limites de cada
perspectiva analítica para se chegar aos resultados desejados. A seguir se
abordam algumas especificidades das perspectivas analíticas qualitativas e
quantitativas.

6.2.1. Interpretação Qualitativa

• Considerações Iniciais – Gaskell (2000) observa que a finalidade de uma


abordagem qualitativa não é contar opiniões e pessoas. Seu propósito se
volta, dentre outros focos, para a exploração do espectro de opiniões e as
diferentes representações acerca de um assunto que se está estudando.
A exploração dos dados qualitativos não se consolida, necessariamente,
a partir da extensão do material do qual se dispõe, uma vez que, em
geral, o espectro de opiniões e versões, acerca de uma realidade, tem
limites.

Embora as experiências possam parecer únicas ao indivíduo, as


representações de tais experiências não surgem das mentes
individuais; em alguma medida, elas são o resultado de
processos sociais. Neste ponto, representações de um tema de
interesse comum, ou de pessoas em um meio social específico
são, em parte, compartilhadas. (Gaskell, 2000: 71)

Assim, a abordagem qualitativa se fundamenta em dois pilares. Em primeiro


lugar, nos hábitos e laços culturais como lembram Bourdieu (2002) e outros
autores, como Bakthin (1986) e Minayo (2004), quando dizem que existe uma
estrutura de pensamento, de pontos de vista ou posicionamentos sobre um
tópico dentro de um meio social específico. Em segundo lugar, como especifica
Gaskell (2000), há uma segmentação no mesmo meio social o que representa
diferenciações de opiniões e crenças a respeito de determinado tema.

197
Uma estratégia para se guarantir ao mesmo tempo a representatividade cultural
e a diversidade das segmentações na investigação, é abordar grupos que se
formam naturalmente1, ao invés de privilegiar a construção de grupos
estatísticos ou taxonômicos. Pois, em um grupo organizado espontaneamente,
as pessoas: interagem conjuntamente; partilham um passado e projetam
expectativas comuns, pois têm interesses e valores mais ou menos
semelhantes. Os procedimentos para a formação desses grupos e as escolhas
dos seus membros devem ser detalhados e justificados no relatório de pesquisa.
No caso da avaliação do Cuidar, levaram-se em conta grupos de alunos e
professores já formados em cada uma das escolas avaliadas.

Atualmente, já se dispõe de inúmeras técnicas de análise de dados qualitativos


e que servem aos propósitos das pesquisas de avaliação2. O uso de umas ou
outras deve se pautar pela sua utilidade frente aos objetivos do trabalho. Em
uma investigação avaliativa, seja qual for a estratégia analítica utilizada, os
procedimentos devem contribuir para a compreensão dos dados em si, para sua
contextualização e para se chegar aos resultados previstos.

A seguir, será sistematizada uma proposta, aqui denominada de interpretação


de sentidos. Tal proposta é um caminho de análise de significados dentro de
uma perspectiva das correntes compreensivas das ciências sociais que analisa:
(a) [sug. retirar as letras] palavras; (b) ações; (c) conjunto de inter-relações; (d)
grupos; (e) instituições; (f) conjunturas, dentre outros corpos analíticos.

Essa proposta se baseia em experiências de pesquisa de avaliação adquirida ao


longo de dez anos. Foi construída não só por meio de obras clássicas do campo
da pesquisa qualitativa, mas também por meio da socialização dos acertos e
limites, ocorrida no interior do grupo de pesquisadores do
Claves/Ensp/IFF/Fiocruz.

1
Alguns autores chamam a esse tipo “grupos naturais”, mas aqui se evita nomeá-los assim, pela conotação
que o termo natural contém. Para a sociologia nenhum grupo é natural. Pelo contrário, é organizado
socialmente por afinidades afetivas, por interesses, dentre outros motivos.
2
Em Gomes (2002), encontra-se uma apresentação de técnicas, em uma abordagem orientada
aos pesquisadores que queiram se iniciar no estudo de tratamento de dados qualitativos.

198
Bases da Interpretação [favor hierarquizar usando números] – É importante,
inicialmente, chamar atenção para alguns conceitos básicos que permitem
precisar o significado atribuído ao termo interpretação. Para isto, com base em
Wolcott (1994), procura-se estabelecer distinção entre descrição, análise e
interpretação[motivo do itálico?] dos dados.

Na descrição, trabalha-se de forma que as opiniões dos diferentes infomantes


sejam preservadas da maneira mais fiel possível. Nesta forma de apresentação,
os dados são tratados como fatos. Subjacentemente a tal postura, existe a
crença de que os “dados falem por eles mesmos". [citação de Wolcott? Em
caso afirmativo, página?]

Na análise, procura-se ir para além do que é descrito. Traça-se um caminho


sistemático que busca, com localizadores-chave explícitos ou não nos
depoimentos e nas relações entre os fatores. O processo analítico produz a
decomposição de um conjunto de dados, buscando as relações entre as partes
que o compõem. Uma das suas finalidades é a de expandir a descrição.

A interpretação pode ser uma seqüência da análise e pode também ser


desenvolvida após a descrição. Sua meta é a busca de sentidos das falas e das
ações para alcançar a compreensão ou explicação para além dos limites do que
é descrito e analisado. Na pesquisa qualitativa, a interpretação é o ponto de
partida (porque se inicia com as próprias interpretações dos atores) e o ponto de
chegada (porque é a interpretação das interpretações).

Wolcott (1994) também observa que essas três categorias de tratamento de


dados qualitativos não são mutuamente excludentes, nem possuem fronteiras
claras entre si. São apenas perspectivas de tratamento de dados qualitativos
que podem ou não coexistirem formalmente. Com base na experiência do
Claves, no seu formato final, o resultado de um processo de tratamento de
dados qualitativos deve refletir uma interpretação, sem necessariamente

199
apresentar a descrição e análise. Na prática, como caminho para a
interpretação, pode-se contemplar sempre a descrição e a análise.

Outros autores, como Minayo (2004), assinalam a importância de se buscar a


compreensão do que denominam a lógica interna de determinado grupo, frente
ao tema que está sendo analisado. Esta lógica interna é uma interpretação da
interpretação, mas inclui todas as fases hermenêuticas de valorização da
descrição e das etapas de análise.

A autora critica, por isso, as abordagens que se contentam com o primeiro nível
de exposição dos dados, apenas reafirmando as opiniões dos entrevistados. A
esta visão inicial (que precisa ser levada em conta no processo, mas não é o
suficiente para configurar uma abordagem qualitativa), Schutz (1982) denomina
construto de primeira ordem, dizendo que o construto de segunda ordem, que
constitui a interpretação, é um ônus que cabe ao investigador.

Outro conceito importante para a prática da interpretação é inferência. Para


Bardin (1979), este conceito diz respeito ao exercício para ultrapassar o nível de
descrição das falas e das observações, e se chegar à interpretação. Inferência
é, pois, um conceito de mediação. Pode ser entendida como a operação pela
qual se aceita uma proposição em virtude de sua relação com outras
anteriormente acatadas como verdadeiras. As inferências são construídas a
partir de perguntas como: O que conduziu tal entrevistado a emitir determinado
enunciado? Que conseqüências esse enunciado vai provavelmente provocar?
São resultantes de uma indagação básica para qualquer investigação científica
ou de outro tipo: “quem diz o que, a quem, como e com que efeito?”

A interpretação de sentidos, proposta aqui apresentada, se baseia em uma


perspectiva socioantropológica. Tem como foco o fenômeno cultural. Por ser
este um tema para o qual há várias concepções e teorias, adota-se aqui o
conceito de Geertz (1989: 15), que concebe o ser humano como “um animal
amarrado a teias de significados que ele mesmo teceu”. Para o autor, a cultura

200
são essas intrincadas teias e a sua interpretação pelos que a vivem e ao mesmo
tempo produzem estruturas de significados socialmente estabelecidos. A
interpretação seria, portanto, a compreensão dessas estruturas, dentro de sua
base social e material. A dialética entre as interpretações e reinterpretações dos
diferentes atores sociais que interagem dentro das condições objetivas em
determinado espaço e tempo é a contextualização.

Thompson (1998) afirma que interpretar a cultura significa trabalhar com formas
simbólicas que têm, pelo menos, cinco características:

ƒ são intencionais: expressam relações entre sujeitos, dentro de objetivos e


propósitos e expressam intencionalidade;
ƒ são convencionais: ressaltam a produção, a construção ou o emprego
das formas simbólicas, bem como a sua interpretação, dentro de regras,
códigos e convenções de vários tipos;
ƒ são estruturais: expressam modelos articulados de inter-relações entre os
sujeitos;
ƒ são referenciais: elas sempre representam e dizem algo sobre alguma
coisa, diferentes de si próprias;
ƒ são contextuais: estão sempre inseridas em processos e construções
sócio-históricas específicas, a partir dos quais são produzidas,
transmitidas e recebidas.

Em sua proposta da análise hermenêutico-dialética, Minayo (2002 e 2004), com


base em Habermas (1987) e Gadamer (1999), propõe como parâmetros da
interpretação de significados os seguintes princípios:

ƒ compreender o contexto em que os dados são gerados;


ƒ levar a sério os textos (relatos, entrevistas, histórias de vida, biografias,
documentos escritos e outros) que se pretenda interpretar, supondo
sempre que eles têm um teor de racionalidade e de sentido;

201
ƒ buscar compreender as razões que o autor do texto teria para elaborá-lo
ou pronunciá-lo da forma como o fez;
ƒ assumir uma posição em relação aos textos, sem achar que em algum
momento existirá uma última palavra;
ƒ trabalhar com a expectativa de que o autor do texto poderia compartilhar
de explicação elaborada se pudesse penetrar também no mundo de
pesquisador.

Proposta de caminho para a interpretação – A proposta que segue, como já foi


observado, é produto do diálogo entre a experiência de pesquisa acumulada ao
longo de mais de dez anos e outras técnicas sugeridas pelos autores deste
capítulo. Trata-se de um caminho que, necessariamente, não se constitui de
etapas excludentes mutuamente e nem seqüenciais. Na sua descrição há que
se separar para explicar, mas, na prática, as diferentes etapas se interpenetram.

Na primeira etapa, o primeiro passo a a ser dado para a interpretação dos dados
é a leitura compreensiva do material selecionado. Esta leitura ocorre antes e
depois de se montarem as estruturas de análise. Por meio dela, os
investigadores visam a: impregnar-se pelo conteúdo do material, ter uma visão
de conjunto e apreender as particularidades presentes nessa totalidade parcial.

Um dos critérios para se avaliar se foi realizada uma leitura de boa qualidade é a
capacidade de descrever as falas, as ações e os fatos a partir da perspectiva
dos atores. Para isto, como lembra Minayo (2002; 2004), é de fundamental
importância se colocar no lugar deles, em seu tempo e em suas circunstâncias.
Se o investigador não consegue chegar a este ponto, possivelmente ele não vai
alcançar uma compreensão adequada.

Mas, nesse passo da análise, não basta apenas ter compreensão do material. É
preciso ancorar a leitura em conceitos ou referenciais teóricos e
contextualizações que orientem o olhar sobre os dados.

202
Para um diálogo entre a leitura compreensiva e a teoria adotada, apresentam-se
algumas orientações, sustentadas a partir da próxima etapa.

Na segunda etapa, pressupõe-se que as estruturas de análise, tratadas no


tópico referente à organização de dados, já tenham sido realizadas. É
fundamental, então, ir além das falas e dos fatos descritos. Para isso, devem-se
buscar as idéias que estão por trás dos textos (transcrições de falas, registros de
observação, e organização de outros materiais secundários). Esta é a etapa da
construção de inferências.

Inicialmente, em cada uma das classes ou partes (ou “gavetas”) da estrutura da


análise, deve-se identificar as idéias que estão implícitas ao texto. Ilustra-se esta
operação com seis trechos de depoimentos dados por estudantes participantes
do Programa Cuidar. A situação hipotética proposta versava sobre o fato de uma
menina tímida, ao relacionar-se sexualmente com seu namorado pela primeira
vez, haver contraído Aids. E de sua amiga mais extrovertida, mesmo tendo
várias vezes relações sexuais com diferentes parceiros, continuar sem a
doença.

Olha o modelito de novo aí, gente!


EXEMPLOS DE DIVERSIDADE DE SENTIDOS NA ANÁLISE DO PROGRAMA CUIDAR
1- “Ela por ser tímida (...) ficou com vergonha (...) não falou nada [sobre o preservativo] pra
ele [o namorado] (...) deu no que deu” (alunaCA/com).
2- “O namorado forçou ela, se não largava” (alunaCA/com).
3- “Por ela ter um único namorado, ela não se preservou foi com ele, não usou camisinha,
ela pensou assim ‘eu só namorei ele, acho que ele não namora ninguém” (alunoIG/com).
4- “O jovem vive intensamente. Ele, a nossa geração, não se preocupa com o amanhã,
com o depois. Ele só pensa no hoje” (alunoIG/com).
5- “Muitas vezes ocorre também do namorado falar assim ‘eu só continuo com você se
você transar comigo’. Aí como, às vezes, ela é muito fraca, ou então tem aquela paixão
obsessiva pelo namorado, deixa-se levar” (alunaJF/com)
6- “Ela não conseguiu dialogar com as pessoas e assim não tinha meios pra saber como
se prevenir” (alunoJF/com).

203
Nestes depoimentos, os adolescentes lançaram mão de idéias para explicar o
fato de uma menina ter contraído Aids, que podem ser sintetizadas no seguinte
quadro:

Quadro 1 – Idéias presentes nos depoimentos dos adolescentes

Idéias Depoimentos
Jeito de ser da menina (1)
Imposição do namorado (2) e (5)
Confiança no namorado (3)
Característica própria da adolescência (4)
Falta de informação (6)

Após a identificação dessas noções que subjazem aos depoimentos, podem-se


elaborar algumas perguntas para aprofundá-las: (a) As idéias se diferenciam por
fatores, como gênero, município ou escola? (b) Se houver diferenças, quais
seriam os pontos comuns entre os argumentos? (c) Há contradições entre eles?
(d) Há alguma categoria classificatória que poderia conter outras idéias
identificadas? (e) Há dados que permitam comparar os argumentos desses
atores (no caso alunos) com os de outra categoria de ator (professor, por
exemplo)? (f) Há informações provenientes de outros estudos que reforçam ou
contrariam as idéias emitidas ou parte delas?

Estas são algumas indagações que podem contribuir para o aprofundamento


dos dados. Uma vez respondidas, permitem partir para comparações e para a
busca de um quadro mais sintético e mais nítido de temáticas ou eixos
orientadores da interpretação.

A terceira etapa é o momento referente ao ápice da interpretação propriamente


dita. Trabalha-se, então, com sentidos mais amplos que articulam modelos
sujacentes às idéias. Realiza-se, na realidade, uma reinterpretação, ou seja,

204
uma interpretação das interpretações. Enquanto os procedimentos de análise
(mais próprios da segunda etapa) quebram, dividem, deconstroem, procuram
desvelar, a interpretação caminha em um movimento de síntese, por meio da
construção criativa de possíveis significados. Nesta etapa, além de explicar o
que está sendo representado ou dito, é preciso dar conta dos conflitos
intrínsecos ao próprio processo de interpretação (Thompson, 1998).

Para que essa construção de síntese ocorra, é de fundamental importância


realizar diálogos entre:

ƒ a dimensão teórica (os conceitos e os referenciais) e os dados empíricos;


ƒ os textos e seus contextos;
ƒ as questões, os pressupostos, os objetivos e os dados; as informações
trazidas de campo e os indicadores previamente estabelecidos, no caso
de investigação avaliativa.

No caso da investigação avaliativa do Programa Cuidar, além de interpretar,


também se verificaram os sentidos dos depoimentos, a partir dos indicadores
escolhidos anteriormente, na etapa de preparação do projeto. Isso foi
importante, na comparação realizada entre escolas com o Programa e escolas
sem o Programa.

Retomando o mesmo exemplo de depoimentos sobre as explicações de por que


as pessoas contraem Aids, esboça-se, aqui, uma interpretação.

A possível imposição do namorado, a timidez de uma garota ou o excesso de


confiança nele, que os jovens relacionaram ao não uso do preservativo
produziram imagens que se associam ao desempenho de papéis de gênero. No
caso, homem impõe à mulher regras de relações sexuais e ele, por sua vez
responde de forma submissa, tímida e tradicional, mesmo sendo jovem e o
movimento feminista ter alcançado grandes êxitos ao longo do século XX.

205
Outras falas se referem às características próprias da adolescência, como uma
fase em que se age sem pensar. Estas opiniões são uma crítica acerca da
necessidade de se ter consciência das conseqüências dos atos, mesmo quando
se é adolescente. Esse segundo tipo de posicionamento se elabora a partir de
uma visão alternativa da veiculada pelo senso comum sobre a adolescência
enquanto o tempo da da inconsequência. Dá contéudo a esse período da vida
como parte de um tempo histórico em que, em relação a Aids (e talvez no que
concerne a muitas outras questões) o jovem não pode se permitir descuidos e
irresponsabilidades.

As explicações que ressaltam a importância de ser informado a respeito da


transmissão da Aids apontam o fato de que existem jovens não informados ou
pouco informados e partem da pressuposição de que a pessoa que recebe
informações se previne. É no âmbito das relações interpessoais estudante-
estudante, aluno-professor, pais-filhos que colocam o melhor espaço de
aprendizagem sobre relacionamento sexual saudável e, nas entrelinhas, pedem
mais do que transmissão de conteúdos.

6.2.2. Análise e Interpretação quantitativa

A estatística é uma ciência que estuda e pesquisa: o levantamento de dados


com a máxima quantidade de informação possível para um dado custo; o
processamento de dados para a quantificação da incerteza existente na
resposta para um determinado problema; a tomada de decisões sob condições
de incerteza, sob o menor risco possível; a otimização de análise de decisões,
de previsões em muitas áreas; de pesquisas de avaliação, e seu aumento de
qualidade e produtividade (Rao,1999).

As análises quantitativas realizadas em programas de avaliação costumam


empregar métodos da estatística descritiva e indutiva. A estatística descritiva
fornece um perfil das características do grupo estudado e da distribuição dos
eventos neste grupo. Já a estatística indutiva possibilita a formulação de

206
hipóteses e a fixação de regras de decisão, permitindo inferências e
generalização de resultados obtidos em determinada amostra que tenha
significância em relação à população.

Pinheiro & Torres (2002) analisam os seguintes conceitos como sendo


fundamentais para a compreensão dos dados que devem se expressar em
linguagem estatística: elemento, variável, observação e caso. Entende-se por
elemento uma unidade em determinado estudo.

Na avaliação do Programa Cuidar, por exemplo, cada escola que participou do


estudo constituiu um elemento. Cada aluno ou cada educador dessa escola
também é exemplo de elementos. Variável é uma característica que se pretende
mensurar, como: sexo, idade, série escolar. Observação diz respeito à
informação sobre a variável para um elemento específico. Assim, quando se diz
que numa escola, no conjunto de alunos, 60% são do sexo masculino e 40% são
do sexo feminino, cada um desses percentuais é uma observação (uma
informação) sobre a variável sexo dos alunos (elementos). Quando se toma
como referência um aluno (um elemento) em relação a sexo (variável) pode-se,
por exemplo, ter a informação (observação) de que ele é masculino. Caso é o
conjunto de observações de um elemento determinado. Desta forma, quando se
considera uma escola (elemento), pode-se dizer que se trata de uma instituição
que desenvolve o Programa, pertencente ao município de Juiz de Fora (MG) e
integrante da rede pública de ensino. Esse conjunto de informações acerca
dessa escola constitui o caso.

Além dessas definições básicas, destacam-se as relacionadas a tipos de


Variáveis e Escalas de Mensuração. As variáveis são classificadas inicialmente
em qualitativas e quantitativas. As primeiras subdividem-se em nominal e
ordinal, ao passo que as quantitativas se consideram discretas ou contínuas.

A variável é qualitativa quando os possíveis valores que ela assume


representam atributos e qualidades. Se tais variáveis têm uma ordenação

207
natural, indicando intensidades crescentes, são classificadas como qualitativas
ordinais. Caso contrário, quando não é possível estabelecer uma ordem natural
entre seus valores, denominam-se qualitativas nominais.

Variáveis tais como turma (A ou B), sexo (masculino ou feminino) e uso de


cigarro (sim ou não), são qualitativas nominais. No caso de se poder colocar
uma ordem, como as que se referem a tamanho (pequeno, médio ou grande),
classe social (baixa, média ou alta) e nível de consumo de álcool (leve,
moderado, severo), são chamadas variáveis qualitativas ordinais.

As variáveis quantitativas são de natureza numérica e podem ser subdivididas


em discretas e contínuas. Chamam-se discretas as resultantes de contagens,
assumindo assim, em geral, valores inteiros. De uma maneira mais formal, o
conjunto dos valores assumidos é finito ou enumerável. Já as contínuas
assumem valores em intervalos dos números reais e, geralmente, são
provenientes de uma mensuração. Por exemplo, número de irmãos (0, 1, 2,...) e
número de professores de uma escola (0, 1, 2,...) são variáveis quantitativas
discretas, ao passo que peso e altura são quantitativas contínuas.

As escalas de mensuração podem ser do tipo nominal, ordinal, intervalar e


proporcional ou de razão.

A nominal é formada por categorias relacionadas a atributos ou qualidades dos


dados. Nela, usam-se nomes, símbolos ou números como categorias. Quando
se utilizam códigos expressos em números, não necessariamente esses
números representam quantificação, ou seja, não há um significado aritimético.
Assim, para classificar elementos de uma população quanto ao sexo, usam-se,
por exemplo, os símbolos M (masculino) e F (feminino) ou os números 1
(masculino) e 2 (feminino). Em suma, a escala nominal usa códigos ou símbolos
para identificar elementos ou suas características em diferentes classes ou
categorias. Os valores da escala não indicam ordem, hierarquia ou proporção.
Desta forma a atribuição de códigos ou símbolos a essas categorias é arbitrária.

208
Em uma escala nominal, a única operação matemática possível é a construção
de uma distribuição de freqüências das categorias. Seus valores são contados e
não medidos.

Na escala ordinal, as categorias também podem ser representadas por nomes,


números ou mesmo símbolos, como no caso anterior, mas possuem
características de ordenação ou de hierarquia. Tal escala, além de permitir uma
classificação, estabelece ordenação entre as classes. Nesse tipo de escala,
pode-se utilizar operações aritiméticas de contagem e comparação. Quando se
classificam os alunos a partir de suas notas (números), usa-se uma escala
ordinal, ordenando-os de acordo com essa variável.

Outro exemplo é o das classes socioeconômicas. Pinheiro & Torres (2002)


observam que, em uma escala ordinal as categorias também são qualitativas,
significando que a distância entre uma e outra categoria não pode ser medida
numericamente. É o caso de uma escala crescente que meça intensidade do
consumo de fumo, com os valores 1, 2, 3 e 4. Tais valores são ordenados, mas
não se pode afirmar que um estudante, cujo consumo o inclua num nível de
gravidade 4, apresente duas vezes mais gravidade do que outro que se situa no
nivel 2.

As variáveis quantitativas podem ser medidas por meio de escala intervalar ou


de escala proporcional ou de razão. Em ambas as quantidades são atribuídas
considerando-se intervalos iguais. Entretanto, na escala intervalar, o valor nulo
não corresponde à ausência de caracterísitca medida. Assim, o ponto zero não
significa um conjunto vazio, mas um ponto de partida escolhido. Nesta escala, é
importante que a mesma distância seja obtida entre os objetos. Se por exemplo,
ao se analisar a variável idade por meio de uma escala e se arbitrar em cinco
anos o intervalo entre as categorias, pode-se observar a diferença entre duas
turmas de alunos com idades de 5 a 10 anos, da mesma forma como se pode
fazê-lo, olhando-se turmas entre 7 e 12 anos. Nesses exemplos, o zero ou ponto

209
de paratida são o 5 e o 7, respectivamente. As operações aritiméticas usadas
nessa escala, além das anteriores, são a soma e a subtração.

Escala de razão ou proporcional é aquela em que as relações entre os valores


numéricos atribuídos em função da mensuração podem expressar relações ou
razões equivalentes entre si. Nesse caso, o zero representa um conjunto vazio,
ou seja, ausência de variável medida e todas as operações aritméticas podem
ser empregadas. Por exemplo, em uma turma em que há 20 meninos e 10
meninas, a razão é de 2 meninos para cada menina. Outro exemplo, a
existência de 15 turmas de ensino fundamental é o triplo de 5 turmas de ensino
médio. A escala de razão leva em conta a ordem, o intervalo e a proporção entre
duas medidas.

No Quadro 2, encontram-se listadas as escalas com as estatísticas usadas, e as


características e tipos de testes apropriados.

Quadro 2 – Tipos de escalas, estatísticas e testes utilizados

Tipo de escala Estatística Característica Teste


Nominal Moda e freqüência Classificação Não-paramétricos
Ordinal Mediana; moda e freqüência Ordenação e Classificação Não-paramétricos
Intervalar Média; desvio-padrão; Ordenação, Classificação e Paramétricos
mediana; moda e freqüência Operações aritméticas (*)
Razão Média; desvio-padrão; Ordenação, Classificação e Paramétricos e
mediana; moda e freqüência Operações aritméticas Não-paramétricos
(*) Desde que sejam mantidas a ordem dos objetos e as diferenças relativas.
Fonte: Hoel (1981), Martins & Donaire (1979) e Siegel (1975).

Para completar esta reflexão sobre o conjunto de conceitos básicos,


apresentam-se, a seguir, os tipos de análises estatísticas mais utilizadas. As
análises mais comuns em programas de avaliação são: (1) a univariada, onde
cada variável é estudada isoladamente e de forma descritiva (freqüências
absolutas, freqüências relativas, médias, medianas e outras) com o objetivo de
se estabelecer um prévio conhecimento das características do objeto do estudo;
(2) bivariada, em que se investiga a possibilidade da existência de algum tipo de

210
relação entre uma variável de exposição (independente) e uma variável resposta
(dependente ou de desfecho), utilizando-se testes estatísticos (Qui-quadrado,
Kruskall-Wallis, ANOVA etc.); (3) multivariada, por meio da qual se verifica o
efeito das variáveis interferentes na relação entre as variáveis de exposição e as
de resultado, utilizando-se, para isso, análise de correspondência,
emparelhamento das amostras, regressão linear, regressão logística e outras
técnicas.

Tais análises costumam ser realizadas utilizando-se procedimentos da


estatística paramétrica e da estatística não-paramétrica. A estatística
paramétrica trabalha com características populacionais, comumente chamadas
de parâmetros. Como exemplo, pode-se mencionar a proporção de pessoas que
fumam na população brasileira ou o percentual de pessoas alfabetizadas na
Região Sudeste do Brasil. Uma situação comum na inferência estatística
chamada paramétrica é a testagem de hipótese quanto às diferenças
observadas em duas amostras, indicando-se que as mesmas têm origem em
populações diferentes.

Na estatística não-paramétrica, não se especificam condições sobre os


parâmetros populacionais. Trata-se de um tipo de mensuração que trabalha com
amostras de pequeno tamanho e seus testes são considerados mais simples do
que os empregados na estatística paramétrica e possuem menor poder
explicativo. Para que os testes não-paramétricos tenham maior poder, vão
precisar de uma amostra maior do que a dos testes paramétricos.

No Quadro 3, resumem-se as situações, os tipos de dados e os testes


recomendados e os testes para abordagem paramétrica e não-paramétrica.

Quadro 3 – Situações, tipos de dados e testes recomendados para


abordagem paramétrica e não-paramétrica

Situação Variável/ Escala Teste recomendado


Uma amostra Nominal Binomial

211
Ordinal Kolmogorov/Smirnov
Intervalar Teste t de Student
Duas amostras independentes Ordinal Mann – Whitney
Intervalar Teste t de Student (para comparação de duas
médias)
Duas amostras relacionadas Nominal Mc Nemar, Teste do sinal
Ordinal Wilcoxon
Intervalar Teste t de Student (para amostras pareadas)
Mais de duas amostras Ordinal Kruskal Wallis
independentes Intervalar Análise de Variância
Mais de duas amostras Ordinal Cochran
relacionadas
Adequação do ajuste de uma Qualquer escala Qui-Quadrado, Kolmogorov / Smirnov
distribuição teórica
Tabelas de Contingência Qualquer escala Qui-Quadrado
Fonte: Siegel (1975).

• A análise quantitativa propriamente dita – Para se avaliar,


quantitativamente, os efeitos da implantação de um determinado
programa educacional ou social, podem-se utilizar diferentes abodagens
estatísticas, dentre as quais as mais comuns são: análise descritiva,
análise fatorial, de variância, de correspondência, de regressão, de
covariância, regressão logística e análise discriminante. A análise
quantitativa dos resultados empíricos do Cuidar seguiu alguns desses
tipos de técnica.

Na fase de análise descritiva, definida anteriormente, todas as questões foram


cruzadas segundo oito variáveis: sexo, faixa etária, cidade, classe econômica,
cor da pele, natureza da instituição, nível de escolaridade e presença ou
ausência do programa. Para verificar diferenças estatisticamente significativas
entre os grupos de alunos e de professores das escolas em que o programa de
intervenção social foi implantado e os das escolas sem a intervenção, utilizou-se
o teste de Qui-quadrado de Pearson. Esse dispositivo permite verificar se a
freqüência absoluta observada de uma variável é significativamente diferente da
distribuição de freqüência absoluta esperada. São condições necessárias para a
aplicação desse teste que as variáveis sejam exclusivamente nominais e
ordinais e as observações sejam independentes. Não se recomenda a sua

212
aplicação quando: existem freqüências inferiores a 1 em cada caso e quando
20% das observações são inferiores a 5. Tal teste pode ser usado para uma ou
duas amostras. No primeiro caso, é aplicado quando se quer estudar a
dependência (existência de associação) entre duas variáveis, por meio de uma
tabela de dupla entrada, também conhecida como tabela de contingência. Já no
segundo, seu uso visa a verificar se a distribuição da variável investigada em
duas ou mais amostras não-relacionadas difere significativamente.

Mais um modelito

O USO DO TESTE EXATO DE FISHER NO PROGRAMA CUIDAR


Para análise dos dados do Programa Cuidar, quando necessário, utilizou-se o teste Exato
de Fisher para determinar se os dois grupos – por exemplo, os alunos com e os sem
intervenção – diferiam na proporção em que se enquadravam nas duas classificações.
Esta é uma técnica não-paramétrica extremamente útil para se analisar dados
discretos(nominais ou ordinais), quando o tamanho das duas amostras independentes é
pequeno. É utilizada quando os escores das duas amostras aleatórias independentes se
enquadram todos em uma ou outra de duas classes mutuamente exclusivas (Siegel,1975).

O passo seguinte na avaliação do Programa Cuidar foi a aplicação do Teste t e


a Análise de Variância (Anova) para verificar diferenças estatisticamente
significativas nas variáveis quantitativas e qualitativas ordinais.

O Teste t é uma técnica usada para comparar duas médias amostrais e para
verificar se as mesmas são estatisticamente diferentes (Berquó et al., 1981;
Larson, 1982). Por exemplo, usa-se esta técnica para se distinguir, entre dois
estabelecimentos de ensino, o que dispõe de professores mais qualificados.

Para mensurar o grau de qualificação dos professores, aplica-se um


questionário com questões intervalares de 5 pontos. A escola A obtém média
geral de 2,85 e a escola B a média de 3,45. Conclui-se que a escola B tem
professores mais qualificados que a escola A. O Teste t visa a comprovar se tal

213
diferença é significativa e a explicar se as diferenças entre as médias são
devidas ou não a erro amostral.

A análise de variância (ANOVA) visa a verificar se existe diferença significativa


entre as médias oriundas de grupos diferentes e se existem fatores que
influenciam os resultados observados na variável dependente. Tais fatores
podem ser de origem qualitativa ou quantitativa, mas a variável que explicará o
fenômeno necessariamente deverá ser contínua. Trata-se de um teste bastante
difundido em softwares estatísticos e planilhas eletrônicas. Esta técnica é
indicada quando se deseja comparar três ou mais médias amostrais, para se
evidenciar se as mesmas são estatisticamente diferentes. Dentre os
procedimentos necessários para se calcular a Anova, há o cálculo da variância
dentro dos grupos (variância intragrupos) e o cálculo da variância entre os
grupos (variância entre-grupos) das médias de grupos diferentes. Em uma
ANOVA, calculam-se esses dois componentes. Se a variância calculada usando
a média (entre os grupos) for maior do que a calculada usando dados
pertencentes a cada grupo individual (dentro dos grupos), pode-se indicar que
existe uma diferença significativa entre os grupos.

Outro...

TÉCNICAS DE ANÁLISE UTILIZADAS NO PROGRAMA CUIDAR


Na análise do Cuidar, ao calcular a ANOVA, usou-se o teste de Scheffé, buscando-se
identificar que médias apresentavam, duas a duas, diferenças estatisticamente
significativas (Berquó et al., 1981; Bussab, 1986; Larson, 1982).
Além dos tipos de técnica utilizadas para se observar os efeitos do Cuidar, trabalhou-se
também com análise de correspondência, com objetivo de refinar o instrumento de coleta
(questionário), a cada etapa do estudo e, também, para melhor compreensão dos cinco
eixos de intervenção propostos pelo Programa. Essa análise permitiu conhecer as relações
entre as categorias (respostas) das variáveis estudadas. É uma técnica multivariada para
examinar relações geométricas do cruzamento de variáveis categóricas. Ela analisa a
distribuição de massa (as freqüências marginais de uma tabela de contingência) de um
conjunto de observações e verifica se tal distribuição é uniforme. No caso do Cuidar, essa
análise visou identificar, para cada um dos eixos do estudo, as relações existentes entre as
múltiplas categorias (respostas) das múltiplas variáveis que os compunham.
Finalmente, para a análise quantitativa do mesmo Programa, foi realizada a análise fatorial,
que estuda a estrutura de interdependência entre variáveis. Utilizou-se tal técnica nas duas

214
primeiras fases da pesquisa para se avaliar seu poder de explicação das variáveis que
constituíram os indicadores construídos pela equipe de avaliação logo na preparação da
pesquisa. Seu uso permitiu gerar uma estrutura de ponderação que se manteve
semelhante nas fases mencionadas, indicando que a maioria dos indicadores possuía
elevado poder explicativo e consistência interna.

6.2.3. Triangulação entre achados qualitativos e quantitativos

A estratégia de triangulação posta em prática na análise e interpretação de


dados da pesquisa avaliativa sobre o Programa Cuidar, tanto em seu
planejamento quanto na etapa final estabeleceu, permanentemente, um diálogo
entre as abordagens qualitativa e quantitativa, respeitando os momentos em
que, tecnicamente, as elaborações são absolutamente distintas. Esperava-se
uma avaliação da extensão das mudanças ocorridas como frutos do processo de
intervenção e as percepções e representações dessas transformações por parte
dos diferentes atores.

Ao longo do processo avaliativo, as duas abordagens ocorreram


concomitantemente e em interação, a não ser na etapa de implementação do
Programa, na qual predominou a visão qualitativa. A experiência narrada neste
livro e a reflexão teórica sobre ela mostra que é preciso uma disposição
conceitual e prática para olhar os achados sob diferentes óticas. Ou seja, como
lembra Goldim (2000), a utilização de diferentes métodos para se estudar um
mesmo problema, necessariamente, não tem como resultado sua integração.
Conflitos e tensões entre conclusões sobre dados, produzidos por óticas
diferentes, ocorrerão mesmo quando se procura, intencionalmente, atuar
conjuntamente.

Entretanto, a possibilidade de complementaridade na riqueza de interpretações


faz que valha a pena superar tensões entre as abordagens. Assim, quando se
comparam resultados a partir dos indicadores, é de fundamental importância que
se olhe tanto para a extensão do que foi alcançado quanto para o sentido que
isso traz para a vida individual, grupal e institucional das pessoas. A

215
consecução, muito freqüente, de resultados semelhantes retratados em
indicadores, aplicando-se as duas abordagens, aumenta a consistência das
conclusões. Acrescente-se a este aspecto o fato de que, em determinados
momentos da avaliação, um indicador analisado à luz de uma abordagem pode
melhor iluminar os resultados obtidos do que se eles forem vistos apenas sob
uma perspectiva.

Modelito

TRIANGULAÇÃO DE ABORDAGENS METODOLÓGICAS NO PROGRAMA CUIDAR


Na triangulação de abordagens metodológicas, trabalhou-se também, na análise de dados
de avaliação do Cuidar, com a triangulação de fontes e de pesquisadores. Isso ocorreu na
medida que, o processo interpretativo tinha presentes as visões de diferentes categorias
de atores (alunos, docentes, gestores, patrocinadores, formuladores). E também, na
mesma medida, se exercitava uma avaliação interdisciplinar assegurada pelas diferentes
formações profissionais da equipe formada por cientistas sociais, educadores,
epidemiologistas, estatísticos, médicos e psicólogos.
No processo de análise houve três tipos de situações vivenciadas em decorrência da
experiência de triangulação: (a) as duas distintas formas de analisar se reforçaram
mutuamente nas suas descobertas; (b) a análise qualitativa auxiliou na discussão dos
dados quantitativos e (c) uma perspectiva analítica, num determinado momento, foi mais
potente do que outra para avaliar os resultados. Ao longo da avaliação, observou-se que,
na maioria das vezes, as perspectivas se interfertilizaram.
Pode-se exemplificar a primeira situação com as modificações observadas, tanto na visão
dos alunos quanto na dos professores, em relação às dimensões relacionadas à auto-
imagem, auto-estima, autoconfiança e às metas e realizações de projetos. Do ponto de
vista quantitativo, alunos e professores concordaram com a opinião de que, ao longo do
tempo, foi ficando mais positiva a idéia de que o aluno sabe o que fazer para realizar seus
sonhos e de que sabem persistir mesmo quando as coisas dão erradas para eles. Isso
pode ser melhor observado no quadro a seguir.

Carlota, tudo isto faz parte do exemplo, tá?


Esta linha de baixo não existe

Questões Atores Anos


2000 2001 2002
Sabe o que fazer Alunos 87,9% 91,3% 91,3%
Professores 4,7% 10,7% 21,9%
Persiste Alunos 70,2% 75,2% 74,0%
Professores 17,3% 27,3% 38,8%
Fonte: Avaliação do Programa Cuidar. FIOCRUZ/ENSP/
CLAVES, 2000, 2001, 2002 e 2003.

216
Do ponto de vista qualitativo, as expressões de autocuidado tiveram também uma
mudança para melhor quando se considera a adoção de comportamentos seguros em
relação ao consumo de droga. As duas abordagens se complementaram, também, ao
mostrar que houve uma redução do consumo de drogas nas escolas que aderiram ao
Programa. Essa redução não foi observada nas escolas sem o Programa, onde ocorreu o
crescimento do consumo de alcool e outras substâncias no mesmo período, medido ano a
ano.
No caso da contribuição dos dados qualitativos para a problematização dos quantitativos,
pode-se também exemplificar. A abordagem quantitativa pediu que professores e alunos
dessem uma nota que correspondesse a seu julgamento do Cuidar. No conjunto,
observou-se que o conceito atribuído pelos professores teve uma medida mais baixa (7,6)
do que a dos alunos (8,7). A abordagem qualitativa permitiu compreender que a nota mais
baixa dos professores não expressava as positividades que eles encontravam no
Programa. Os docentes perceberam o Cuidar como um programa bem-sucedido, que
contribuiu para mudanças nas relações, nos comportamentos dos jovens, no aumento da
reflexão sobre o enfrentamento dos riscos na adolescência. Também consideraram que a
implementação do programa os ajudou a ter maior confiança em seus potenciais como
educadores e em seu papel de incentivadores das experiências de protagonismo dos
jovens.
Em relação ao fato de uma perspectiva analítica ser mais potente para a avaliação do que
outra, frente à determinada pergunta de avaliação, pode-se exemplificar com os achados
relacionados às informações dos jovens acerca da transmissão da Aids. Ao avaliar as
respostas, comparando as perspectivas quantitativa e qualitativa, observam-se diferenças
importantes. Não se perceberam, por exemplo, alterações no nível de informação dos
estudantes sobre a doença a partir das respostas dadas por eles aos questionários nos
diferentes anos. Portanto, do ponto de vista quantitativo não se poderia afirmar que houve
efetividade do Programa nesse aspecto. Contudo, em termos qualitativos, os dados
revelaram mudanças relacionadas à capacidade de reflexão e de argumentação sobre as
formas de prevenção da doença nas escolas com o Programa.
Por meio da triangulação dos diferentes achados, chegou-se às seguintes explicações
para tais diferenças de resultados: (a) não houve um alinhamento ou equivalência
conceitual entre as perguntas do questionário e as dos grupos focais em relação às
questões aqui exemplificadas; (b) as ações desenvolvidas pelo Programa poderiam não
almejar diretamente o aumento do nível de informação (para o qual não se observou
mudança nas etapas da avaliação), mas estarem mais dirigidas para a busca de mudanças
de atitudes e comportamento frente ao problema, o que foi captado pela abordagem
qualitativa; (c) não houve tempo suficiente para que mudanças quantitativas pudessem ser
observadas.
A triangulação colocada em prática na avaliação no Programa Cuidar, de um lado, permitiu
conservar as especificidades de métodos, das informações dos diferentes atores e dos
olhares disciplinares. E, de outro, abrir um diálogo transdisciplinar, assegurando um
princípio da dialética que contempla, ao mesmo tempo, a integração e a distinção. Ao final
desse processo, considera-se que a estratégia de triangulação foi muito útil e produtiva
para a equipe que trabalhou na investigação avaliativa do Cuidar, e por isso, se imagina
que pode ser uma estratégia a ser socializada com outros grupos.

Sintentizando, no processo de elaboração do diálogo de abordagens, ressaltam-


se duas situações às quais é preciso estar atento nas análises de dados de uma

217
pesquisa avalliativa. A primeira se refere ao fato de haver uma
complementariedade ou concordância no diálogo entre as duas perspectivas.
Neste caso, pode-se, de uma certa forma, pensar na existência de consistência
dos resultados, uma vez que, independentemente do método utilizado, as
conclusões foram as mesmas.

A segunda situação se refere à oposição de resultados, o que deveria, de


princípio, conduzir a uma maior problematização das formas de preparar a
investigação e dos instrumentos utilizados tanto para a coleta quanto para a
análise do material empírico. Constatadas as contradições, deve-se ampliar o
olhar para o conjunto de dados, buscando avaliar qual dos dois tipos de
resultados melhor se sustentam. Mas, seria fundamental, também, retornar à
bibliografia, indagando sobre as conclusões de outros estudos sobre as mesmas
questões. Essa última atitude permite sustentar ou questionar uma das formas
de abordagem e, também, aprofundar perguntas sobre o sentido das oposições
contraditórias.

Referências Bibliográficas

BAKHTIN, M. Marxismo e Filosofia da Linguagem. São Paulo: Hucitec,1986.

BARDIN, L. Análise de Conteúdo. Lisboa: Edições 70, 1979.

BERQUÓ, E.; SOUZA, J.M.P.; GOTLIEB, S.L.D. Bioestatística. São Paulo: EPU
Editora, 1981.

BOURDIEU, P. Esboço de uma Teoria da Prática. Oeiras: Celta, 2002.

BUSSAB, M.O. Análise de Variância e Regressão. São Paulo: Atual, 1986.

COSTA, A.F. A pesquisa de terreno em sociologia. In: SILVA, A. S. & PINTO, J.


M. (orgs.). Metodologia das Ciências Sociais. Lisboa: Edições Afrontamento,
1999. p. 129-148

FIOCRUZ/CLAVES. Avaliação do processo de implantação e dos resultados


do “Programa Cuidar” – 1ª fase. Rio de Janeiro: CLAVES, 2000. Relatório de
pesquisa.

218
FIOCRUZ/CLAVES. Avaliação do processo de implantação e dos resultados
do “Programa Cuidar” – 2ª fase. Rio de Janeiro: CLAVES, 2001. Relatório de
pesquisa.

FIOCRUZ/CLAVES. Avaliação do processo de implantação e dos resultados


do “Programa Cuidar” – 3ª fase. Rio de Janeiro: CLAVES, 2002. Relatório de
pesquisa.

FIOCRUZ/CLAVES. Avaliação do processo de implantação e dos resultados


do “Programa Cuidar” – 4ª fase. Rio de Janeiro: CLAVES, 2003. Relatório de
pesquisa.

GADAMER, H. Verdade e Método. Petrópolis: Vozes, 1999.

GASKELL, G. Entrevistas individuais e grupais. In: BAUER, M. W. & GASKELL,


G. (orgs.). Pesquisa Qualitativa com Texto, Imagem e Som: um manual prático.
Petrópolis: Vozes, 2000. p. 64-89

GEERZT, G. A Interpretação das Culturas. Rio de Janeiro: Livros Técnicos e


Científicos, 1989.

GOLDIM, J. R. Manual de Iniciação à Pesquisa em Saúde. Porto Alegre: Dacasa


Editora, 2000.

GOMES, R. A análise de dados em pesquisa qualitativa. In: MINAYO, M.C.S.


(org.). Pesquisa Social: teoria, método e criatividade. Petrópolis: Vozes, 2002. p.
67-80

HABERMAS, J. Dialética e Hermenêutica. São Paulo: L & PM 1987.

HOEL, P. Estatística Elementar. São Paulo: Atlas,1981.

ITURRA, R. Trabalho de campo e observação participante em antropologia. In:


SILVA, A. S. & PINTO, J. M. (orgs.). Metodologia das Ciências Sociais. Lisboa:
Edições Afrontamento, 1999. p. 149-163

LARSON, H. J. 1982. Introduction to Probability Theory and Statistical Inference.


New York: John Wiley & Sons.

MARTINS, G.D. & DONAIRE, D. Princípios da Estatística. São Paulo: Atlas,


1979.

MINAYO, M. C. S. Hermenêutica-dialética como caminho do pensamento social.


In: MINAYO, M.C.S & DESLANDES, S.F. (orgs.) Caminhos do Pensamento:
epistemologia e método. Rio de Janeiro: Fiocruz, 2002. p. 83-107

219
MINAYO, M. C. S. O Desafio do Conhecimento. São Paulo: Hucitec, 2004.

PINHEIRO, R. S. & TORRES, T. Z. G. Análise exploratória de dados. In:


MEDRONHO, R.A. Epidemiologia. São Paulo: Atheneu, 2002. p. 227-244

RAO, C.R. Statistics: a technology for the millennium Internal. Journal of


Mathemathics & Statististic, 8(1): 5-25, 1999.

SCHUTZ, A. A Comonsense and Scientific Interpretations of Human Actions.


Haia: Martiness Niphoff, 1982. Colleted Papers , v.1.

SIEGEL, S. Estatística Não-Paramétrica: para as ciências do comportamento.


São Paulo: McGraw-Hill do Brasil, 1975.

THOMPSON, J.B. Ideologia e Cultura Moderna: teoria social e crítica na era dos
meios de comunicação de massa. Petrópolis: Vozes, 1998.

WOLCOTT, H. Transforming Qualitative Data: description, analysis, and


interpretation. Londres: Sage Publication, 1994.

220
Capítulo 7

Apresentação e divulgação de resultados

Simone Gonçalves de Assis


Kathie Njaine
Maria Cecília de Souza Minayo
Nilton César dos Santos

Este capítulo trata das estratégias de comunicação dos resultados da


avaliação. Pensar em comunicação implica envolver múltiplas dimensões,
contextos e interatividade entre os diversos atores que participam de um
processo, no caso, o Programa Cuidar. Comunicar resultados é, portanto,
mais complexo do que apenas descrevê-los, apresentá-los e difundi-los.

A apresentação dos resultados de um programa de intervenção social é


sempre um aprendizado e uma construção coletiva. Mas também é fruto do
processo comunicativo desenvolvido e aplicado no decorrer de uma
avaliação. O ideal, como já foi reiterado desde a introdução, é que, em uma
investigação avaliativa, a interação esteja integrada na dinâmica da troca de
saberes. Assim, se houver um esforço inicial de diálogo e de construção
compartilhada desde o planejamento do projeto, da elaboração dos
indicadores e das análises, rompe-se com um tipo de comunicação linear em
que os que se julgam donos do conhecimento detêm informações e emitem
pareceres sobre as coisas e as pessoas.

O desafio inclui envolver todos os participantes na permanente elaboração e


re-interpretação de suas práticas, reconhecendo em cada um seu potencial
de mudança. A partir dessa ética de comunicação permite-se conceber o
outro como co-participante dos processos de conhecimento e de avaliação,
como tão apropriadamente se refere Pierre Lévy:

Se os outros são fonte de conhecimento, a recíproca é imediata.


Também eu, qualquer que seja minha provisória posição social,
qualquer que seja a sentença que a instituição escolar tenha
pronunciando a meu respeito, também sou para os outros uma
oportunidade de aprendizado. Por meio de minha experiência de
vida, de meu percurso profissional, de minhas práticas sociais e
culturais, e dado que o saber é co-extensivo à vida, ofereço recursos
de conhecimento a uma comunidade. Mesmo que esteja
desempregado, que não tenha dinheiro, não possua diploma, mesmo
que more num subúrbio, mesmo que não saiba ler, nem por isso sou
“nulo”. Não sou intercambiável. Tenho imagem, posição, dignidade,
valor pessoal e positivo no Espaço do saber. Todos os seres
humanos têm direito ao reconhecimento de uma identidade de saber.
(Lévy, 1999, 28) [modelito citação]

O objetivo central da comunicação de resultados é o de identificar a melhor


forma de apresentar os efeitos da intervenção sobre o público-alvo. Para
isso é preciso:

ƒ criar estratégias que indiquem o extenso leque de possibilidades de


ação, a partir de uma base informacional disponibilizada aos atores e
gestores do programa em avaliação;

ƒ ressaltar o sentido da intervenção social como uma práxis, ou seja,


como materialização das idéias propostas e que se transformam
dialeticamente em consciência individual e coletiva;

ƒ explicitar os caminhos de possibilidade e de continuidade das


experiências em curso, em devir;

ƒ evidenciar tendências e lições aprendidas por todos, até mesmo pelos


investigadores.

Apenas a redação de relatórios é, geralmente, insuficiente para as tarefas


propostas (Posavac & Carey, 2003; Denis & Champagne, 1997). Tanaka &
Melo (2001, 7) destacam a importância de divulgar os resultados,
primeiramente a "audiências relevantes, compostas de tomadores de
decisões; executores de serviços e programas; técnicos; participantes da
avaliação; financiadores; público em geral”. Posavac & Carey (2003)
lembram que é preciso diferenciar os instrumentos de comunicação,
dependendo dos interlocutores. Falam da necessidade de um plano em que
sejam previstos formatos de linguagem adequada e de produção gráfica
específica.

Por exemplo, no caso do acompanhamento avaliativo de um programa, é


preciso oferecer, à equipe diretora, informações sempre atualizadas sobre o

219
progresso da implementação, o que pode ser repassado por meio de
memorandos ou sumários executivos, à medida que se concretizam os
estudos. Apresentações orais em encontros, simpósios, oficinas de trabalho
e seminários com os participantes podem ser realizados, apontando-se os
pontos mais relevantes que evidenciam aspectos positivos e pistas para
correção de rumo. Dispositivos audiovisuais também ajudam a sintetizar
mensagens e provocar debates sobre os resultados de uma avaliação.

7.1.Apresentação de resultados de uma investigação avaliativa

• Sobre relatórios – Relatório é o instrumento mais tradicional de


apresentação dos resultados de uma pesquisa e dos vários tipos de
avaliação. Existem algumas normas básicas sobre este tipo de
documento. A folha de rosto deve conter:

ƒ o título que corresponda ao objeto de investigação;

ƒ os nomes dos participantes da equipe de da avaliação


com suas respectivas funções;

ƒ os nomes ou logomarcas das instituições realizadoras do


trabalho e das patrocinadoras;

ƒ data de finalização do informativo.

Todos esses detalhes facilitam a comunicação direta e a catalogação do


relatório.

Em seguida, caso o texto seja apresentado em capítulos, é fundamental


colocar o índice do trabalho. O conteúdo pode ser apresentado de várias
formas, mas é preciso manter o tom direto e ao mesmo tempo complexo,
nunca se omitindo: o objeto, os objetivos; o histórico, o contexto e as
circunstâncias da investigação; os conceitos centrais que balizaram o olhar
científico de forma sucinta e problematizada; o método ou os métodos
adotados com suas respectivas modalidades de operacionalização técnica; a

220
descrição, análise e problematização dos achados empíricos; os resultados
e as recomendações.

• Relatórios parciais – Nos casos como o da investigação avaliativa do


Cuidar que se realizou em várias etapas, permitem a comparação das
informações durante todo o processo, além de servir de memória para
o programa de intervenção e evitar repetições e de erros.

Quem elabora um relatório, seja ele parcial ou final, precisa ter


sempre em mente seu caráter operativo e estratégico, nos casos de
investigação avaliativa. Por isto, é importante que este instrumento
ressalte, sobretudo, os pontos mais relevantes referentes aos
objetivos da intervenção avaliada; as facilidades e dificuldades
enfrentadas; e os tópicos que orientam para mudanças de rumo,
melhoria de gestão, e pistas para continuidade.

Para facilitar a leitura, o relatório deve ser escrito em linguagem clara,


objetiva e apresentar formatos sintéticos e visuais que permitam
comparações, como é o caso de gráficos, tabelas, mapas ou outros
dispositivos em que a informação esteja sintetizada, para melhor
comparação. Dados mais complexos e de difícil compreensão podem
ser colocados em anexos, desde que explicados de forma
simplificada no relatório.

Sobre sumários executivos – O termo já indica a finalidade deste


documento. Constitui-se num relatório sintético (não necessariamente
simplificado) contendo as informações mais importantes que sumarizam o
relatório detalhado. Destina-se, sobretudo, aos gestores e financiadores de
um programa de intervenção, devendo responder às seguintes questões:

ƒ o que foi avaliado,

ƒ como foi avaliado;

ƒ com que objetivos, métodos e técnicas;

ƒ quais os resultados mais relevantes

221
ƒ quais são as recomendações.

Nos resultados, é fundamental destacar:

ƒ os pontos positivos mais relevantes,

ƒ os elementos críticos,

ƒ as necessidades de correção de rumo

ƒ as propostas de encaminhamento para o futuro.

• Sobre apresentação oral dos resultados – Se não é possível


dispensar o documento material da avaliação é preciso
valorizar sempre, encontros face-a-face que constituem
estratégias comunicacionais mais efetivas para a apresentação
de resultados. Por permitirem a continuidade da interação,
contribuem para provocar debates, dirimir dúvidas e promover
novas visões sobre os problemas. De acordo com Posavak &
Carey (2003: 257), “pessoas prestam mais atenção a pessoas
do que a palavras sobre o papel”. Poucos indivíduos se
dispõem a ler relatórios, geralmente contendo mais detalhes do
que o indivíduo possa querer conhecer.

Nos casos de encontros dos mais diferentes tipos (oficinas,


simpósios, seminários e outros) para apresentação do informe,
é importante enviar cópias aos convidados, além de promover
alguma técnica que facilite a dialetização do debate – por
exemplo, escolher alguns leitores críticos que ocupam
posições-chave no Programa de intervenção, para que
apresentem sua visão sobre os achados da avaliação ou sobre
o próprio relatório. Uma das experiências mais exitosas do
Claves, em suas atividades de avaliação, é debater o formato
preliminar do relatório com os diferentes interlocutores de
processo que está sendo analisado, visando a melhorá-lo,
adequá-lo e qualificá-lo. As apresentações orais facilitam o

222
esclarecimento de dúvidas dos participantes, permitem
negociação de idéias e explicações.

Essas iniciativas dão aos avaliadores um retorno mais


interativo e humanizado a respeitos das conclusões a que
chegaram, pois os interlocutores se manifestam por palavras,
gestos ou até silêncios que podem ser observados, captados e
compreendidos. Ouvir pessoas de diferentes posições
hierárquicas do programa avaliado agrega validade ao
processo. Todavia, a escuta de opiniões dos diferentes atores
não implica aceitação incondicional de suas sugestões, por
parte dos avaliadores. Afinal, em última instância, são esses
últimos os responsáveis pela emissão de um julgamento,
cabendo-lhes esse ônus, por designação dos próprios
interlocutores.

• Definir o conteúdo das apresentações orais – Requer habilidade e


sintonia com os interlocutores, por parte dos avaliadores, pois é
preciso focar os resultados sob formas distintas, adequando-os
quanto aos temas apresentados e ao grau de complexidade ideal
para cada grupo. Geralmente, usando técnicas de comunicação,
devem ser expostos:

ƒ um breve histórico do programa de intervenção e da avaliação;

ƒ uma sucinta e simplificada explicação da abordagem


metodológica utilizada;

ƒ síntese dos resultados.

É freqüente que participantes de um programa de intervenção reajam aos


dados, afirmando que não trazem novidades, pois já os conheciam por meio
da experiência pessoal. Estas atitudes podem ser contornadas se os
avaliadores solicitarem que alguns deles leiam o relatório antecipadamente,
escrevendo sua opinião sobre o programa avaliado e sobre o informe, o que
certamente mostrará uma diversidade de visões. Com o cruzamento dos
pareceres e dos resultados obtidos e apresentados no relatório, pode-se

223
avançar em um tipo de conhecimento estratégico para o programa e
aumentar a coesão do grupo.

Sínteses escritas da avaliação podem também ser distribuídas em


apresentações orais, facilitando o esclarecimento de algumas questões e
permitindo aos participantes se familiarizarem mais com o tema e difundirem
melhor os resultados.

• Sobre comunicação eletrônica – Na atualidade, não se pode


menosprezar a interlocução por internet. Pode-se criar uma
homepage do programa que promova interação entre as instituições
envolvidas na avaliação, divulgue os dados parciais e o informe final,
além de ter espaço para debate dos diferentes processos.

Carlota, aqui vai mais um exemplo


COMUNICAÇÃO DE RESULTADOS DO PROGRAMA CUIDAR

Em cada etapa da avaliação do Cuidar foi elaborado um relatório,


encaminhado primeiramente aos responsáveis pela implementação
do Programa. No total, foram quatro informes, um para cada fase
(Fiocruz Ensp/Claves, 2000; 2001; 2002; 2003). O conteúdo desses
documentos sobre cada fase foi organizado da seguinte forma:
introdução; considerações metodológicas; resultados da avaliação de
processo e de resultados da execução do Programa. Neles foram
destacadas as mudanças ocorridas, como fruto da intervenção,
envolvendo educadores e alunos; as relativas à participação dos pais
nos processos escolares e lições aprendidas. Em todos os capítulos
foram entrelaçados os resultados das abordagens quantitativas e
qualitativas e, a partir do primeiro, cada um dos relatórios seguintes
comparava os dados recolhidos com os da etapa anterior. Cada
relatório parcial e final teve a finalidade de dirigir-se aos principais
condutores do Programa, apontando os êxitos, os problemas e os
caminhos possíveis de sua continuidade. Adotou-se uma linguagem
direta, com apresentação dos dados em quadros e recomendações.
Embora os avaliadores se mantivessem abertos a críticas, poucas
observações foram redigidas pelos executores da proposta de
intervenção em relação às informações enviadas. Mas houve vários
encontros com diversas modalidades de discussão dos resultados.
Pode-se observar que os encontros face a face permitiram perceber
melhor a reação de aceitação ou de questionamento sobre os
diferentes aspectos analisados.
Várias possibilidades comunicacionais foram desenvolvidas ao longo
da avaliação, indicando que os participantes tentavam incorporar
sugestões e enfrentar dificuldades, com maior ou menor grau de
êxito. A partir dos resultados obtidos foram propiciados encontros
periódicos: da equipe responsável pelo programa com consultores
locais; dos consultores com diretores, professores e alunos; dos

224
consultores com as autoridades locais; de capacitação continuada de
professores; de especialistas com alunos visando a promover o
protagonismo juvenil. Também foram realizados alguns seminários
globais envolvendo especificamente o tema da avaliação com
consultores externos.
Certamente que esses encontros tiveram resultados diferentes
segundo cidades, rede de ensino e escolas. Também estas
diferenciações constituíram tema de avaliação, posto que elas são
informações sobre o grau de adesão e de aprofundamento da
proposta de intervenção nas escolas, nas regiões e pelas pessoas.
Por causa da distância existente entre as cidades onde o Programa
Cuidar foi implantado, em apenas algumas situações foi possível
agregar, para efeitos de comunicação da avaliação, pessoas de
diferentes estados do país e de distintas inserções, como consultores
locais, secretários de educação, consultores ad hoc, patrocinadores e
a equipe da Modus Faciendi que promoveu a implantação do
programa.
Tentando multiplicar a interação em torno do processo de avaliação,
cada consultor em seu município ficou com a responsabilidade de
organizar encontros dos vários atores das escolas, e nesses
momentos eram discutidos os principais resultados e o sentido de
eventuais correções de rumo, indicadas pelos avaliadores, na
condução do Programa.
Também muitos encontros formais e informais ocorreram durante o
processo de avaliação, visando a discutir problemas de implantação e
de implementação do Cuidar, com vistas ao seu melhor
direcionamento e êxito. De modo geral, o clima entre formuladores,
patrocinadores, gestores, executores e avaliadores, foi sempre muito
positivo em todos esses momentos. Entende-se que esse bom
relacionamento coroou o método e a ética de condução da avaliação
que valorizou, em todo o percurso, a interação e a participação dos
diferentes atores como essenciais a êxito da avaliação.
Outro ponto desafiador foi mostrar o grau de complexidade e
variedade temática com que se lidou no processo de avaliação,
buscando fazê-lo de forma sintética e complexa, ao mesmo tempo,
em apresentações circunscritas em restrito espaço tempo. Muito
aprendizado, amadurecimento e busca incessante de melhorar a
comunicação com todos os atores desse processo coletivo de
construção de conhecimento estratégico, moveu e continua animando
a equipe que há quatro anos vem se dedicando a acompanhar o
programa.
Cuidado especial também foi dado às recomendações para ações
futuras. Uma síntese detalhada da visão dos diferentes atores do
Programa foi efetuada, deixando registrado no relatório, as opiniões
circulantes ao findar o processo avaliativo. Essas visões se
distinguiram segundo a inserção hierárquica dos atores no Programa.
→ Na visão dos formuladores e implantadores do Programa – a
equipe da Modus Faciendi –, a principal preocupação era conhecer se
estaria ocorrendo, na prática, a disseminação da filosofia do Cuidar
da área de educação. Para isso, foi necessário que se avaliasse a
produção de material de divulgação e a administração do processo de
intervenção. Na medida em que pontos problemáticos relativos à
condução e adequação de processos, em vários momentos, foram
sinalizados, houve muita flexibilidade para rever os próprios rumos e
para fortalecer as ações relevantes à garantia do sucesso do
Programa.

225
→ Já as autoridades municipais e os educadores, os mais
interessados no fruto direto de seu envolvimento com o Cuidar,
passaram a recomendar um acompanhamento mais próximo e
freqüente do desenrolar do Programa, pelos consultores locais e do
nível central. Em vários momentos entenderam que não se tratava
apenas de garantir êxito das sessões de capacitação continuada, mas
de ter algum nível de envolvimento no cotidiano das escolas,
explorando as inúmeras possibilidades de aprofundar a proposta,
melhorar o apoio logístico e promover interações. Algumas
transformações ocorreram ao longo das avaliações, especialmente
quanto a uma postura mais ágil dos órgãos oficiais, aliados ao
Programa nos municípios, significando uma promessa de maior apoio
e incorporação aos planos de educação no futuro. Novos contratos
foram acordados entre o grupo da Modus Faciendi e as secretarias e
escolas. A autonomia local foi estimulada e formas mais intensivas de
supervisão à distância foram inseridas, a exemplo do acesso
computacional de textos e informações sobre o programa
(www.institutosouzacruz.org.br).
→ Alunos e educadores coincidiram ao sugerir que o Cuidar
buscasse atingir a totalidade dos estudantes e docentes das unidades
escolares e não apenas aqueles que vinham participando diretamente
do Programa. Igualmente, a idéia de iniciar o programa com
estudantes de séries mais novas surgiu entre educadores, que
consideram o envolvimento das crianças em idades mais tenras com
sua filosofia, mais impactante. Essas sugestões, caso fossem
acatadas pelos diferentes gestores e patrocinadores, implicaria numa
série de outros desdobramentos, dentre os quais, a criação de
estratégias para universalização da proposta, até então calcada na
idéia de focalização.
Os avaliadores terminaram o relatório apontando suas
recomendações pessoais para o andamento do projeto no futuro.
Sinteticamente, algumas questões gerais foram ressaltadas como
‘nós’ que dificultavam o bom andamento do programa:
→ Investir no caráter voluntário de adesão dos atores ao
programa;
→ Priorizar as relações e orientações para os diretores, figuras
essenciais para promover o desenvolvimento pleno do programa.
Nesse sentido é importante possibilitar espaços para reflexão teórica
e prática sobre formas de gestão que privilegiem a capacidade de
liderança dos estudantes e dos docentes e compartilhamento de
responsabilidades administrativas e pedagógicas.
→ Priorizar a formação dos professores e de sua participação,
enfatizando-se: (a) a capacidade de transformar as classes em
atividades grupais, onde eles atuariam mais como coordenadores,
orientadores, estimuladores e não como os únicos protagonistas do
processo educativo; (b) a capacidade de estabelecer um clima
emocional positivo, construtivo, onde se destaca o apoio à
individualidade e ao desenvolvimento pessoal dos jovens. E, ao
mesmo tempo, se dê relevância ao sentido de pertinência a um tipo
de coletividade que permita o crescimento de cada pessoa; (c) a
capacidade de estabelecer relações e insistir, pedagogicamente, para
que os alunos aprendam e aprofundem conteúdos, tenham boas
promoções, participem socialmente e se preparem para responder
com cidadania ao meio em que vivem. Essa disposição significa não
hierarquizar e não rotular os alunos, mas ajudar cada um a dar o
melhor de si.

226
→ Acordar com as autoridades locais, apoio concreto por meio de
decisões político-administrativas que assegurem o êxito do programa,
quais sejam: estabilidade de recursos indispensáveis; estabilidade
nos grupos de professores comprometidos com as propostas; e
respeito aos processos de inovação que, tendo por base as
exigências de conteúdo e pedagógicas estabelecidas para toda a
rede escolar, potencializem a criatividade e a liberdade dos grupos
específicos. Várias outras sugestões foram oferecidas, dentre elas,
caso haja continuidade, que se faça estudo de viabilidade para iniciar
o programa com estudantes mais jovens e de séries mais novas.
→ Envolver os pais na gestão, na administração e no
desenvolvimento das escolas, entendendo-os como atores
fundamentais do processo.
→ Incentivar a adesão de empresas e ONG no apoio aos
processos de transformação das escolas, necessidade urgente para o
desenvolvimento do país.
→ Efetuar avaliações futuras nas novas fases de
desenvolvimento do programa..

7.2.Precauções metodológicas na apresentação de conclusões


Apresentar dados quantitativos que mostrem efeitos positivos de um
programa é das tarefas mais fáceis para os avaliadores. Nestes casos, as
informações coincidem com o desejo daqueles que estão implementando os
processos, o que facilita a aceitação das sugestões feitas. Todavia, os
avaliadores devem ser suficientemente críticos, refreando seu entusiasmo
inicial e evitando passar opiniões simplistas.

Um estudo bem planejado e acompanhado durante todo o seu processo de


realização é o pré-requisito da confiança que o avaliador possui para
constatar resultados efetivamente positivos. Por isso, como já se referiu em
todos os capítulos iniciais, é fundamental passar por um processo acurado
de seleção da amostra, escolher variáveis adequadas e relevantes para
aferir mudanças, estar atento à validade e à confiabilidade dos indicadores e
planejar as bases de comparabilidade dos diferentes processos analisados
nas várias etapas da avaliação.

Quando se afirma que um programa tem resultados positivos que são


decorrentes de variação estatística aleatória e não das mudanças
resultantes do programa, cai-se no erro chamado ‘tipo I’, comumente
denominado como conclusão falso-positiva. Este erro poderia ser

227
enfrentado, do ponto de vista quantitativo, por meio do estabelecimento do
nível de significância estatística (geralmente se utiliza o nível de 5%, mas
pode se trabalhar com um erro menor – 1% –, necessitando-se, geralmente
de maior tamanho amostral).

Se os avaliadores utilizarem um número muito elevado de variáveis e


realizarem testes estatísticos para todas elas, algumas mostrarão diferença
devida ao acaso. Isso ocorrerá mesmo quando houver um nível de
segurança pequeno (1%, por exemplo). Isto reforça a necessidade da
definição precisa de indicadores teoricamente consistentes e da construção
de ‘cestas de indicadores’ complementares entre si. Mais do que observar o
comportamento de uma ou outra variável, é preciso avaliar os resultados dos
indicadores e das variáveis, conjuntamente, bem como a solidez da teoria
que lhes serviu de base.

Talvez uma das maiores dificuldades em avaliação é exatamente afirmar a


inexistência de efeitos ocasionados pelo programa. Lipsey et al., apud
Posavac & Carey (2003), ressaltam que o desenho de grande parte dessas
atividades não permite detectar efeitos moderados ou pequenos. Efeitos
estatísticos que não demonstram transformações ou deixam antever
pequenas mudanças, poderiam, por si, desestimular a equipe que
implementa o Programa, mesmo quando ele demonstra indícios de
transformação.

Posavac & Carey (2003) alertam que, em algumas áreas, a probabilidade de


se incorrer no ‘erro tipo II’ é de 5 a 15 vezes maior do que no ‘erro tipo I’. A
possibilidade de cometer esse segundo tipo de erro é um problema crucial
para avaliações. Também denominado como conclusão falso-negativa, este
tipo de erro é indesejável, uma vez que ele levaria a concluir que um
programa é ineficaz com base em variação estatística aleatória apenas,
mesmo quando houvesse mudanças reais ocorrendo na vida dos
entrevistados.

Para se enfrentar tais eventualidades, recorre-se, sempre que possível, a


maiores tamanhos de amostra e à certificação da confiabilidade e da
validade dos indicadores. Posavac (1998) propõe que, quando se constroem

228
avaliaçãoes, é preciso aumentar o erro tipo I, para assim reduzir o erro tipo
II, mais problemático. Também sugere avaliar as variáveis intermediárias e
finais para a observação de consistência dos resultados e maior segurança
dos dados, investigando-se o desenlace segundo subgrupos, antes de se
proferir as informações finais.

Uma outra estratégia comumente utilizada na área de avaliação, para que o


pesquisador tenha mais firmeza na verdade de seus resultados finais, é o de
calcular o tamanho do efeito causado pelo programa. É utilizado para
comparar resultados obtidos por programas que utilizam medidas e
populações distintas. Seu cálculo depende do desenho de estudo. Em
investigações com um único grupo submetido a determinada proposta de
intervenção, em linhas gerais, obtém-se a diferença da média do indicador
em dois momentos: antes e depois do programa. Esta diferença é dividida
pelo desvio-padrão da mesma variável.

Em estudos experimentais e quase-experimentais, Posavac & Carey (2003)


sugerem trabalhar com a diferença de médias observada entre os grupos
com e sem o programa, considerando-se um intervalo de confiança de 90%,
dividindo-se pelo desvio padrão agrupado (s pooled) da diferença das
médias. A interpretação do tamanho do efeito alcançado pelo programa é
ponto delicado e dificilmente é um problema meramente estatístico.

Os autores exemplificam com um estudo sobre um projeto que mediu o


conhecimento de estudantes sobre um pacote estatístico antes e depois de
um treinamento para usá-lo. O tamanho do efeito foi excelente, pois ninguém
conhecia o programa e, depois do curso, quase todos os estudantes o
dominavam.

No caso de propostas de intervenção social, nunca é possível determinar


com exatidão o tipo de efeito alcançado, quando se comparam dois
momentos. Já mudanças discretas podem ter peso social significativo. A
complexidade dos processos de mudança social, como se descreveu no
primeiro capítulo, é muito maior do que a de um treinamento técnico.
Questões tratadas em determinado ponto no tempo podem produzir efeitos

229
anos depois ou ter uma irradiação interativa não captada pelo momento
específico da avaliação formal.

Carlota, aqui vai mais um exemplo


O TEMPO E A DÍFICIL ARTE DA TRIANGULAÇÃO

Na avaliação do Cuidar, freqüentemente, os investigadores se


questionaram sobre o tempo muito curto de acompanhamento do
processo, ou mesmo sobre as pistas que os instrumentos quantitativos
e qualitativos apontavam em relação a processos característicos da
transformação de valores.
Os resultados encontrados sobre participação juvenil podem servir de
exemplo. Não foi percebida tendência de mudança conclusiva no
indicador de protagonismo dos jovens que participaram do Programa
Cuidar. Mas duas importantes atitudes puderam ser ponderadas e
evidenciaram mudanças positivas no período: ajudar a resolver os
problemas da escola e contribuir para o desenvolvimento da
comunidade. Outras participações pioraram no período: a contribuição
do jovem para o diálogo e solidariedade com amigos, a participação de
associação de estudantes, em campanha de solidariedade, na
organização de festas e eventos, além de maior número de jovens
terem dito que passaram a participar de galeras funk e de grupos de
pichadores. Os professores concordaram quanto ao crescimento
gradual do protagonismo dos jovens no tocante a ajudar a resolver os
problemas da escola e da comunidade.
Entre alunos sem (os do grupo-controle) o programa, os indicadores de
protagonismo juvenil pioraram ao longo do tempo, inclusive o percentual
de jovens que ajudou a resolver problemas da escola e da comunidade
ao longo do período.
A despeito do grande investimento que o Programa fez no último ano da
avaliação, reconhece-se que foram muito tímidos os resultados
quantitativos obtidos. A abordagem qualitativa evidenciou que: (a)
quando um aluno é apontado como responsável por determinadas
ações, em geral ele costuma aparecer como alguém que desenvolve
propostas apresentadas pelos docentes; (b) os docentes citam mais
ações que buscam a participação estudantil do que os alunos; (c) os
alunos das escolas que estão desenvolvendo o Cuidar discutem mais a
participação estudantil do que aqueles que são das escolas sem o
programa; (d) as atividades mencionadas como mobilizadoras da
participação estudantil são, em maioria, as que ocorrem fora da sala de
aula; (e) as agremiações estudantis continuam a inexistir na maior parte
das escolas.
Os avaliadores precisaram refletir ‘trianguladamente’ sobre o indicador
de protagonismo juvenil, uma vez que uma das metas mais importantes
do programa era dar-lhe oportunidade de expressão. Afinal, mesmo que
o indicador global não tenha aferido mudanças, em algumas áreas
parece despontar transformações, apesar do curto tempo de
investimento no tema do protagonismo e das resistências existentes
nas escolas. Há indícios de que pode estar aumentando a participação
dos alunos com o Programa Cuidar nas diversas esferas de suas
escolas e de suas comunidades.

230
Pode-se pensar que as mudanças observadas sejam o primeiro passo
na modificação de comportamentos dependentes para comportamentos
autônomos. O principal sinal de transformação é a visão crítica que
demonstram em relação à forma como as escolas conseguiram
implementar o protagonismo e os resquícios de autoritarismo
existentes. Pouco se percebeu quanto à tomada de iniciativa,
planejamento e execução de ações protagônicas desenvolvidas pelos
próprios jovens. A permanente de tutoria de educadores e diretores que
a escola coloca como condição para realização das atividades juvenis
parece ser um dos sintomas das dificuldades institucionais de delegar
autonomia aos jovens. Mas também refletem a falta de costume dos
adolescentes de tomarem iniciativas.
Será que o que foi avaliado representa um primeiro passo para a
transformação de jovens no sentido do protagonismo? O que
acontecerá nos anos seguintes à avaliação? Essas perguntas não
puderam ser respondidas pelos investigadores que apenas sinalizaram
a necessidade da continuidade e refinamento das ações que visam
estimular o protagonismo nos anos vindouros, para que se possa aferir
com mais segurança a capacidade de transformação do Programa
Cuidar.

Uma avaliação por triangulação de métodos apóia muito o avaliador quando


ele necessita interpretar resultados intrincados. A abordagem qualitativa traz
um aporte significativo, complexificando a análise e oferecendo outro tipo de
material para a reflexão dos avaliadores. Frente a impasses como os
exemplificados, essa triangulação pode ser feita de várias maneiras.

• Analisando-se, concomitantemente, indicadores quantitativos que não


ressaltam mudanças ao longo da avaliação e indicadores qualitativos sobre
os mesmos itens, coletados no mesmo período. Nesta intercomunicação, é
preciso questionar:

ƒ se houve mudanças constatadas por mensuração estatística e


também por instrumentos compreensivos;

ƒ que particularidades os dispositivos qualitativos acrescentam ou


em que modificam os indicadores obtidos por medição;

ƒ que diferenças e semelhanças existem nos indicadores de ambas


modalidades, em subgrupos distintos da mesma amostra.

• Confrontando as diferentes verdades proferidas pelos pesquisadores:


a experiência mostra que há momentos em que opiniões se opõem

231
radicalmente e em alguns, se há diálogo, consegue-se encontrar
significado para as divergências. Em outros casos, as razões das
diferenças permanecem desconhecidas, tornando-se objeto de
pesquisa para os avaliadores.

• Fazendo nova incursão à teoria que baseou a investigação. Vale


lembrar que nunca o estudo realizado inicialmente é suficiente. Ao
longo da avaliação, surgem questões até então desconhecidas e é
necessário recorrer a novos e antigos textos para fundamentar ou
questionar determinados resultados.

Carlota, aqui vai mais um, com gráfico e tudo.

EXEMPLOS DE APRESENTAÇÃO DO CUIDAR


A seguir, apresentam-se os gráficos 1 e 2 que ilustram a forma como
os resultados de avaliação do Programa Cuidar foram comunicados
aos vários atores. Eis um que trata de mudanças aferidas quanto à
auto-estima e à autoconfiança de estudantes e de educadores.
No gráfico 1 utilizam-se variáveis que compõem o indicador de auto-
estima do aluno, com o objetivo de apresentar a evolução de cada
grupo separadamente. Como são muitas as variáveis existentes na
avaliação, selecionaram-se apenas algumas que dão uma dimensão
cronológica das várias alterações na esfera do comportamento. Pode-
se acompanhar também a evolução positiva de algumas que medem
autoconfiança de alunos matriculados em escolas com a intervenção
ao longo dos três anos (p<0,05).

Notas dos alunos sobre suas próprias capacidades


Sem Programa Com Programa

Trabalhar em equipe 8,54 8,43 8,57 8,43 8,40 8,84

Aceitar ser avaliado 7,05 7,08 7,40 7,07 7,27 7,41

Incentivar os outros 8,10 8,05 8,10 7,94 7,85 8,23

Aprender 8,05 8,15 8,03 7,72 7,94 8,09

Dados referentes às escolas com o Programa 2000 2001 2002


Fonte: Avaliação do Programa Cuidar. CLAVES/ENSP/FIOCRUZ, 2000, 2001, 2002.

232
No caso das escolas utilizadas como controle, a evolução das notas
dos alunos mostra que não houve mudança na maioria das variáveis
(p<0,05).
Outra forma de sintetizar ainda mais informações está no gráfico 2.
Nele se observa um resultado-síntese de dezesseis variáveis que
aferiram auto-estima e autoconfiança, tal qual apontado no capítulo
sobre Construção de Indicadores. Nesse gráfico podem ser
identificadas duas informações: a mudança ocorrida no indicador
entre o início e o final da avaliação e a diferenciação existente entre
alunos que participaram e não participaram do programa.

Gráfico 2: Diferenças dos indicadores das percepções dos alunos


nos distintos momentos da avaliação.

Diferença entre 2000 e 2003 Com Programa

(%)
Diferença entre 2000 e 2003 Sem Programa
Diferença entre Com e Sem programa 2003

2,81
5,0 1,26

2,5

0,0
-2,39
-2,5

-5,0
AL1
Nota: A seta indica diferença significativa (P < 0,05).
Fonte: Avaliação do Programa Cuidar. CLAVES/ENSP/FIOCRUZ, 2000, 2001, 2002.

Indicadores complexos como estes do gráfico 2 precisam ser


analisados com cautela. Das 16 variáveis que compunham o
indicador apresentado no gráfico 2, apenas algumas se mostraram
estatisticamente significativas ao longo do período. Todavia, elas
foram importantes a ponto de alterarem discretamente o indicador.
Caso as mudanças fossem ainda menores, poderiam não alterá-lo.
No gráfico 2, demonstra-se que houve incremento da ordem de 2,8%
da visão de si entre alunos que receberam o programa e que houve
decréscimo dessa visão entre os que não o receberam (2,4%).
Embora esses resultados que comparam 2000 com 2003 não tenham
sido estatisticamente significativos, na comparação de 2000 com
2002 tinha sido constatada diferença estatística significativa indicando
a melhor visão de si entre alunos de escolas com o programa. Vale
lembrar que em 2001 o tema da auto-estima foi o foco principal do
trabalho desenvolvido pelo Cuidar, constatado nos resultados aferidos
em 2002.
Quanto à diferença entre alunos com e sem o programa no ano de
2003, constatou-se que, embora apenas da ordem de 1,3%, há
diferença na visão de si dos alunos.

233
Utilizando-se este exemplo do Cuidar, seria uma falha anunciar a
existência/inexistência de mudanças destacando-se apenas um
indicador, sem esclarecer que em questões e momentos específicos
houve transformação.
Outra etapa da apresentação dos resultados é a demonstração do
tamanho do efeito decorrente das ações executadas. No caso do
Cuidar, obteve-se o resultado de 0,18 (teste para diferença de médias
= 0,1137; intervalo de confiança 0,0662-0,1612), indicando um efeito
positivo na auto-estima dos alunos que participaram do programa,
quando comparados aos alunos sem o programa nos três anos de
investigação. Este efeito, embora quantitativamente não muito
expressivo precisa ser refletido.
Fala a favor da mudança na visão que os jovens com o Cuidar têm de
si, o fato da alteração na auto-estima e na autoconfiança estar
associada a outros indicadores como melhoria da capacidade de
conceber metas e realizar projetos. Comparativamente, os alunos
sem o Programa, não apresentaram nenhuma transformação no
período. O resultado similar desses dois indicadores dá mais
consistência à noção de mudanças dos jovens em relação à visão
que têm de si mesmos. Por outro lado, como se pode perceber a
seguir, os resultados qualitativos apresentam nuances interessantes
que apontam na direção de se considerar a existência de efeitos do
Programa sobre a auto-estima dos alunos, mesmo que sutis.
Ao longo do período de avaliação, os alunos passaram a identificar o
Cuidar como um projeto que os incentivava ao autoconhecimento e
ao fortalecimento da auto-estima, evidenciando disposição para se
engajarem nele. Sobressaiu, na avaliação qualitativa, o crescimento
da “consciência” sobre as ações, à medida que o programa ia sendo
implementado: a relação entre o pensar e o agir e o sentido de
responsabilidade sobre as ações se somaram aos sinais de
fortalecimento da auto-estima e da autodeterminação.
Surgiu também, entre os alunos com o Cuidar, o crescimento da
consciência de si mesmos como seres únicos e capazes de construir
sua história pessoal, estabelecendo relações entre essa percepção e
o fortalecimento da auto-estima. Passaram também a se reportar,
com mais clareza, sobre os temas da unicidade e da pluralidade, do
sujeito único e ao mesmo tempo co-responsável pela coletividade em
que vive.
Os estudantes passaram a agregar outras idéias em torno da noção
de auto-estima: a de que amar a si mesmo permite construir uma
relação mais amorosa com o outro; a de que ela propicia o
fortalecimento de sua autoconfiança e a de uma estreita relação entre
auto-estima e uma escala de fortalecimento da personalidade que
levaria, em última instância, à felicidade.
Constata-se, portanto, que não é indicado avaliar o tamanho do efeito
de um programa de forma isolada. Pequenas variações podem ser
consideradas fundamentais para os implementadores. Lipsey et al.,
apud Posavac e Carey (2003), revisando mais de 300 avaliações em
diferentes áreas, constataram a seguinte distribuição para o tamanho
do efeito dos programas avaliados: segundo decil igual a 0,24;
mediana igual a 0,44; e oitavo decil igual a 0,88. Esses autores
reafirmam a impossibilidade de se definir pontos exatos de tamanho
de efeito, apontando para o fato de que o principal ganho é o da
comparação entre resultados. No presente caso, a principal vantagem
é poder comparar o Cuidar com outros programas educativos que
venham a adotar procedimentos quantitativos e qualitativos de
avaliação de efeitos, ou mesmo comparar os resultados atuais com

234
diferentes formas de aplicação do Cuidar que possam ocorrer no
futuro.
Outro exemplo importante foi a triangulação do indicador que
mensurou as mudanças nas relações entre aluno-professor,
consideradas positivas pela maioria dos estudantes desde o início da
avaliação, independentemente da intervenção do Programa.
Manteve-se este quadro durante o período da investigação nas
escolas participantes do Cuidar. Mas houve informações que revelam
discreta redução na qualidade desta interação nas instituições que
serviam de comparação.
Embora estatisticamente não se tenha constatado melhora na relação
professor-aluno nas escolas com o programa, nos resultados das
discussões em grupos focais com estudantes, evidenciaram-se
mudanças qualitativas nessa interação, embora, ainda aquém das
expectativas. A maior capacidade crítica dos jovens que participaram
do Cuidar, aprofundando a reflexão sobre o tema, sugerem passos
importantes numa melhor interação. Esse aspecto, do ponto de vista
qualitativo, constituiu a alteração mais evidente e relevante.
Igualmente, a forma muito mais aberta e crítica de avaliar sua relação
com os estudantes, por parte dos professores, permite também, tirar
conclusões na mesma direção que aponta melhoria das relações e de
valorização mútua.
Um último aspecto a ser comentado se refere aos problemas
enfrentados pelos avaliadores na fase de seleção da amostra e que
tiveram implicações em todo o processo de avaliação. A
impossibilidade real de obter uma amostra aleatória e a necessidade
de captar novos indivíduos, ao longo da pesquisa, trouxeram
dificuldades e demandaram tempo extra para análise dos dados. Os
investigadores buscaram se certificar, de várias maneiras, sobre as
possíveis influências deles sobre os resultados, tornando-os mais
frágeis do que se esperaria, se as condições iniciais de implantação
do Programa tivessem sido um pouco melhores.
Esta talvez seja uma das principais lições a serem aprendidas ao
longo da avaliação do Cuidar: os avaliadores precisaram ter muita
flexibilidade para lidar com as circunstâncias inesperadas ocorridas
na gestão do Programa; tenacidade para lidar com questões
desconhecidas e aprender com a experiência; humildade para
reconhecer as limitações e muita dedicação para, sempre que
necessário à seriedade do processo, refazer análises e refazerem-se
continua e simultaneamente.

7.3. Novas perspectivas da avaliação: quem avalia os avaliadores?

A filosofia, a ética e a prática da triangulação de métodos, tal como pensada


e proposta aqui, concebem o papel dos avaliadores em duas dimensões
opostas: em uma primeira, eles são partícipes de um processo. Estão no
mesmo barco de todos os outros atores envolvidos com determinada forma
de intervenção, atuando em interação com eles e construindo instrumentos
em comum acordo. Em outra, evidencia-se sua função específica e para a

235
qual são convocados: servir de olhar externo que observa e se contrapõe,
com informações específicas, cientificamente balizadas e devidamente
sintetizadas, ao ritmo cotidiano das intervenções.

Nesse último aspecto, os avaliadores têm o ônus do julgamento que


oferecem. Deste modo, a avaliação sobre a eficiência, a eficácia e a
efetividade dos processos também precisa ser exercida. Entende-se, na
ótica deste trabalho, que isso ocorre em diferentes dimensões e em vários
momentos: na apreciação dos outros atores sobre; na adequação dos juízos
emitidos e na utilização que fazem das orientações e recomendações para a
correção de rumos das intervenções. A equipe do Claves, intencionalmente,
se expôs durante todo o percurso da avaliação. Submeteu-se ao julgamento
dos patrocinadores, dos formuladores do programa, dos gestores em
diferentes níveis e dos professores, estudantes e pais, como se referenciou
neste capítulo.

Mas, é importante, também, no caso das investigações avaliativas, que


exista uma apreciação interpares. É esse um dos motivos que levou o grupo
a escrever este livro, no qual os méritos e as falhas da equipe transparecem
nas suas reflexões escritas, não mais analisando as intervenções, e sim,
evidenciando os caminhos seguidos, por ela própria, para realizar a
avaliação. Nele se buscou aproveitar e valorizar o conhecimento acumulado
nacional e internacional sobre o assunto, mas, sobretudo, explicitar uma
aprendizagem que foi se fortalecendo em vários projetos anteriores e que
culminou com a experiência de avaliação do Programa Cuidar.

Referências Bibliográficas

DENIS, J. & CHAMPAGNE, F. Análise da implantação de programas. In:


HARTZ, Z.M. (org.). Avaliação em Saúde: dos modelos conceituais à prática
na análise da implantação de programas Rio de Janeiro: Fiocruz, 1997. p.
49-88
FIOCRUZ/ENSP/CLAVES. Avaliação do processo de implantação e dos
resultados do “Programa Cuidar” – 1ª fase. Rio de Janeiro: CLAVES, 2000.
Relatório de pesquisa.
FIOCRUZ/ENSP/CLAVES. Avaliação do processo de implantação e dos
resultados do “Programa Cuidar” – 2ª fase. Rio de Janeiro: CLAVES, 2001.
Relatório de pesquisa.

236
FIOCRUZ/ENSP/CLAVES. Avaliação do processo de implantação e dos
resultados do “Programa Cuidar” – 3ª fase. Rio de Janeiro: CLAVES, 2002.
Relatório de pesquisa.
FIOCRUZ/ENSP/CLAVES. Avaliação do processo de implantação e dos
resultados do “Programa Cuidar” – 4ª fase. Rio de Janeiro: CLAVES, 2003.
Relatório de pesquisa. Disponível em: www.institutosouzacruz.org.br
LÉVY, P. A Inteligência Coletiva: por uma antropologia do ciberespaço. São
Paulo: Edições Loyola, 1999.
POSAVAC, E. J. Toward more informative uses of statistics: alternatives for
program evaluators. Evaluation and Program Planning, 21: 243-254, 1998.
POSAVAC, E. J. & CAREY, R. G. Program Evaluation: methods and case
studies. Nova Jersey: Prentice Hall, 2003.
TANAKA, O. & MELO, C. Avaliação de Programas de Saúde do
Adolescente: um modo de fazer. São Paulo: EDUSP, 2001.

237
Introdução
Conceito de avaliação por triangulação de métodos

Maria Cecília de Souza Minayo

É na medida em que avaliados e avaliadores dialoguem,


instituições e sistemas se sintonizem e inteligências
múltiplas se complementem que a avaliação irá
emergindo com suas características mais notáveis de
propulsora das necessárias transformações
educacionais e sociais e de advogada dos direitos
humanos (Penna Firme, 2003:2) [modelito epígrafe]

Avaliação, como técnica e estratégia investigativa, é um processo sistemático


de fazer perguntas sobre o mérito e a relevância de determinado assunto,
proposta ou programa. Um processo de avaliação de programas e projetos
sociais geralmente tem, como sentido mais nobre, fortalecer o movimento de
transformação da sociedade em prol da cidadania e dos direitos humanos.
Segundo Penna Firme (2003), para que isto ocorra, destacam-se quatro
dimensões: utilidade, pois jamais se deve empreender uma avaliação inútil;
viabilidade do ponto de vista político, prático e de custo benefício; a ética, que
ressalta o respeito aos valores dos interessados; a da precisão técnica.
Do ponto de vista da utilidade, uma boa avaliação visa a reduzir incertezas, a
melhorar a efetividade das ações e a propiciar a tomada de decisões
relevantes. Guia-se por quatro objetivos: oferecer respostas aos beneficiários,
à sociedade e ao governo sobre o emprego dos recursos públicos; orientar os
investidores sobre os frutos de sua aplicação; responder aos interesses das
instituições, de seus gestores e de seus técnicos; buscar sempre uma melhor
adequação de suas atividades.
Ao mesmo tempo que esses objetivos geralmente se somam em projetos
sociais, cada um deles pode se constituir especificamente como único,
compondo o foco e o contexto da avaliação (Contandriopoulos et al., 1997;
Posavac & Carey, 2003; Costa Reis, 2004). É importante enaltecer tanto o
sentido como a orientação prática desse tipo de ação, pois, como lembra
Penna Firme (2003:1), nem toda avaliação é produtiva: “avaliar pode ser um

1
empreendimento de sucesso, mas também de fracasso; pode conduzir a
resultados significativos ou a respostas sem sentido; pode defender ou
ameaçar”, dependendo de seus propósitos e da seriedade intelectual com que
é feita.
Os dois primeiros objetivos assinalados são tradicionalmente conhecidos, pois
tratam de evidenciar a eficiência, a eficácia e a efetividade na orientação das
propostas de intervenção social, no atendimento aos destinatários e nos efeitos
multiplicadores que elas possam apresentar. Nestes casos, o que se espera de
uma avaliação de projetos e programas sociais pode ser resumido em
compreender o que contribui para o êxito dos programas, projetos e serviços; o
que possibilita seu alcance e questiona seus limites. Toda avaliação útil, ética e
tecnicamente adequada acompanha o desenrolar de uma proposta e subsidia a
correção de rumos e a re-orientação de estratégias de ação. Seu sentido ético
alia-se a seu valor técnico e de responsabilidade social.
Em relação à missão institucional, a avaliação de programas visa à economia
interna da atuação e à criação de uma capacidade técnica adequada e de
qualidade. Neste caso, ela lida com fortes componentes subjetivos,
corporativos e de visão de desenvolvimento.
Em outras palavras, a avaliação também é ideológica. Para que ela tenha
sucesso, o terceiro objetivo precisa vir junto com a valorização da avaliação
como um processo de aprendizagem que pode subsidiar pessoas,
organizações e grupos sociais em escolhas mais consistentes em relação aos
rumos de suas iniciativas.
Gestores e técnicos que vislumbram o papel da avaliação como parte de seu
planejamento e de sua práxis cotidiana criam espaços permanentes de reflexão
sobre a prática. Isto lhes permite desconstruir idéias, alinhar conceitos, corrigir
rumos, mudar prioridades, abrir mão de iniciativas que não se mostram
frutíferas e até trocar gestores.
Do ponto de vista ético, a avaliação das intervenções sociais se dirige para
mudanças que precisam ser construídas no chão da realidade social: a
população brasileira anseia por diminuir as desigualdades e por ver
erradicados o mandonismo e o autoritarismo político. A competente análise de
um programa torna mais evidente, para a sociedade, a aplicação de seus
recursos, evitando ou denunciando desperdícios. Essa orientação é tanto mais

2
eficaz quanto mais o conceito e a prática avaliativa passam a fazer parte do
cotidiano das instituições.
O hábito de avaliar programas e projetos sociais com métodos e técnicas
científicas tornou-se freqüente após a Segunda Guerra Mundial nos países
centrais do capitalismo, acompanhando os maciços investimentos em políticas
públicas de bem-estar social. A avaliação passou, portanto, nos últimos 60
anos, a fazer parte da pauta de investimentos teóricos e práticos, ao lado das
pesquisas sociais, visando à maior eficiência na aplicação de recursos e à
efetividade nas ações. Ela tem sido adotada ora como uma ação externa
isolada, ora como etapa do planejamento e da gestão de programas e projetos
e no seu sentido mais nobre, acompanhando as ações sociais desde o seu
primeiro desenho. Autores como Scriven (2003) definem, atualmente, não
apenas como uma técnica, mas uma como “transdisciplina”, com um campo de
estudo próprio e ao mesmo tempo oferecendo instrumentos de reflexão para
outras áreas de conhecimento.
Na etapa de evolução do capitalismo atual (chamada pós-moderna por
diversos autores), a avaliação de políticas sociais passou a ser intensamente
valorizada. Isto se deve a mudanças profundas no paradigma das relações
sociais de produção, cujas características são o acelerado crescimento do fluxo
de informações, de economia de escala e de focalização de ações. A avaliação
torna-se verdadeiro desafio na área social, em que as decisões de investimento
são muito complexas, difusas e marcadas por fortes componentes culturais e
políticos, exigindo um desenho de instrumentos que valorizem toda essa gama
de intervenientes.
O processo de institucionalização das tecnologias de avaliação de intervenções
sociais, no Brasil, além de recente, é ainda muito tímido, o que se deve
principalmente à cultura autoritária e clientelista que costuma orientar a práxis
política do país, independentemente dos governos vigentes. Esta práxis,
impregnada de populismo retrógrado, persiste ainda em nossos dias, convive
com modelos altamente sofisticados de gestão e só conhece um momento de
avaliação das ações: o início das atividades de um governo (federal, estadual,
municipal), em que se critica sumariamente tudo o que foi realizado até então.
A gestão pública parece ter de começar da estaca zero, ao bel-prazer da
competência ou da incompetência do gestor de plantão. Descontinuidade

3
administrativa é o termo mais adequado para denominar esse desmando.
Prejuízo à população é o resultado do descalabro.
Geralmente, a avaliação apressada e movida por juízo de valor partidário sobre
a gestão passada é simplista: tudo o que foi realizado antes não serve, não
presta. E, a partir de um marco zero estabelecido por critérios de benefício
político, a roda da nova administração recomeça a girar lentamente. Espera os
dois anos finais para intensificar ações que dão visibilidade eleitoreira, para, em
seguida, declinar ao final dos quatro anos de governo.
Inicia-se, então, o momento em que a roda será de novo reinventada. O
mandatário da vez resolve ordenar que a “pedra no sapato” da questão social
seja outra vez empurrada pelos “Sísifos” de plantão.
Essa, sem dúvida, é uma caricatura da gestão das políticas sociais no Brasil.
Há exceções e sinais de avanço em alguns setores. Mas a regra permanece
inalterada, a ponto de a sociedade já ter se acostumado ao fato de que, em um
primeiro ano de governo, sempre as realizações sejam muito poucas. É o
tempo de “azeitamento da máquina”, ou seja, o intervalo necessário para que
se afirme a marca da nova gestão. É bem verdade que as questões da cultura
política no Brasil, que se reproduzem secularmente, ultrapassam o escopo de
uma introdução sobre avaliação (Nunes, 1997). Entretanto, tais problemas
precisam ser nomeados e minimamente compreendidos para que se possa
avaliar a dinâmica dos programas sociais no país.
Apesar da crítica anterior, é preciso reconhecer que, a partir dos anos 90, se
intensificaram práticas de avaliação na área social no Brasil (Cohen & Franco,
1993; Hartz, 1997; Uchimura & Bosi, 2002; Silva & Brandão, 2003; Raposo,
2001; Carvalho, 2001; Costa Reis, 2004, entre outros). Vários fatores têm
contribuído para isto. Entre eles, destacam-se:
ƒ a reforma do Estado, que fez diminuir sua presença direta nas áreas
sociais e aumentar seu papel de formulador de políticas e repassador de
recursos para o terceiro setor;
ƒ a focalização da ação governamental em determinadas atividades,
exigindo análise de eficácia dos investimentos;
ƒ a entrada de organizações não-governamentais e da iniciativa privada
na realização de inúmeros serviços de interesse público, em relação aos

4
quais há uma concorrência por recursos e tanto as empresas como os
governos cobram resultados;
ƒ as exigências dos órgãos internacionais que financiam projetos sociais;
ƒ a ampliação e o aprofundamento dos mecanismos de controle social,
colocando os recursos públicos sob vigilância da sociedade civil e
gerando pressão dos meios de comunicação e da opinião pública.
É necessário levar em conta, também, o aumento da capacidade teórico-
metodológica, técnica e crítica dos intelectuais e pesquisadores para uma
colaboração mais ativa, tanto com os governos como com o terceiro setor.

1.1.O QUE É AVALIAR UM PROGRAMA?

Muitas são as noções de avaliação, que é um processo essencialmente


humano e realizado cotidianamente pelo senso comum. Em sentido bem amplo
avaliar significa julgar, estimar, medir, classificar, analisar criticamente alguém
ou algo. Tecnicamente, esse processo é realizado com procedimentos
sistemáticos. Eis uma definição genuinamente acadêmica e tradicional, falando
de avaliação em geral: “É a sistemática para medir um fenômeno ou o
desempenho de um processo, comparar o resultado obtido com os critérios
estabelecidos e fazer uma análise crítica, considerando-se a magnitude da
direção da diferença” (Pabon, 1985: 37).

O conceito de avaliação de programas sociais é um pouco mais restrito e pode


ser compreendido como um conjunto de atividades técnico-científicas ou
técnico-operacionais que buscam atribuir valor de eficiência, eficácia e
efetividade a processos de intervenção em sua implantação, implementação e
resultados (Rossi, Howard & Lipsey, 1999; Aguillar & Ander-Egg, 1994). Nas
palavras de Rossi et al. (1992: 632), a avaliação de programas pode ser
definida como a:
utilização de metodologias de pesquisa social para investigar, de forma
sistemática, a efetividade de programas de intervenção social, que foi
adaptada ao seu ambiente político e organizacional e planejada para
conformar a ação social, de maneira que contribua para a melhoria das
condições sociais.

5
Na atualidade, análises críticas sobre os tipos de avaliação formal vêm
permitindo o surgimento de outras tentativas de conceituação mais inovadora e
contemporânea, como a produzida por Silva & Brandão (2003: 2):
Entendemos avaliação como a elaboração, a negociação, a aplicação
de critérios explícitos de análise, em um exercício metodológico
cuidadoso e preciso, com vistas a conhecer, medir, determinar e julgar
o contexto, o mérito, o valor ou o estado de um determinado objeto, a
fim de estimular e facilitar processos de aprendizagem e de
desenvolvimento de pessoas e de organizações.

No caso da definição de Pabon (1985), a ênfase de sua definição é dada à


tecnologia do ato de avaliar e os verbos ressaltam a ação de medir, comparar,
analisar e diferenciar. É como se o autor tratasse de uma atividade sem sujeito.
Dos termos colocados por Pabon, se depreende que a avaliação é concebida
como uma intervenção externa aos objetos e sujeitos avaliados.

Na abordagem de Silva & Brandão, a relevância é dada ao sentido


construcionista e de parceria do processo. Os autores enfatizam tais como
elaboração, negociação, uso de critérios explícitos, processo de aprendizagem,
desenvolvimento de pessoas e de organizações. É o mesmo modelo
preconizado por Penna Firme (2003: 3), quando diz que é preciso investir em:
Avaliações sensíveis à responsabilidade situacional,
metodologicamente flexíveis no entendimento político e
substancialmente criativas para integrarem todas essas dimensões na
direção do desenvolvimento e do aperfeiçoamento de seu objeto.

Nos textos de Silva & Brandão (2003) e de Penna Firme (2003), os verbos
colocam pessoas e instituições em interação e a metodologia proposta faz
parte do próprio conceito.
Na citação de Rossi, Howard & Lipsey (1999), a relevância é dada ao método
científico a favor da busca de efetividade dos programas e da
institucionalização dos resultados do processo. Propostas mais ou menos
semelhantes às deles são delineadas por Aguilar & Ander-Egg (1994) e por
Contandriopoulos et al. (1997), buscando separar o que consideram avaliação
normativa e de pesquisa avaliativa.
Embora distintas e até opostas em sua concepção filosófica, as definições
descritas, em sua essência, enfatizam os seguintes aspectos da avaliação: ela
é uma emissão de juízo de valor sobre determinada intervenção; deve ser

6
incluída no processo de planejamento das ações; tem o papel de subsidiar a
gestão, e não visa a castigar as pessoas atingidas ou envolvidas nela, mas
melhorar seu desempenho.
A concepção de trabalho que orienta este livro se inclui nas tentativas
científicas contemporâneas que consideram a avaliação não um evento isolado
mas sim um processo, em que se integram avaliadores e avaliados em busca
do comprometimento e do aperfeiçoamento dos indivíduos, grupos, programas
e instituições. Dentro das tipologias correntes, insere-se na modalidade de
“investigação avaliativa” (Contandriopoulos et al., 1997; Silva & Formigli, 1994),
em oposição ao termo avaliação normativa. Neste último caso, a ênfase teórica
se coloca nas tecnologias que tratam o evento a analisar, buscando isolá-lo de
qualquer interferência de contexto:
É a atividade que consiste em fazer julgamento sobre uma
intervenção, comparando os recursos empregados e sua organização
(estrutura), os serviços e os bens produzidos (processo) e os
resultados obtidos, com critérios e normas. (Contandriopoulos et al.,
1997: 37)

A investigação avaliativa tem outras características, como mencionam


Contandriopoulos et al. (1997: 37): “pretende analisar a pertinência, os
fundamentos teóricos, a produtividade, os efeitos e o rendimento de uma
intervenção, assim como, as relações existentes entre a intervenção e o
contexto no qual se situa”. Ou seja, tem fundamentos científicos e acrescenta,
ao processo normativo, os elementos de contexto.
Embora tenha relevância e referências científicas (e não apenas técnicas), a
investigação avaliativa, na teoria e na prática, deve se distinguir da noção de
pesquisa acadêmica. Pesquisadores e avaliadores trabalham dentro do mesmo
paradigma de investigação, mas assumem papéis gerenciais diferentes e
atuam para diferentes audiências. Worthen & Sanders (2004) apresentam
algumas oposições complementares que distinguem esses dois papéis:

ƒ Quanto à motivação – A pesquisa satisfaz curiosidades por meio de


avanços no campo do conhecimento; a avaliação contribui para a
solução de problemas práticos.
ƒ Quanto ao objetivo da investigação – A pesquisa busca conclusões; a

7
avaliação leva a decisões.
ƒ Quanto à autonomia – A pesquisa costuma ser um empreendimento
mais ou menos independente e autônomo; a avaliação é conduzida de
acordo com o escopo delimitado pelos clientes.
ƒ Quanto às propriedades do fenômeno – A pesquisa se faz,
primordialmente, para gerar conhecimento; a avaliação visa a analisar a
utilidade social e o valor de uma proposta;
ƒ Quanto aos critérios de adequação – Uma pesquisa é julgada pela sua
validade interna e externa. O julgamento de uma avaliação deve levar
em conta: precisão, credibilidade, utilidade, viabilidade e propriedade.
ƒ Quanto aos clientes – A pesquisa costuma ser conduzida a partir de
uma idéia muito genérica de quem poderia usar seus resultados. A
avaliação deve se iniciar identificando claramente seus destinatários e
seu alvo.
ƒ Quanto aos limites do tempo – Uma pesquisa organiza seu cronograma
com critérios científicos e orçamentários; uma avaliação se prende aos
cronogramas restritos dos rumos da intervenção e da demanda dos
destinatários.
ƒ Quanto aos aspectos disciplinares – Uma pesquisa pode ou não ser
interdisciplinar, cabendo ao investigador definir. Uma avaliação precisa
lançar mão de amplo espectro de perspectivas e técnicas para aferir
resultados qualitativos e quantitativos de várias ordens.
ƒ Quanto à preparação – Geralmente, um pesquisador atua dentro do
domínio de sua disciplina. O avaliador precisa estar familiarizado com
uma grande variedade de métodos e técnicas, visando à diversificação e
à combinação de informações dele requeridas pelos destinatários:
sociais, econômicas, organizacionais e outras.

No esquema de oposições citado, apresenta-se a falha comum a qualquer


estrutura simplificada: torna reducionista a reflexão. No entanto, a partir dele,
podem-se situar necessárias diferenças entre avaliação formal, investigação
avaliativa e investigação acadêmica que, em vários pontos se tocam, mas têm
ênfases distintas.

8
1.2.COMO AVALIAR PROGRAMAS E PROJETOS SOCIAIS

Nesta introdução, não se pretende realizar uma revisão extensa e profunda,


nem de autores, nem dos marcos da avaliação tradicional ou da avaliação
qualitativa. Ao contrário, busca-se mostrar a existência de uma alternativa,
tentando-se, ao mesmo tempo, fundamentá-la teoricamente e apresentar as
possibilidades de operá-la, tomando-se como exemplo o Programa Cuidar, que
será apresentado a seguir e cujos dados se encontram destacados em quadros
ao longo dos capítulos.
A avaliação tradicional de políticas sociais geralmente trabalha com
instrumentos quantitativos e analisa as estruturas dos programas, como eles se
realizam processualmente e quais são seus resultados. A avaliação das
estruturas contém informações sobre recursos físicos, humanos, materiais,
formas de organização e funcionamento (normas e procedimentos),
especificação de equipamentos e tecnologias disponíveis. O estudo dos
processos se dirige às atividades realizadas pelos provedores da intervenção,
incluindo-se aí os componentes técnicos e as relações interpessoais. A análise
de resultados se refere aos efeitos e aos produtos que as ações e os
procedimentos provocam, de acordo com os objetivos da intervenção.
Visando a tratar a avaliação como um processo e uma construção que envolve
os mais diferentes atores, vêm se tornando habituais outras formas de
abordagem, quebrando-se o modelo quantitativista e positivista predominante.
Desde a metade dos anos 80, começou-se a falar especificamente em
avaliação qualitativa. Essa abordagem que se baseia nas correntes
compreensivistas ainda é pouco desenvolvida e não constitui um corpo teórico
completo e validado. Surgiu na área da saúde e nutrição (Scrimshaw &
Hurtado, 1987; Patton, 1987; Minayo, D’Elya & Svitone, 1990; Minayo, 1991;
Atkinson, 1993; Demo, 1999; Nuto & Nations, 1999; Uchimura & Bosi, 2002) e
seu método se fundamenta na apropriação de estratégias de abordagem
antropológica para aplicá-las à avaliação de programas e serviços.
Convém observar que a expressão “avaliação qualitativa” necessariamente não
significa a mesma coisa que “avaliação de qualidade”. Essa última expressão,
embora excepcionalmente seja tratada por meio de estratégias qualitativas,
tradicionalmente se compõe de um corpo teórico-metodológico que privilegia a

9
mensuração de procedimentos. Uchimura & Bosi (2002) e outros autores fazem
uma longa discussão desse último conceito, mostrando que, em geral, ele é
desenvolvido dentro de uma dimensão formal, tendo um sentido reducionista e
unidimensional.
Embora apresentadas de várias formas, as abordagens qualitativas têm
características comuns. Em primeiro lugar, referem-se à necessidade de levar
em conta a participação e as percepções dos sujeitos envolvidos na criação e
na implementação dos programas sociais. Em segundo lugar, consideram as
relações e as representações como parte fundamental dos êxitos e limites das
ações. Além disto, partem da crença de que é possível simplificar e tornar
operativa, para fins de análise de intervenções, a abordagem antropológica. As
abordagens qualitativas acreditam que os profissionais das áreas sociais,
mesmo sem formação acadêmica em antropologia, teriam condições de
aprender o instrumental da disciplina, para aplicá-lo na avaliação de ações e
instituições, produzindo formas mais sistemáticas de críticas e sugestões de
mudanças.
Ao treinar e sensibilizar profissionais de saúde, educação e serviço social, por
exemplo, para utilizarem as técnicas de entrevista, grupos focais, observação,
descrição sociocultural, econômica e demográfica dos contextos analisados, os
que atuam com avaliação qualitativa acreditam em um aumento de eficácia da
observação do contexto. Pois é possível tornar mais compreensivas,
sistemáticas, estruturadas e interativas tanto a proposta de intervenção, como
a definição da situação por parte de todos os atores sociais envolvidos na
implementação da ação.
A proposta que se apresenta, aqui, tenta avançar em relação ao que é
preconizado, de forma geral, pela investigação avaliativa convencional, mas se
classificando dentro de sua tipologia1. Ela se fundamenta também na
teorização do contexto e do conteúdo do programa a ser avaliado e usa os
instrumentos operacionais para analisar a produtividade, os efeitos e o

1
Existe uma grande diversidade, até confusão, de termos classificatórios de avaliação de
programas sociais, conforme os autores. Por exemplo, Posavac & Carey (2003) consideram
quatro tipos (avaliação de necessidades, de processo, de resultados e de eficiência),
categorizando-os segundo o objetivo da avaliação. Utilizam-se, aqui, os conceitos de
Contandriopoulos et al. (1997), que separam a avaliação técnica focalizada da avaliação
contextualizada que emprega métodos científicos.

10
rendimento da intervenção. Mas acrescenta aos outros elementos, a
observação e a análise da dinâmica visível e subjacente dos atores sociais
envolvidos no processo e suas representações, tanto em relação à ação sob
julgamento como no interior do próprio processo de avaliação. O grupo que
constrói este livro denomina sua proposta avaliação por triangulação de
métodos e no título que vem abaixo, explicita seus fundamentos e sua
operacionalização.
Visando a fazer distinções, os autores esclarecem que a proposta de avaliação
por triangulação de métodos não se confunde com o que é denominado,
comumente, de avaliação participativa. Para ser coerente com as exigências
teóricas da pesquisa participativa (Brandão, 1985; Gajardo, 1986) os
interlocutores que são o alvo da observação, em um processo de avaliação
participativa, deveriam tomar parte em todas as etapas da investigação: na sua
concepção, na definição do problema, na teorização, no levantamento de
dados, nas análises do material coletado e na elaboração dos resultados. Em
elaborações sobre o tema, avaliação participativa se confunde muito com auto-
avaliação (Waiselfsz, 1998; Mancuso, 1998; Cohen & Franco, 1993), avaliação
interna ou ainda com procedimentos participativos no interior dos processos
avaliativos (Demo, 1998).
Na investigação avaliativa por triangulação de métodos, a auto-avaliação faz
parte do processo e o integra, mas o conjunto de elementos e procedimentos
propostos é muito mais amplo e complexo, pois conjuga: a presença do
avaliador externo; as abordagens quantitativas e qualitativas e, de forma
relevante, a análise do contexto, da história, das relações, das representações
e a participação.
Em síntese, a avaliação por triangulação de métodos pretende ir além das duas
formas de abordagem mais clássicas, a positivista e a compreensiva. No
desdobramento metodológico e prático, os autores deste livro retomam os três
pilares da avaliação tradicional e a eles agregam os princípios básicos da
sociologia compreensiva, não como superposição e sim como síntese.
Abordam-nos de forma complementar e dialética, fazendo dialogar questões
objetivas e subjetivas, privilegiando a análise dos consensos, dos conflitos e
das contradições que são indícios de mudança. Desta forma, em lugar de se
apoiar num marco referencial disciplinar, a presente proposta amplia o espectro

11
de contribuições teórico-metodológicas, de forma a perceber movimentos,
estruturas, ação dos sujeitos, indicadores e relações entre micro e macro
realidades.
Triangulação é um conceito que vem do interacionismo simbólico e é
desenvolvido, dentro dessa corrente, primeiramente por Denzin (1973),
significando a combinação e o cruzamento de múltiplos pontos de vista; a
tarefa conjunta de pesquisadores com formação diferenciada; a visão de vários
informantes e o emprego de uma variedade de técnicas de coleta de dados que
acompanha o trabalho de investigação. Seu uso, na prática, permite interação,
crítica intersubjetiva e comparação (Denzin, 1973; Minayo & Sanchez, 1993;
Minayo et al., 1999; Minayo & Cruz Neto, 1999).

1.3.PREMISSAS E CONCEITOS DA AVALIAÇÃO POR TRIANGULAÇÃO DE MÉTODOS


Pode-se compreender avaliação por triangulação de métodos2 como expressão
de uma dinâmica de investigação e de trabalho que integra a análise das
estruturas, dos processos e dos resultados, a compreensão das relações
envolvidas na implementação das ações e a visão que os atores diferenciados
constroem sobre todo o projeto: seu desenvolvimento, as relações hierárquicas
e técnicas, fazendo dele um construto (Schutz, 1982) específico.
Além da integração objetiva e subjetiva no processo de avaliação, essa
proposta inclui os atores do projeto e do programa não apenas como objetos
de análise, mas, principalmente, como sujeitos de auto-avaliação.
Essa postura ética e teórica que se fundamenta nos princípios da filosofia
comunicativa (Habermas, 1987) propicia meios para que, no desenvolvimento
do processo de análise, os que o implementam ou recebem seus influxos se
apropriem da compreensão dos dados quantitativos e qualitativos gerados pelo
trabalho e recolham subsídios para as mudanças necessárias.

Autores como Denzin (1973), Jick (1979), Samaja (1992) e Minayo (2004)
estudaram tecnicamente a triangulação metodológica, demonstrando que seus

2
O termo “métodos” está sendo empregado aqui no sentido quadripolar de Bruyne, Herman &
Schoutheete (1991). Um método pode ser visto a partir de quatro pólos: epistemológico
(vigilância crítica, regras da produção científica), teórico (conceitos e regras de interpretação),
morfológico (regras de estruturação, de formatação do objeto científico) e técnico (controle da
coleta de dados).

12
princípios ecoam em uma vasta tradição das ciências sociais, seja por motivos
práticos de validade ou por razões epistemológicas. Samaja (1992), em seu
artigo sobre Metodologia e Dialética do Trabalho Interdisciplinar, demonstra
que a integração acontece por razões práticas, sobretudo quando se trata de
processar e analisar dados produzidos por vários instrumentos, na perspectiva
de diversas disciplinas. Mas ela acontece também, diz o autor, por motivos
epistemológicos, na medida em que se tenta superar as dicotomias entre
quantitativo versus qualitativo; entre enfoque disciplinar versus interdisciplinar,
entre outros. Samaja vai além, quando afirma que o processo de investigação,
de uma forma explícita ou implícita, sempre utiliza conceitos e noções de várias
áreas do conhecimento.
Jick (1979) encontra um valor universal na triangulação metodológica, ao
constatar que cada método, por si só, não possui elementos mínimos para
responder às questões que uma investigação específica suscita.
Já Denzin (1973) enfatiza a contribuição metodológica como instrumento de
iluminação da realidade sob vários ângulos. Demonstra que essa prática
propicia maior claridade teórica e permite aprofundar uma discussão
interdisciplinar de forma interativa e intersubjetiva.
Uma das fundamentações mais importantes da triangulação de métodos se
pode encontrar em algumas idéias de Kant, desenvolvidas no “Sistema dos
Princípios do Entendimento”, em sua obra Crítica da Razão Pura. Kant ensina
que a “a possibilidade da experiência é oferecida pela realidade objetiva a
todos os nossos conhecimentos a priori” (1980: 115). Ora, a experiência se
constrói na unidade sintética dos fenômenos, em uma síntese de conceitos
sem o qual a ação não chegaria a se transformar em conhecimento. Logo, à
atuação concreta subjazem princípios e regras universais relativas à unidade
na síntese dos fenômenos, cuja realidade objetiva pode ser mostrada pela
experiência: “é no objeto que a unidade sintética dos conceitos evidencia uma
realidade objetiva” (Kant, 1980: 116).
Para Kant, o entendimento da realidade se fundamenta em quatro princípios
básicos: os axiomas da intuição; as antecipações da percepção; as analogias
da experiência e os postulados do pensamento empírico em geral. Nesta
introdução apenas se comentam os dois iniciais.

13
O primeiro se fundamenta no fato de que as intuições são quantidades
extensivas no tempo e no espaço que só podem ser apreendidas pela
composição de homogêneos múltiplos e pela consciência da unidade sintética
deste múltiplo. Os fenômenos, de acordo com Kant, são quantidades, mas
quantidades extensivas, ou seja, são representados por partes homogêneas e
sucessivas que conformam um todo.
O segundo princípio diz respeito à existência de uma quantidade intensiva que
ocorre como um grau de percepção dos fenômenos. Esta percepção, segundo
Kant, é a consciência empírica simultânea da intuição e da sensação. Ela é
compreensão de que os objetos fenomênicos não são apenas quantidades
extensivas ou intuições externas. Eles contêm, também, sensações sob forma
de representação subjetiva. O sujeito é afetado e experimenta existencialmente
o fenômeno que vivencia: isto constitui uma unidade do sistema de
entendimento. Esta unidade é um grau, entre o qual e sua negação ocorre uma
seqüência infinita de graus sempre menores. Daí se conclui que há diferentes
graus de observação de uma experiência que contém, simultaneamente,
quantidades extensivas e quantidades intensivas.
Kant chamou a quantidade intensiva de “qualidade” das sensações,
assinalando que a vivência desta qualidade é sempre empírica, não podendo,
de modo algum, ser representada a priori. Portanto, as “percepções”, as
“sensações” são verdades reconhecidas apenas posteriormente. Porém, a
propriedade de possuir um grau pode ser conhecida por antecipação. Da
mesma forma, nas quantidades só se pode conhecer, a priori, uma qualidade:
sua continuidade. E na qualidade, só uma quantidade extensiva, ou seja, a de
ter um grau: “Chamarei matemáticos os dois princípios precedentes, sendo
ambos constitutivos dos fenômenos” (Kant, 1980: 123).
Essas idéias filosóficas de Kant podem ser consideradas básicas para a
triangulação, pois fundamentam a possibilidade de articulação de estudos de
magnitude e de compreensão de forma complementar. A realização
metodológica da proposta não exige grande teorização, uma vez que busca
apenas integrar as vantagens da avaliação tradicional com a abordagem
qualitativa e com os elementos dos processos participativos.
O ponto crucial do processo reflexivo é o que aponta ser possível exercer uma
superação dialética sobre o objetivismo puro, em função da riqueza de

14
conhecimento que pode ser agregada com a valorização do significado e da
intencionalidade dos atos, das relações e das estruturas sociais. A postura
dialética leva a compreender que dados subjetivos (significados,
intencionalidade, interação, participação) e dados objetivos (indicadores,
distribuição de freqüência e outros) são inseparáveis e interdependentes. Ela
permite criar um processo de dissolução de dicotomias: entre quantitativo e
qualitativo; entre macro e micro; entre interior e exterior; entre sujeito e objeto.

1.4. PRÉ-REQUISITOS DO PROCESSO DE AVALIAÇÃO POR TRIANGULAÇÃO DE MÉTODOS


A proposta de avaliação por triangulação depende de duas condições
imprescindíveis. A primeira é de ordem prática. Consiste na exigência de uma
equipe formada por profissionais de várias áreas que desejam trabalhar
cooperativamente. Ela depende, portanto, de pessoas dispostas emocional e
mentalmente ao diálogo e a experimentar a possibilidade de complementação
entre diferentes métodos e disciplinas, realizando um movimento intelectual
específico em direção a um objeto empírico. Como recorda Kant (1980), o
objeto é o terceiro termo. Diante dele, a abordagem quantitativa e qualitativa
produzirá a unidade sintética do múltiplo e do uno. Em torno do objeto
aprofundam-se as reflexões em busca de compreendê-lo e explicá-lo em suas
múltiplas dimensões.
A equipe de avaliação multidisciplinar deve, em um esforço dialógico, participar
de todas as fases da investigação, desde a concepção até a apresentação dos
resultados. O êxito deste trabalho em grupo de “diferentes” requer capacidade
de discutir, diferenciar e relacionar teorias, conceitos, noções e métodos,
tratados como fragmentos teóricos de uma abordagem mais ampla. O
resultado deste esforço é a substituição da hierarquia, a priori, dos campos
científicos por uma visão cooperativa entre eles e o mundo da vida (Habermas,
1987).
A segunda condição, paradoxalmente, é a competência disciplinar de cada
componente do grupo. A segurança disciplinar permite o aprofundamento
teórico-metodológico em relação ao conhecimento do objeto. É necessário ter
claro que se trata de combinação, de triangulação de métodos que conservam
sua especificidade no diálogo inter ou transdisciplinar. Trabalham-se, portanto,
de forma dialética, a integração dos contrários e a distinção entre eles. Ao se

15
juntarem, as especificidades metodológicas não se dissolvem, continuam a
existir no trato com questões que exigem uma ou outra abordagem, como
mostra a base filosófica de Kant (1980); e os estudos de Samaja (1992);
Minayo & Sanchez (1993); Minayo (2004) e Minayo & Cruz Neto (1999).
Samaja chama atenção para o fato de que a combinação de teorias e métodos
é sempre desigual, havendo, na prática, a supremacia de uma disciplina sobre
outra. Esta assimetria de “poder” costuma ter vários motivos, que vão desde a
idiossincrasia dos investigadores, até os objetivos pretendidos, o que levaria a
priorizar aspectos da avaliação marcados disciplinarmente.
Além da articulação entre os opostos que se realiza na “distinção e integração
entre teorias e métodos” e o da “dialógica entre investigadores e várias
disciplinas”, os avaliadores que trabalham com a triangulação precisam levar
em conta alguns princípios atualmente trabalhados pelas teorias da auto-
organização e da complexidade (Morin, 1993, 1996) e consideradas a partir da
própria natureza dos processos sociais (Hartz, 1997; Minayo et al., 1999;
Minayo & Cruz Neto, 1999).
O primeiro é o da causalidade complexa, que se opõe à visão de linearidade
entre causa-efeito e enfatiza dimensões complexas, incalculáveis interações e
inter-retro-ações que os fenômenos possuem. Destacam-se:
ƒ as relações em uma visão hologramática no sentido de que o todo
contém as partes, a parte contém o todo, mas parte e todo têm
características e propriedades específicas;
ƒ a inseparabilidade da ordem e da desordem em qualquer projeto,
proposta ou organização;
ƒ a irredutibilidade do acaso, da incerteza e do inacabado em todos os
fenômenos sociais.
A idéia de causalidade complexa se fundamenta na constatação do dinamismo
da realidade. Ela se apresenta ora em movimentos circulares, de mão dupla,
ora em espiral, incorporando atrasos, contradições, desvios e orientações
endógenas e exógenas.
O segundo princípio que complementa o da causalidade complexa é o da
organização recursiva, da autoprodução e da auto-organização a partir de
elementos previsíveis ou do acaso e por interferências internas ou externas.
Essa constatação conduz a pensar, de maneira interativa, o papel do

16
observador e do objeto; da racionalidade e da emoção; da natureza e da
cultura; da ordem e da desordem; do uno e do múltiplo; da ciência e do senso
comum; do pensamento e da ação.
O terceiro princípio a ser observado é o discursivo complexo que comporta a
associação entre conceitos e noções complementares e concorrentes,
buscando entender seus diferentes níveis de desenvolvimento teórico e prático
no interior das áreas disciplinares. Dentre as antinomias relevantes, se
encontram as relações entre o universal e o particular; entre o global e o local;
entre o micro e o macro; entre o coletivo e o individual; entre o todo e as partes;
entre a análise e a síntese; entre as relações cêntricas, acêntricas e
policêntricas.
Os princípios do pensamento complexo (Morin, 1993; 1996) questionam a
razão fragmentada que se coloca exterior ao mundo da vida, terreno da práxis
avaliativa tradicional formal e quantificadora. A triangulação de métodos
também valoriza a quantificação. Mas compreende a quantidade como
indicador e parte da qualidade dos fenômenos, dos processos e dos sujeitos
sociais, marcados por estruturas, relações e subjetividade, culturalmente
específicas de classes, grupos e segmentos profissionais, gênero, etnia e
idade.

1.5.DO DIAGNÓSTICO SITUACIONAL À AVALIAÇÃO DE RESULTADOS E AO DEPOIS...


A pesquisa avaliativa por triangulação de métodos que acompanhou o
desenvolvimento do Programa Cuidar, e que aqui vai ser tomada como
exemplo, em termos gerais, proporciona todos os elementos presentes em uma
perspectiva ex-ante, de acompanhamento e do tipo ex-post (Cohen & Franco,
1993). Apresenta uma análise diagnóstica situacional inicial; uma avaliação da
implantação e da implementação e, ao final, uma apreciação dos resultados,
valorizando também o processo e as tendências, entendendo que os efeitos
das intervenções sociais não findam quando ela cessa.

A primeira etapa da pesquisa avaliativa visa a reconhecer o estado do


problema em relação ao qual ocorrerá a avaliação (base-line) no início do
projeto. Seus parâmetros são os indicadores estabelecidos para o conteúdo da
intervenção e os procedimentos estabelecidos para a implantação. Ela se

17
constitui como uma Avaliação Diagnóstica Básica, precedendo o processo de
intervenção.
Na avaliação da implantação, observam-se todos os passos necessários à
efetivação da intervenção. Visa-se a:
ƒ verificar a extensão do alcance do programa para a população alvo;
ƒ monitorar a “dose do programa”, ou seja, a freqüência da sua aplicação
e a participação dos sujeitos envolvidos nas atividades previstas;
ƒ avaliar a variabilidade do contexto organizacional ou situacional na qual
o programa se implementa;
ƒ correlacionar a extensão na qual os programas são implementados e as
metas propostas;
ƒ mensurar o seu custo de implementação (McGraw et al., 1989, 2000).
Elder et al. (1994) acrescentam que essa avaliação permite verificar fatores
ambientais e “eventos seculares” que podem afetar o resultado de um
programa, independentemente das ações desenvolvidas. Constata-se, nos
estudos sobre a análise de implantação que, em geral, os avaliadores utilizam
diferentes perspectivas teóricas e modelos de pesquisa.
O estudo sobre a implementação de um programa, realizado in loco, visa:
ƒ à análise da extensão com que ele alcança a população-alvo;
ƒ à freqüência e à intensidade de aplicação da proposta, bem como à
participação dos sujeitos envolvidos;
ƒ às questões organizacionais e administrativas;
ƒ à viabilidade e variabilidade das metas propostas;
ƒ à formação da equipe de intervenção nos diferentes níveis.

Quando realizada em diferentes etapas do processo, a análise da


implementação permite também aferir mudanças ocorridas nos ambientes e
nos atores sociais envolvidos, tendo em vista as estratégias em curso. E deve
apontar pontos cruciais para a correção de rumos, visando ao sucesso do
programa pari passu a seu andamento. McGraw et al. (2000) observam que as
medidas para avaliação da implementação, sobretudo no caso das escolas,
variam consideravelmente por falta de consistência e clareza na definição dos
objetivos das ações a analisar.
A avaliação de resultados visa a dimensionar, qualitativa e quantitativamente,

18
as diferenças entre o momento inicial e as metas atingidas ao final de uma
intervenção. Como já se mencionou, estes resultados devem ser previstos da
forma mais clara possível dentro das estratégias de planejamento que
antecedem aos primeiros passos da intervenção. Na análise da
implementação, é possível dar ênfase ao que merece mais investimento,
dedicação e empenho por ser essencial e o que pode ser dispensado ou pelo
menos minimizado no caso de exigir grande dispêndio de energia e pouco
acrescentar aos objetivos e metas propostos. Na avaliação de resultados,
mesmo que formalmente se trabalhe colocando um ponto final em alguma
ação, é preciso assinalar o caráter complexo e provisório dos processos
sociais. As dificuldades de apropriação da totalidade das mudanças não
ocorrem, como pensam McGraw et al. (2000) e outros positivistas, apenas pela
imprecisão de instrumentos, mas pelo dinamismo dos fenômenos sociais. A
dinâmica das intervenções quase nunca coincide, matematicamente, com a
possibilidade de se medirem todos os benefícios, frutos de uma determinada
ação, pois eles só amadurecem ao longo do tempo. O contrário também é
possível: ao encerrar uma atividade, pode-se, também, estar inaugurando uma
descontinuidade que traz efeitos negativos: a avaliação de resultados pode e
deve assinalar a necessidade ou não de dar seqüência a algum tipo de
intervenção.
É importante situar o depois, uma vez que, coerente com a filosofia de atuação
proposta aqui, mesmo quando se apresentam os resultados, considera-se a
avaliação um processo inacabado, no qual o ponto final provisório obedece a
uma lógica de gestão da instituição que executa a intervenção, dos
financiadores e dos parceiros.
Uma visão dialética da sociedade e das mudanças aconselha a olhar a
intervenção social de forma dinâmica, conflituosa, contraditória e por vezes até
imponderável. Isto quer dizer que transformações ocorrem por via de
intervenções planejadas e, também, pelas mais impensáveis ocorrências,
situações e circunstâncias que escapam mesmo às análises contextualizadas.
Pode acontecer que a intervenção que está sob avaliação seja apenas um dos
elementos causadores de mudanças, embora, talvez, o mais relevante.

19
1.3.OS PASSOS PRÁTICOS DA AVALIAÇÃO POR TRIANGULAÇÃO DE MÉTODOS
Do ponto de vista operacional, a triangulação de métodos é uma atividade de
cooperação realizada por etapas. Didaticamente, pode-se desdobrá-la em oito
passos: formulação do objeto ou da pergunta referencial que vai guiar todo o
processo e planejamento geral da avaliação; elaboração dos indicadores; a
escolha da bibliografia de referência e das fontes de informação; construção
dos instrumentos para a coleta primária e secundária das informações;
organização e a realização do trabalho de campo; análise das informações
coletadas; elaboração do informe final; entrega, devolução e discussão com
todos os atores interessados na avaliação, visando à implementação de
mudanças.

(1) Para a formulação do objeto ou da pergunta principal, é importante que


os profissionais de várias disciplinas, os grupos e atores sociais a serem
avaliados e quem encomenda a avaliação estejam juntos, pois esta
primeira definição orientará todo o trabalho posterior. A seguir, se
determinam os objetivos gerais e específicos do trabalho, a elaboração
de um cronograma, os ajustes administrativos e as formas de solução de
conflitos e problemas que sempre surgem. Nesta etapa de definições,
fazem-se os acertos relativos às divisões de trabalho, às coordenações,
aos espaços, aos ritmos e as abordagens. Em seguida, discutem-se os
conceitos principais a trabalhar, os que atravessam as áreas de
conhecimento e os que têm sua abordagem restrita a determinada área
disciplinar.
Todos estes itens fazem parte do projeto de avaliação por triangulação
de métodos. Supõe-se que o coletivo de trabalho, que inclui
investigadores, agentes sociais e patrocinadores, deva estar junto para
definir a proposta e compreender cada um de seus passos. O esforço
devotado para completar esse desenho inicial varia em função da
complexidade do programa e da relação com todos os agentes
envolvidos, inclusive com os financiadores.
É fundamental insistir na comunicação dos avaliadores com os
diferentes parceiros do programa de intervenção social a ser avaliado
nos momentos de negociações, acordos e decisões que cercam a fase

20
de planejamento de uma avaliação. Documentar os acordos feitos
serve para rememorá-los aos participantes durante todo o processo,
evitando-se discordâncias ou mudanças de rumo indesejadas. Aqui se
realiza a primeira estratégia de triangulação, ou seja, a que privilegia
os vários pontos de vista.
São várias as abordagens a partir das quais se pode preparar um guia
de planejamento e implementação da avaliação. Para isso, precisam
ser feitas reflexões que levem a decidir pelo modelo de abordagem
que melhor responda a desafio avaliativo colocado.
Alguns pontos merecem ser priorizados durante o planejamento, como
lembram Posavac & Carey (2003), e são detalhados a seguir.
ƒ Identificar o programa a avaliar, bem como todos os envolvidos
em sua implantação, o que envolve sua descrição completa, seus
desdobramentos, sua filosofia de intervenção, sua forma de
gerenciamento; o status de seus agentes; o perfil da população-
alvo, seu tamanho e foco, dentre outras características.
ƒ Encontrar representantes dos que coordenam e dos que vão
executar as intervenções. O diretor do programa de intervenção e
os gestores intermediários são pessoas-chave para contatos,
desde o início e durante todo a construção do projeto de avaliação.
Mas é importante ouvir também outros atores, sobretudo os que
vão atuar na prática, visando a compreender se há sintonia e
consenso entre os que fazem a gestão e os que aplicam a
proposta. A representação de pessoas em diversos níveis de
envolvimento no planejamento da avaliação aumenta as chances
de viabilização adequada da coleta de dados e do uso das análises
para correção de rumos do projeto, se for o caso.
ƒ Considerar a visão dos patrocinadores do programa, pois, em
geral, eles têm objetivos específicos em relação ao seu
investimento.
ƒ Ouvir os clientes ou participantes e destinatários das ações,
levando-se em conta seus mecanismos de interação.
ƒ Formular perguntas básicas aos diferentes participantes: quem
está solicitando a avaliação? Por que ela está sendo solicitada?

21
Que tipo de avaliação parece mais apropriado para responder às
demandas? Em que momento e por quanto tempo a avaliação deve
ser realizada? Com que nível de detalhamento? Que recursos são
necessários e que recursos estão disponíveis para tanto?
ƒ Ter clareza de qual grupo deseja a avaliação e se há algum que
resiste a ela. Em geral, tanto a equipe gestora e implementadora de
uma intervenção social como os financiadores deveriam desejar
uma avaliação que antecedesse e acompanhasse seu
desdobramento, seguindo uma tendência contemporânea de
implantação e implementação de políticas públicas (Bulmer, 1986).
Porém, isto nem sempre acontece. É preciso fazer perguntas que
induzam ao consenso quanto à necessidade coletiva de avaliar,
pois esse processo só tem fluidez quando os envolvidos na
proposta entram em entendimento. Em geral, os patrocinadores
demonstram interesse nos indicadores que lhes assegurem o bom
uso de seus investimentos. Os que não valorizam essa atividade,
comumente, não prestam atenção aos resultados, nem tampouco
garantem apoio para as mudanças recomendadas.
ƒ Debater, com diferentes atores, a pergunta central a ser
formulada. E, a partir de então, os vários tipos de estratégias
disponíveis e por que se recomendam algumas em especial. A
incorporação simultânea de vários tipos de técnica, o que é
bastante desejável, depende da complexidade das metas, dos
objetivos do programa e dos recursos destinados à avaliação.
ƒ Esclarecer o motivo pelo qual a avaliação está sendo solicitada.
Os avaliadores devem dar grande prioridade à identificação das
razões da demanda. Há alguns grupos que questionam a
necessidade do programa? É o financiador que espera saber sobre
o destino de seu investimento? Freqüentemente, o interessado em
conhecer a eficácia e a eficiência de sua atuação, assim como as tendências
de seu trabalho para o futuro, é o próprio grupo que atua.
Faz parte do papel dos avaliadores conduzir a ambos, financiador e equipe
de intervenção, na construção de um consenso sobre a pergunta central da
avaliação. Algumas razões para avaliar programas são indesejáveis: é o

22
caso do diretor ou coordenador que pede uma avaliação para esquivar-se
de tomar decisões genuinamente gerenciais.
ƒ Negociar o tempo de duração da avaliação. Freqüentemente, os
envolvidos em atividades de intervenção querem avaliações rápidas. É
preciso fazer um balanço entre o desejo e os requisitos para se proceder
a um trabalho cuidadoso, metódico e fundamentado. Os avaliadores
devem considerar o tempo para preparar a proposta, para ter acesso
aos registros, para promover encontros de definição da situação, para o
desenvolvimento de critérios e medidas para respostas no médio e longo
prazo, para observação exploratória de campo, para reunir dados e
preparar apresentação de resultados.
Não há fórmula para determinar a duração deste processo. Ao longo de sua
experiência teórica e prática, os avaliadores desenvolvem um senso do tempo
necessário entre o preparo do projeto e a sua finalização, buscando adequar os
instrumentos e as interações em função, também, das necessidades e das
demandas.
Delimitar os recursos disponíveis. A disponibilidade de recursos é crucial para
se prever o nível de detalhamento de um processo de avaliação. Em termos
ideais, qualquer projeto social deveria prever, em seu orçamento, um montante
de recursos para que ele pudesse ser acompanhado antes e durante todo o
seu desdobramento. É preciso listar o custo de cada ação de avaliação,
adequando-se às especificidades da demanda. É importante, também, fazer o
controle orçamentário desde o momento em que começam a ocorrer os
desembolsos.
ƒ Ter certeza de que é factível avaliar a intervenção em curso. Embora a
pergunta diga respeito, primeiro, a quem a executa, os avaliadores
precisam fazê-la, na tentativa de produzir uma base racional para sua
atuação. É fundamental ter certeza de que, procedidos os contatos e
esclarecimentos (na medida do possível, coletivamente), os envolvidos
assumam os objetivos e compartilhem os critérios que irão revelar se as
respostas desejadas foram alcançadas. As melhores avaliações
envolvem acesso ao desdobramento das atividades do programa
durante o processo de implementação, respostas intermediárias sobre
dificuldades e contradições e informações sobre a extensão e

23
intensidade com que os participantes se apropriam dos objetivos,
perseguem as metas e observam os aspectos éticos de sua ação.
Como se pode perceber, a fase de planejamento de uma avaliação é crucial e
requer levar em conta uma série de ações. A determinação da metodologia a
adotar é um dos pontos mais fundamentais desta fase, que vai orientar os
investigadores sobre escolhas como desenho da pesquisa, definição amostral,
coleta de dados e análise estatística. Preocupações com a adequação do
tempo e orçamento são necessárias, pois pedidos de suplementação financeira
e delongas nos prazos de cumprimento das atividades do projeto costumam
causar constrangimentos, prejudicar as relações e, por vezes, retardar tomadas
de decisão sobre correção de rumos das intervenções.

(2) A segunda tarefa prática em uma avaliação por triangulação de métodos é a


criação dos indicadores. Esta etapa que deve reunir, outra vez, toda a equipe
de pesquisa e, em uma perspectiva participativa, incluir também os grupos a
serem avaliados, buscando-se decidir em conjunto os mais pertinentes, os que
foram levados em conta na ação a ser avaliada, o valor que será dado a cada
um e os critérios para julgá-los. O processo de construção de indicadores é
parte essencial das mediações entre a pergunta central e os instrumentos de
pesquisa. A equipe de investigação deve antecipar o encontro com o grupo,
elaborando e apresentando sua proposta sobre o assunto e abrindo uma ampla
discussão sobre ele. O lugar dos indicadores corresponde ao que Kant
denominou, em sua matemática transcendental, a síntese entre o pensamento
e a realidade (1980: 123), ou o que Samaja chama representação de um
procedimento (1992: 166). Segundo esse autor, todo dado científico vincula um
conceito com o que está acontecendo na realidade a ser avaliada, mediante a
execução de um procedimento aplicado a uma ou mais dimensões
consideradas observáveis do dito conceito.
Os indicadores no caso da triangulação de métodos devem ser contextuais,
relacionais e de medição da ação em si (absolutos). Por isto, precisam conter
duas propriedades: primeiro, que sejam observáveis e, segundo, que permitam
criar procedimentos para observá-los. Em síntese, um indicador deve permitir
medidas quantitativas ou qualitativas, heuristicamente úteis para a intervenção.
O momento de elaboração de indicadores é de fundamental relevância para o

24
grupo, pois oferece a oportunidade de alinhar conceitos que, geralmente, estão
na cabeça dos vários participantes, mas não têm o mesmo significado para
todos. Nomeá-los e torná-los mais claros para todos permite um estreitamento
interdisciplinar e até transdisciplinar, na medida em que estes conceitos se
tornam unidades construídas coletivamente e sob vários ângulos de
consideração.

(3) O terceiro passo consiste na definição das fontes de informação, de tal


forma que cada indicador selecionado possa ser conhecido teoricamente e na
sua expressão concreta. As fontes são os diferentes atores sociais
(formuladores institucionais, gestores, técnicos, população atendida,
financiadores), os documentos instituidores e históricos, os de convênio, os
instrumentos operacionais, os relatórios de avaliação interna, de prestação de
contas, de publicidade e outros.
Mas deve-se considerar também a leitura de bibliografia que possa compor o
campo semântico da avaliação sobre os conceitos centrais, sobre os objetivos,
indicadores e intervenções semelhantes e sobre o contexto de âmbito
institucional, nacional e internacional.
A revisão da literatura deve permitir a discussão dos conceitos centrais, tanto
teóricos como metodológicos, visando à criação de indicadores. Deve, também,
tornar acessíveis informações sobre dificuldades metodológicas, políticas e
práticas, bem como evitar repetição de fracassos e permitir aprender com os
sucessos. Há indagações fundamentais sobre o material em exame: de que
maneira programas similares têm sido avaliados? Que desenhos de
investigação foram usados? Que critérios, medidas e indicadores podem ser
adaptados? Como se garantiram a confiabilidade e a validade? Que análises
estatísticas foram feitas? Que análises qualitativas foram produzidas? Houve
triangulação dos dados quantitativos e qualitativos? Os achados são
conflitantes? Há consenso entre os relatos? Esses conflitos se devem a
diferentes abordagens na definição da amostra, do desenho ou da
interpretação? Que aspectos não foram considerados?

(4) A definição e a elaboração dos instrumentos de investigação constituem


uma tarefa técnica de responsabilidade dos investigadores. Tendo em vista o

25
objeto, os objetivos e os indicadores, os instrumentos de pesquisa empírica
devem ser elaborados por meio de equipes organizadas disciplinarmente,
como subprojetos que se incluam no todo e contenham a idéia do todo, mas de
forma peculiar. As abordagens quantitativas e qualitativas exigem teoria e
métodos próprios e se prestam a fins de natureza diferenciada. As quantitativas
visam a dimensionar e a quantificar os dados de processo ou de resultado. Já
as qualitativas segundas são apropriadas para aprofundar a história; captar a
dinâmica relacional de cunho hierárquico, entre pares ou com a população;
compreender as representações e os símbolos e dar atenção, também, aos
sinais evasivos que não podem ser entendidos por meios formais.
Na construção dos vários instrumentos, é preciso incluir, no mínimo: a
cobertura do programa, que se refere ao grupo-alvo atingido; a implementação
das ações previstas; o ambiente organizacional e o envolvimento dos atores, o
que diz respeito a seu envolvimento e a suas habilidades e atitudes em relação
à realização do programa. Geralmente, o subgrupo qualitativo deve elaborar
vários instrumentos, cada um destinado a atores específicos.
Esse momento de separação formal dos subgrupos não impede encontros
informais. O importante é que seja seguido de reuniões coletivas com o
objetivo de socializar, criticar e adequar os instrumentos construídos por ambos
os lados à pergunta que provocou o processo de avaliação.

(5) O momento do trabalho de campo se beneficia de etapas preparatórias para


ajustamento de conceitos, indicadores e instrumentos. Ele precisa, para seu
êxito, contar com alguns antecedentes.
É bastante funcional que a equipe de avaliação possa contar com uma
assessoria ou com coordenação executiva. Este assessor ou coordenador
deve administrar os cronogramas de trabalho e as agendas de todos os atores
sociais envolvidos, programando reuniões, entrevistas, grupos focais,
respostas a questionários, disponibilização de material, de espaços e outros.
A experiência mostra que a realização de uma pesquisa interdisciplinar exige
uma boa dose de trabalho de gestão que, quanto mais bem conduzido, mais
favorece o bom desempenho de todos.
Outro antecedente importante é que investigadores de campo precisam
compreender a pesquisa, seu escopo, seus objetivos e ser treinados para o

26
adequado relacionamento com o ambiente e as pessoas, para a observação e
para a aplicação dos instrumentos. Quando o investigador chega ao local da
pesquisa, devem persistir poucas dúvidas quanto aos procedimentos a serem
realizados e sobre como conduzir as interações com as pessoas.
Um processo de avaliação é uma ação ainda mais delicada do que outros tipos
de pesquisa, pois, em geral, muitos participantes se crêem julgados e
confrontados com os possíveis resultados. Esta situação peculiar exige que os
trabalhadores de campo sejam pessoas com boa experiência, formação,
sensibilidade e capazes de mediar conflitos.

(6) A análise das informações recolhidas recebe os influxos do êxito ou dos


problemas das etapas anteriores. Por isto, a experiência em avaliação leva a
valorizar cada parte do processo. Do ponto de vista operacional, esta etapa
consiste na ordenação dos dados, na sua classificação e na análise
propriamente dita. Busca-se comparar os objetivos gerais e específicos e os
resultados, analisar o uso dos recursos e dos insumos previstos, dimensionar
as metas determinadas para cada etapa do processo e os efeitos e impactos
quantitativos e qualitativos da intervenção como um todo.
Trabalhando-se com triangulação de métodos, está previsto que as operações
já mencionadas sejam realizadas, primeiro, separadamente. Os que utilizam
questionários de acordo com o desenho e o modelo adotados passam a
tabular, a digitar, a categorizar, a produzir estatísticas simples e cruzamentos,
chegando, aos poucos, a análises capazes de transformar, em números,
indicadores de processos e de resultados.
Quem faz análise qualitativa passa a separar as diferentes modalidades dos
instrumentos aplicados e dos materiais históricos e institucionais recolhidos.
Em uma dinâmica de leitura que vai do campo para as categorias analíticas e
vice-versa, estabelece as bases compreensivas da unidade reflexiva, que é o
objeto ou a pergunta inicial.
Fazem parte desta etapa os vários encontros da equipe multidisciplinar para
efetuar a compatibilização entre as informações quantitativas e qualitativas, e
as análises de todo o material primário e secundário. Essa busca de diálogo
entre disciplinas e abordagens, tem a finalidade de produzir um informe único,
que deve conter não informações justapostas, mas o intercâmbio de teorias e

27
métodos a favor do esclarecimento e do aprofundamento dos vários aspectos
da realidade.

(7) A elaboração do informe final merece muita atenção dos avaliadores. Ele
deve conter, sucintamente: o objeto de avaliação; os objetivos; uma síntese
teórica dos conceitos principais que informam as análises; as metodologias de
abordagem; a contextualização e a história da intervenção sob avaliação; a
descrição dos processos avaliados sob a perspectiva de todos os atores; a
análise da gestão e da logística da proposta; os resultados e as conclusões.
Raposo (2001) adverte para a necessidade de se estar atento para o que
chama de impacto ampliado do programa e que não havia sido previsto. Essas
observações, embora sem indicadores e não-quantificáveis são, no entanto,
informações relevantes e precisam ser registradas. Além de oferecer aos
instituidores e financiadores uma melhor visão do alcance do projeto, poderão
contribuir para a construção de novos indicadores.
O informe ou relatório, parcial ou final, não é e nunca será, na concepção da
triangulação, um somatório de resultados disciplinares. É uma construção do
coletivo de pesquisa, em forma de síntese. Nele, poderão existir capítulos mais
históricos, outros de base mais estatística, outros com ênfase à elaboração de
significados, mas cada um vem iluminado pela contribuição dos outros.
Esse conjunto de informações pode ser apresentado sob as formas intensiva
ou executiva ou de ambas, concomitantemente. Considerando-se que, em
geral, aos executores da intervenção interessa uma análise detalhada dos
achados, é importante que se lhes seja oferecido um produto mais denso e
pormenorizado.
No entanto, os resultados da avaliação interessam também – e principalmente
– aos financiadores dos projetos. Em geral, essas pessoas são sumamente
práticas e preferem documentos que contenham, em duas a três páginas, de
preferência ilustrados com gráficos ou outros recursos visuais, informações que
lhes permitam balizar suas decisões de continuar a financiar, de redirecionar
suas propostas, de investir mais em determinadas ações ou aspectos do
problema em pauta.
Atenção especial deve ser dada ao capítulo final de resultados (seja de
processo, seja de produto). Esta parte do relatório se compõe de sentenças, ao

28
mesmo tempo, sintéticas e abrangentes, propiciando uma idéia geral de todo o
trabalho. Devem-se destacar os aspectos críticos, as lições aprendidas e a
visão de futuro.

(8) Merece relevância a dinâmica de comunicação dos resultados. Se possível,


é importante ter a parceria dos atores que estão sendo avaliados em uma
discussão preliminar dos achados da pesquisa.
Não se trata aqui de fazer concessões ou de negociar informações que
poderiam mudar resultados indesejados para a instituição ou para os
envolvidos. O aspecto ético da pesquisa precisa prevalecer sobre interesses
corporativos, preservando-se um diálogo franco sobre os limites da intervenção
social, sobre seus aspectos críticos e também sobre suas potencialidades.
Seja durante o trabalho ou ao final dele, é preciso valorizar a comunicação de
informações que permitam, como previsto desde o início, gerar mudanças,
corrigir rumos, potencializar ações e intervenções e constituir um aprendizado
para todos.
Quando se trata de avaliação de programas que atuam por processos de
intervenções sociais, é importante que avaliadores, avaliados e financiadores
criem um consenso sobre as dificuldades de se estabelecerem conclusões
fechadas: a proposta de realização da avaliação, por si só, já gera mudanças
entre os que realizam a intervenção; mudanças sociais são difíceis, lentas e
sutis. Inclusive muitas só se tornam visíveis por meios qualitativos ou depois
que o processo de análise termina.
Sugerir a continuidade dos projetos e acompanhá-los sempre com
instrumentos de avaliação que possibilitem manter vivo o sentido da ação
talvez seja uma das mais importantes lições que os avaliadores de projetos
sociais aprendem. Como lembra Lima (2004), a avaliação deve revelar os
brotos, as flores, os ramos em desenvolvimento e não somente os frutos.

1.6.ALGUMAS SÍNTESES PARA OS AVALIADORES

Os avanços recentes da avaliação, como uma área de conhecimento


específica, evidenciam importantes mudanças na postura dos profissionais. Em
geral, a maioria deles, atualmente, busca integrar avaliados e avaliadores, pois

29
os considera como aprendizes que, estudando e refinando conceitos e
técnicas, crescem junto com o processo de análise.
Nessa concepção, a avaliação é muito menos classificatória e muito mais
promocional. Serve para consolidar entendimentos e parcerias, apoiar
mudanças sucessivas, corrigir rumos, ampliar o comprometimento dos
diferentes atores e promover o aperfeiçoamento dos indivíduos, grupos
instituições e sistemas, lembra Penna Firme (2003).
No caso da avaliação por triangulação de métodos, uma das modificações
fundamentais se dá quando a equipe de avaliação aceita o desafio de um
trabalho cooperativo. Ressalta-se, uma vez mais, que, do ponto de vista
teórico, a triangulação de métodos e as atividades interdisciplinares repousam
em três posturas diferentes e complementares: (1) [sugiro retirar os
números] profundo respeito aos campos disciplinares; (2) relativização da
visão fragmentada de cada um deles; (3) crença na capacidade dialógica dos
pesquisadores frente a propostas teóricas e metodológicas diferentes e com os
sujeitos que atuam no mundo da vida.
No entanto, a postura desejada dos que se envolvem nesse tipo de avaliação
não inviabiliza o desenvolvimento de teorias, análises e publicações próprias
ao campo de conhecimento de cada pesquisador. O que se sabe, por
experiência, é que a produção disciplinar, resultante da experiência de
triangulação – que compartilha as reflexões de outras áreas – nunca será igual
ao fruto do esforço monológico do investigador individual e solitário. Nessa
proposta, independentemente da área específica de cada um, todos recebem o
influxo da interfertilização de saberes que, em certa medida, durante o
processo de produção da avaliação, rompem barreiras epistemológicas,
teóricas e práticas.

Carlota, a parte a seguir é mais um exemplo


daqueles
BREVE APRESENTAÇÃO DO PROGRAMA CUIDAR
Embora este estudo pretenda ser uma teorização sobre a prática, situa sua
proposta de abordagem a partir dos elementos utilizados na avaliação do

30
Programa Cuidar. O Programa constitui uma ação educativa cujas
características são apresentadas resumidamente a seguir.
O Programa Cuidar é a base de uma modalidade de intervenção pedagógica
elaborada pelo educador Antônio Carlos Gomes da Costa e viabilizada por
meio da ONG que dirige, a Modus Faciendi. O objetivo fundamental dessa
proposta é “promover, junto às redes públicas e particulares de ensino
fundamental e médio, um projeto de educação para valores” (Modus Faciendi,
1999), envolvendo os estudantes, os professores e as famílias. Os valores a
que a proposta se refere dizem respeito a cuidados consigo, com os outros e
com o ambiente.
Assim, o Programa Cuidar, na sua formulação, não pretende acumular
informações a serem transmitidas. Considera que a educação para valores é
um jeito novo de apresentar o que a escola já vinha ensinando, mas
privilegiando alguns enfoques, como cidadania, saúde, ética, aspectos afetivo-
sexuais, ambientais, de orientação para o trânsito, para o consumo e para
tantos aspectos relacionados à qualidade de vida dos adolescentes, das
famílias, da comunidade e da sociedade em geral.
A forma de incorporação de valores é trabalhada com estratégias de promoção
da autonomia, da solidariedade e da competência. Sua pretensão é de que o
adolescente seja exposto a atividades que o levem a tomar decisões, a fazer
escolhas e a eleger o próprio caminho diante das circunstâncias escolares e de
sua vida familiar, assumindo conseqüências por suas opções, em cada
situação. Atualmente, em vários países do mundo se experimentam processos
de intervenção pedagógica baseada em valores (Vale, 1983; Watson, 1985;
Onetto, 1998; Migliori, 1999; Duart, 1999; Martinelli, 1996), o que situa o
Programa Cuidar como uma iniciativa contextualizada na práxis educativa
contemporânea.
O Cuidar inovou do ponto de vista de sua articulação. Para a implantação e a
implementação da proposta, a liderança coube à Modus Faciendi, a ONG que
concebeu o programa. Ela se associou a secretarias municipais de educação
de vários estados do país, convidando escolas públicas e particulares das
redes para aderirem ao projeto.
O financiamento coube ao Instituto Souza Cruz e a avaliação, ao Centro Latino-
Americano de Estudos de Violência e Saúde Jorge Careli da Escola Nacional

31
de Saúde Pública (Claves/Ensp), em parceria com o Instituto Fernandes
Figueira (IFF), unidades da Fundação Oswaldo Cruz (Fiocruz), uma instituição
pública.
Testando a eficácia da filosofia proposta na prática e almejando, se bem-
sucedida, a universalização da experiência, as instituições investiram em um
tipo contemporâneo de avaliação pari passu ao planejamento e à realização
das ações. A pretensão da instituição criadora do Cuidar é de que, se avaliado
favoravelmente, o programa venha a se constituir como uma qualificação da
atuação pedagógica, de modo que essa dimensão ontológica passe a ser
explicitada e valorizada, fazendo frente a uma ética tecnicista e economicista
típica da contemporaneidade.

Referências Bibliográficas

AGUILLAR, M. J. & ANDER-EGG, E. Avaliação de serviços e programas


sociais. Petrópolis: Vozes, 1994.
ATKINSON, S. Anthropology in research on the quality of health services.
Cadernos de Saúde Pública, 9 (2): 283-299, 1993.
BRANDÃO, C. R. Repensando a Pesquisa Qualitativa. São Paulo: Brasiliense,
1985.
BULMER, M. Social Policy research: lecture in social administration. Londres:
Macmillan Presse Ltd, 1986.
BRUYNE, P.; HERMAN, J.; SCHOUTHEETE, M. Dinâmica da Pesquisa em
Ciências Sociais. Rio de Janeiro: Francisco Alves Editora, 1991.
CARVALHO, M. C. B. Avaliação de projetos sociais. In: ÁVILA, C. (org.).
Gestão de projetos sociais. São Paulo: APCCS, 2001. p. 59-73
COHEN, E. & FRANCO, R. Avaliação de Projetos Sociais. Petrópolis: Vozes,
1993.
CONTANDRIOPOULOS, A. P.; CHAMPAGNE, F.; DENIS, J. L.; PINEAULT. A
avaliação na área da saúde: conceitos e métodos. In: HARTZ, Z. M. A. (org).
Avaliação em saúde: dos modelos conceituais a práticas da implantação de
programadas. Rio de Janeiro: Fiocruz, 1997.
COSTA REIS, L. G. Avaliação de projetos como instrumento de gestão. São
Paulo, 2004. (mimeo).
DEMO, P. Avaliação qualitativa. São Paulo: Cortez, 1999.
DENZIN, N. K. The research act. Chicago: Aldine Publishing Company, 1973.
DUART, J. M. La organización ética de la escuela y la transmisión de valores.
Barcelona: Paidós, 1999.
ELDER, J.P.; McGRAW, S.A.; STONE, E.J.; REED, D.B.; HARSHA, D.W.;
GREENE, T.; WAMBSGANGS, K.C. CATCH: Process evaluation of
environmental factors and programs. Health Education Quarterly, supl. 2: 107-
127, 1994.
GAJARDO, M. Pesquisa participante na América Latina. São Paulo:
Brasiliense, 1986.

32
HABERMAS, J. Teoría de la Acción Comunicativa I y II. Madrid: Taurus
Editorial, 1987.
HARTZ, Z. M. A. Explorando novos caminhos na pesquisa avaliativa das ações
de saúde. In: HARTZ, Z. M. A (org). Avaliação em saúde: dos modelos
conceituais à prática na análise da implantação de programas. Rio de Janeiro:
Fiocruz, 1997.
JICK, T.D. Mixing quantitative and qualitative methods: triangulation and action.
Administrative Science Quarterly, 24: 602-611, 1979.
KANT, I. Crítica da Razão Pura. Rio de Janeiro: Abril, 1980. Coleção os
Pensadores.
LIMA, M. A. M. Avaliação de programas gerenciais de t&d: uma proposta de
metodologia flexível em construção. Revista Eletrônica de Administração &
Negócios. Disponível em: http://www.terravista.pt/enseada. Acesso em
3/6/2004.
MANCUSO, R. Feiras de ciências: produção estudantil, avaliação e
conseqüências. São Paulo: FDE, 1998. Contexto Educativo, Série Idéias, n. 8.
MARTINELLI, M. Aulas de Transformação. O Programa de Educação em
Valores Humanos. São Paulo: Ed. Fundação Petrópolis, 1996.
McGRAW, S.A; McKINLAY, S.M.; McCLEMENTS, L.; LASATER, T.M.; ASSAF,
A; CARLETON, R.S . Methods in program evaluation: the process evaluation
system of the Pawtucket Health Program. Evaluation Review, 13 (5): 459-483,
1989.
McGRAW, S.A.; SELLERS, D.; STONE, E.; RESNICOW, K.A.; KUESTER, S.;
FRIDINGER, F.; WECHSLER, E. Measuring implementation of school
programs and policies to promote healthy eating and physical activity among
youth. Preventive Medicine, 31: 86-97, 2000.
MIGLIORI, R.F. Educação em valores humanos: o resgate da construção do
indivíduo ético. In: BRANGER, L. N.; RODRIGUES, M. M.; VIEIRA, A.G. (orgs.)
O direito é aprender. Brasília: Ministério da Educação, 1999.
MINAYO, M. C. S.; D’ELIA, J. C.; SVITONE, E. Programa Agentes de Saúde do
Ceará: estudo de caso. Fortaleza: Unicef, 1990.
MINAYO, M. C. S. Abordagem antropológica para avaliação de políticas
sociais. Revista de Saúde Pública, 25 (3): 233-238, 1991.
MINAYO, M. C. S. & CRUZ NETO, O. Triangulación de métodos en la
evaluación de programas y servicios de salud. In: BRONFMAN, M & CASTRO,
R. (coords.). Salud, cambio social y política: perspectivas desde América
Latina. México: Edamex, 1999. p. 65-80
MINAYO, M.C.S. O Desafio do Conhecimento. São Paulo: Hucitec, 2004.
MINAYO, M.C.S.; SOUZA, E.; ASSIS, S.G.; CRUZ NETO, O.; DESLANDES,
S.F.; SILVA, C.M.P.F. Avaliação dos Centros de Orientação e Apoio
Sorológico/CTA/COAS da Região Nordeste. Cadernos de Saúde Pública,
15(2): 355-367, 1999.
MINAYO, M. C. S. & SANCHEZ, O. Quantitativo-Qualitativo: oposição ou
complementaridade? Cadernos de Saúde Pública, Rio de Janeiro, v. IX, n.3,
239-262, 1993.
MODUS FACIENDI. Programa Cuidar: Livro do Professor. Belo Horizonte:
Modus Faciendi, 1999. v.1
MORIN, E. Ciência como Consciência. Lisboa: Europa-América, 1993.
MORIN, E. O Problema Epistemológico da Complexidade. Lisboa: Europa-
América, 1996.

33
NUNES, E. A Gramática Política do Brasil. Rio de Janeiro: Jorge Zahar Editor,
1997.
NUTO, S. S. & NATIONS, M.K. Avaliação qualitativa dos serviços com
processo de construção de cidadania. Ação Coletiva, 2: 25-29, 1999.
ONETTO, F. ¿Con los valores quién se anima? Buenos Aires: Bonum, 1998.
PABON, H. Evaluación de Servicios de Salud. Cali: XYZ Editora, 1985.
PATTON, M.Q. How to Use Qualitative Methods in Evaluation. Newbury Park:
Sage Publications, 1987.
PENNA FIRME, T. Avaliação em rede. [S.l.], 2003. Disponível em: http://
www.rits.org.br. Acesso em 4/6/04.
POSAVAC, E.J. & CAREY, R.G. Program evaluation: methods and case
studies. New Jersey: Upper Saddle River, 2003.
RAPOSO, R. Avaliação de ações sociais: uma abordagem estratégica. In:
ÁVILA, C. (org.). Gestão de projetos sociais. São Paulo: APCCS, 2001.
ROSSI, P.; HOWARD, F.; LIPSEY, M. Evaluation: a systhematic approach.
California: Sage Publications, 1999.
ROSSI, S. R. et al. Application of the transtheoretical model of behavior change
to directory fat reduction. International Journal of Psichology, 27: 628-633,
1992.
SAMAJA, J. La combinación de métodos: pasos para una comprensión
dialéctica del trabajo interdisciplinario. Educación Medico-Social, 26 (1): 4-34,
1992.
SCHUTZ, A. A common sense and scientific interpretations of human actions.
Haia: Martiness Niphoff, 1982. Colleted Papers, v.1.
SCRIMSHAW, S. & HURTADO, E. Rapid assessment procedures for nutrition
and primary health care: anthropological approaches to improving programme
effectiveness. Tóquio: The United Nations University, 1987.
SCRIVEN, M. Evaluation in the new millennium: the transdisciplinarity vision. In:
DONALDSON, S. I. & SCRIVEN, M. (ed.). Evaluating social programs and
problems: visions for the new millennium. Nova Jersey: Lawrence Earlbaum
Associates Publishers, 2003.
SILVA, L. M. V. & FORMIGLI, V. L. A. Avaliação em saúde: limites e
perspectivas. Cadernos de Saúde Pública, 10 (2): 80-91, 1994.
SILVA, R. S. & BRANDÃO, D. Construção da capacidade avaliativa em
organizações da sociedade civil. São Paulo: Instituto Fontes, 2003.
UCHIMURA, K.Y. & BOSI, M. L. M. Qualidade e subjetividade na avaliação de
programas e serviços de saúde. Cadernos de Saúde Pública, 18 (6): 1561-
1569, 2002.
VALE, J.M.F. Valor e educação: delineamento para uma teoria materialista de
valores. Tese de Doutorado (Filosofia da Educação) - Pontifícia Universidade
Católica. São Paulo, 1983.
WAISELFSZ, J. Avaliação participativa. São Paulo: FDE, 1998. Série Idéias,
n.8
WATSON, J. The Philosophy and Science of Caring Revised. Boulder,
Colorado: Colorado Associated University Press, 1985.
WORTHEN, B. & SANDERS, J. Avaliação versus pesquisa. In: Introdução à
avaliação de programas sociais. São Paulo: Instituto Fontes, 2004.

34

View publication stats

Você também pode gostar