>>Atas

 CIAIQ2016                                                            >>Investigação  Qualitativa  em  Ciências  Sociais//Investigación  Cualitativa  en  Ciencias  Sociales//Volume  3  
 

Avaliação  de  impactos  como  modalidade  de  pesquisa  qualitativa  e  

problema  de  investigação:  reflexões  e  resultados    

2  
Ana  Cristina  Brito  Arcoverde1,  Cristina  Maria  Pinto  Albuquerque
 
1
 Universidade  Federal  de  Pernambuco,  Departamento  de  Serviço  Social;  Bolseira  Capes-­‐Brasil,  processo  002835/2015-­‐3;  
ana.arcoverde@gmail.com  
2  
Universidade  de  Coimbra,  Faculdade  de  Psicologia  e  de  Ciências  da  Educação;  crisalbuquerque@fpce.uc.pt

Resumo.   No   presente   artigo   pretende-­‐se   refletir   sobre   a   relevância   da   avaliação   de   impactos   como  
modalidade   de   pesquisa   qualitativa   que   qualifica   fenômenos   contextualizados,   produz   conhecimentos   da  
realidade,   entendida   como   síntese   de   múltiplas   determinações   e   apreende   as   mudanças   quantitativas   e  
qualitativas  nas  dimensões  objetiva,  substantiva  e  subjectiva.  Para  ilustrar  o  modo  como  tais  mudanças  se  
evidenciam  nos  discursos  dos  sujeitos  apresentamos  alguns  dados  resultantes  de  uma  pesquisa  conduzida  
no   Estado   de   Pernambuco,   entre   2010   e   2015,   junto   de   trabalhadores   de   organizações   da   economia  
solidária.   Os   dados   revelaram   que,   por   meio   de   trabalho   desenvolvido,   se   produziram,   na   perspetiva   dos  
trabalhadores   mudanças   objetivas   e   substantivas   em   micro   escala,   mas   poucas   alterações   em   termos   de  
consciencialização  política  e  social  ou  mudança  subjetiva.      
Palavras-­‐chave:  avaliação;  impactos;  pesquisa  qualitativa.  

Impact  assessment  as  qualitative  research  and  research  problem:  reflections  and  results  
Abstract.  In  this  article,  we  intend  to  reflect  on  the  relevance  of  impact  assessment  as  qualitative  research  
that   qualifies   contextualized   phenomena,   produces   knowledge   of   reality,   understood   as   a   synthesis   of  
multiple   determinations   and   grasps   the   quantitative   and   qualitative   changes   in   the   objective,   substantive  
and   subjective   dimensions.   To   illustrate   how   such   changes   are   evident   in   the   speeches   of   the   subjects  
presented   some   data   resulting   from   a   survey   conducted   in   the   state   of   Pernambuco,   between   2010   and  
2015,  from  workers  of  the  social  economy  organizations.  The  data  revealed  that,  through  work,  is  produced,  
from  the  perspective  of  workers  objective  and  substantive  changes  in  micro  scale,  but  little  change  in  terms  
of  political  and  social  awareness  or  subjective  change.    
Keywords:  evaluation;  impacts;  qualitative  research.  

1  Introdução  

Em   geral,   a   avaliação   remete   para   a   quantificação   de   fenómenos,   factos   e   contextos   sociais  

porquanto  entendida  restritamente  como  mensuração  de  resultados.  Neste  artigo  defendemos  que  
a   avaliação   também   qualifica   fenómenos,   factos   e   contextos   como   substantivação   de   mudanças  
produtoras   dos   conhecimentos   necessários   para   a   aproximação   da   realidade,   entendida   como  
síntese  das  múltiplas  determinações  dos  referidos  fenómenos,  factos  e  contextos  sociais.    
A   avaliação   de   impactos   como   modalidade   de   avaliação   e   pesquisa   nas   ciências   sociais,   na  
contemporaneidade,  trabalha  com  a  perspetiva  de  que  o  quantitativo  e  o  qualitativo  na  pesquisa  são  
interdependentes   e   que   se   complementam   na   investigação   das   mudanças   implementadas,   quer  
pelas  políticas  públicas  junto  da  população,  quer  pelas  práticas  sociais.    
Na   verdade,   os   números   só   sintetizam   processos,   dinâmicas   e   estruturas,   tanto   quanto   esses   podem  
ser  decifrados  e  expressos  substantivamente.  Portanto,  é  um  equívoco  conceber  o  quantitativo  e  o  
qualitativo,  nas  ciências  sociais  e  na  pesquisa,  como  divergentes  ou  contraditórios.  (Martinelli,  2003).    
Saliente-­‐se   porém   que   diferentes   olhares   produzem   distintos   resultados   sobre   a   mesma   realidade,  
dependendo   do   questionamento   construído   e   a   ela   endereçado.     Na   pesquisa,   e   em   particular   na  

519  
>>Atas  CIAIQ2016                                                            >>Investigação  Qualitativa  em  Ciências  Sociais//Investigación  Cualitativa  en  Ciencias  Sociales//Volume  3  
 

pesquisa   nas   ciências   sociais,   a   investigação   é   dirigida   pela   questão   colocada   face     à   realidade  
investigada.  Esta  questão  é  determinada  pela  teoria  e  determina  a  metodologia  a  ser  utilizada  para  
dar   conta   da   apreensão   do   real.   Reforçamos   pois   a   ideia   de   que   não   existe   pesquisa   neutra,   mas  
dirigida  pela  questão  construída  a  partir  da  articulação  teoria/realidade.  Em  se  tratando  de  questão  
cuja  resolução  implica  avaliação  de  impactos,  como  no  caso  da  investigação  de  mudanças,  a  pesquisa  
reflete  os  mesmos  pressupostos.  (Arcoverde,  2013,  p.  181).  

2  Pesquisa  avaliativa  de  impactos:  elementos  constitutivos  e  questões  críticas    

As   pesquisas   avaliativas   de   impactos   são   raras   e   complexas   no   domínio   social,   embora   de   extrema  
necessidade  no  campo  da  elaboração,  acompanhamento  e  reformatação  de  políticas  públicas  ou  de  
práticas  sociais.  A  escassez  de  estudos  decorre  sobretudo  da  dificuldade  de  realização  deste  tipo  de  
investigações,   bem   como   dos   recursos   necessários   e   da   previsibilidade   no   campo   do   planejamento  
da   política   pública   ou   da   prática   social.   Em   acréscimo,   muitas   vezes   é   indefinido   ou   ambíguo   o  
elemento  a  ser  analisado.  É  de  destacar,  a  este  respeito,  a  confusão  que  por  vezes  existe  entre  efeito  
e  impacto.  É  importante  efetivamente  distinguir  estes  conceitos  no  sentido  de  evitar  problemas  na  
construção  do  objeto,  dos  instrumentos  e  técnicas  e  na  operacionalização  da  investigação.  Assim,  o  
impacto   “expressa   mudanças   efetivas   e   /ou   significativas   na   vida   das   pessoas   em   decorrência   de  
determinada  intervenção”,  experiência  ou  prática  social  (Roche,  2003,  p37).  Por  outras  palavras,  é  a  
consequência  dos  efeitos  de  uma  política  ou  prática  social,  expressando  o  âmbito  do  quantum  e  do  
modo   como   foram   concretizadas   as   mudanças   em   relação   à   população   usuária   da   política   ou  
participante  da  prática  social.  O  impacto,  concebido  como  mudança,  pode  assim  ser  problematizado  
e  investigado  em  unidades  individuais,  grupais  e  aglomerados  societários  (Cohen;  Franco,  1999).  
Deste   modo,   quando   a   problemática   de   pesquisa   construída   e   a   ser   desvendada   tem   por   objetivo  
conhecer,   analisar,   avaliar   a   determinação   das   mudanças   efetivas   decorrentes   de   uma   intervenção  
ou   política   (e   que   não   existiriam   sem   ela),   a   avaliação   de   impactos   é   um   dos   procedimentos   com  
potencial  a  ser  seguido.    
De  entre  as  perspetivas  teóricas  pode-­‐se  verificar  a  prevalência  da  direção  positivista  ou  da  direção  
subjetivista   de   avaliação   ao   problematizar-­‐se   a   substância   do   fenómeno   ou   do   real,   ou   o   real   do  
fenómeno   na   subjetividade   e   consciência   do   sujeito,   ou   seja,   problematiza-­‐se   a   realidade   a   avaliar  
com  foco  nas  mutações  visíveis  e  atribuídas  a  processos  sociais  vividos  e  apreendidos,  pelos  próprios  
sujeitos,  de  forma  objetiva  e  individualizada.  Assim,  a  avaliação,  ora  focaliza  a  análise  de  momentos  
isolados   da   política   pública   com   prioridade   para   a   mensuração   de   resultados,   utilizando   o  
quantitativo  no  processo  de  produção  de  conhecimento,  ora  privilegia  aspetos  relacionados  com  os  
sentidos  e  significados  atribuídos  pelos  sujeitos  envolvidos  às  políticas  em  avaliação.  Quaisquer  que  
sejam   os   focos   naquela   direção,   desconsideram-­‐se   os   elementos   contextuais   presentes   na   política,  
ou  que  são  determinantes  do  objeto  da  avaliação,  ainda  mais  quando  esse  objeto  são  as  mudanças.  
Para   uma   avaliação   que   construa   o   seu   objeto   em   termos   de   quantificação/qualificação   da   mudança  
operada   na   política,   ou   por   uma   política   pública   junto   à   população   torna-­‐se   necessária   uma   teoria  
que   contribua   para   problematizar   o   real,   ou   que   leve   em   conta   a   historicidade   como   categoria  
imprescindível   à   contextualização   das   políticas   ou   práticas   sociais   desenvolvidas.   Uma   concepção  
totalizante  da  avaliação,  e  em  particular  na  avaliação  dos  impactos,  considera  conjuntamente  todos  
os   momentos   que   constituem   a   política   a   ser   avaliada.   (Carvalho,   1998,   p.88).   Avaliar   mudanças   é  
desafio   complexo,   mas   estimulante   para   uma   investigação   de   natureza   mista   -­‐   quantitativa   e  
qualitativa  –  como  a  que  iremos  apresentar  de  seguida.    

520  
>>Atas  CIAIQ2016                                                            >>Investigação  Qualitativa  em  Ciências  Sociais//Investigación  Cualitativa  en  Ciencias  Sociales//Volume  3  
 

3  Avaliar  impactos:  dados  ilustrativos  de  um  estudo  pernambucano  

De  2010  até  2015,  foi  realizado,  no  âmbito  do  Núcleo  de  Estudos  e  Pesquisas  ARCUS  da  Universidade  
Federal  de  Pernambuco,  um  estudo  em  139  municípios  pernambucanos.  Este  estudo  construiu  como  
objeto  de  investigação  as  mudanças  operadas  pelo  trabalho  em  unidades  económicas  coletivas.  Por  
outras   palavras,   pretendia-­‐se   avaliar   os   impactos,   objetivos,   substantivos   e   subjetivos,   decorrentes  
do   início   da   atividade   laboral   de   trabalhores,   no   quadro   de   organizações   da   economia   solidária.   Para  
tal,  foi  aplicado  aos  trabalhadores  e  colaboradores  da  organização  um  inquérito  que  permitiu  revelar  
e   avaliar   a   dimensão   objetiva   das   mudanças   ocorridas,   pós   integração   laboral   (em   diversas  
dimensões:   habitação,   saúde,   proteção   social,   bem-­‐estar,   dentre   outras),   e   um   conjunto   de  
entrevistas   semiestruturadas   (662),   junto   à   amostra   representativa   de   unidades   económicas,   seus  
dirigentes  e  trabalhadores,  que  permitiram  evidenciar  a  dimensão  substantiva,  subjetiva  e  simbólica  
dessas  mesmas  mudanças.  O  universo  de  1.917  empreendimento  foi  construído  por  pesquisa  junto  
aos   órgãos   de   registro   dessas   mesmas   unidades   de   trabalho   coletivo,   e   a   amostra   retirada   por  
procedimento  estatístico.  Uma  estrutura  de  indicadores  de  impactos  económicos,  sociais,  ideológicos  
e   políticos,   e   suas   dimensões   foi   elaborada   coletivamente   e   dela   produzidos   os   instrumentos   de  
coleta  dos  dados,  a  saber:  entrevista  semiestruturada  testada  e  aperfeiçoada.  
O   desvelamento   da   realidade   foi   orientado   pela   questão   central:   o   trabalho   coletivo   potencializa  
mudanças   nas   dimensões   objetiva,   substantiva   e   subjetiva,   na   consciência   e   na   prática   política   dos  
trabalhadores?   Assim,   em   torno   da   categoria   central   da   “mudança”   e   das   suas   dimensões   foram  
construídos   os   instrumentos   de   coleta   de   dados,   orientados   por   unidades   de   contexto   e   foram  
construídas  subcategorias,  que  dirigiram  a  investigação,  a  saber,  a  conceção  sobre  o  trabalho,  como  
atividade   transformadora   da   natureza   em   bens   e   do   próprio   homem,   a   ideologia,   como   visão   de  
mundo  que  se  expressa  em  toda  atividade  humana,  e  a  consciencialização  política.  Os  dados  foram  
tratados  com  o  suporte  de  dois  softwares,  o  SPSS  (dados  objetivos)  e  o  SPHINX  (dados  qualitativos).  
Uma   grelha   mais   refinada   para   apreender   e   analisar   os   dados   relativos   às   unidades   de   registro   -­‐    
participação,  empoderamento  e  politização  –  foi  necessária  e  construída  após  a  coleta  de  dados.   Aos  
dados  classificados,  por  natureza  e  categorias,  foi  aplicada  a  análise  de  conteúdo  (Bardin,  2004).    
Como  já  foi  referido  o  estudo  pretendia  sobretudo  problematizar  que  mudanças  são  moldadas  pelo  
trabalho  na  consciência  do  trabalhador,  sob  determinações  contextuais.  A  vivência  do  coletivo  tem  
potencial  transformador,  mas,  no  caso,  restrito  às  condições  objetivas  (desenvolvimento  das  forças  
produtivas   no   território,   relações   de   produção)  e   subjetivas   (consciência)   do   trabalho   realizado   pelos  
trabalhadores   em   seus   contextos.   Um   dos   aspetos   mais   complexos   no   âmbito   de   estudos   de  
avaliação  de  impactos  é  precisamente  a  apreensão  da  dimensão  subjetiva  dos  mesmos  e,  de  forma  
subjacente,   a   determinação   daquilo   que   decorre   do   fator   em   avaliação   e   que   não   teria   ocorrido   sem  
a   intervenção   do   mesmo.   O   cruzamento   com   os   dados   objetivos   das   mudanças,   antes   e   depois   do  
trabalho,   constitui-­‐se   por   isso   como   um   eixo   essencial   de   análise.   Neste   âmbito,   a   definição   de  
indicadores  é  uma  etapa  decisiva.  Os  indicadores  considerados  no  estudo  foram  econômicos,  sociais  
e   ético-­‐políticos,   e   foram   desdobrados   em   sub   indicadores   (como   renda,   custos,   saúde,   alimentação,  
participação,   empoderamento,   etc.)   mais   próximos   do   real.   Afinando   mais   ainda,   os   impactos  
económicos   foram   considerados   de   natureza   quantitativa,   os   sociais   de   natureza   qualitativa   e   os  
ideo-­‐políticos  de  natureza  subjetiva.  Do  mesmo  modo  foram  definidas  as  dimensões  dos  impactos  ou  
mudanças,  a  saber,  dimensão  objetiva,  substantiva  e  subjetiva,  correspondendo  a  cada  conjunto  de  
indicadores.    
Os   resultados   da   investigação   permitiram   caracterizar   perfis   distintos   das   unidades   económicas   –  
cooperativas   de   produção,   de   serviços,   e   de   financiamento,   associações   de   trabalhadores,   de  
produtores   e   empregadores,   organizações   variadas   de   trabalho   em   grupos,   dentre   outros,     e  
qualificar  as  mudanças.  Assim,  em  termos  muito  genéricos,  na  dimensão  económica  ou  objetiva  foi  

521  
>>Atas  CIAIQ2016                                                            >>Investigação  Qualitativa  em  Ciências  Sociais//Investigación  Cualitativa  en  Ciencias  Sociales//Volume  3  
 

identificada   uma   melhoria   ou   acesso   a   uma   pequena   renda   pessoal,   na   dimensão   social   ou  
substantiva,  o  acesso  a  bens  e  serviços  com  melhoria  do  bem-­‐estar,  e  na  dimensão  ideo-­‐política  ou  
subjetiva   a   pesquisa   revelou   impactos/mudanças   na   consciência   de   si,   com   ampliação   da  
participação  em  outros  espaços  de  convivência  e  diálogo,  apropriação  de  conhecimentos  sobre  si  e  
participação   em   organizações   de   luta   por   direitos   pessoais   e   sociais.   Um   aspeto   extremamente   frágil  
ou  inexistente  foi  o  da  «consciência  de  classe  para  si»,  nos  termos  de  Kosik  (1970).    
Verificou-­‐se  pois  que  se  mudanças  existiram  no  âmbito  económico,  e  até  mais  ampliadas  no  quadro  
social,   as   mudanças   subjetivas   proporcionadas   pelo   trabalho   coletivo   foram   restritas   e/ou   frágeis.  
Isto   pode   ser   explicado   pelas   condições   objetivas   e   subjetivas   de   realização   do   trabalho   e   pelos  
elementos   contextuais   da   cultura   política   local.   O   «patrimonialismo»,   o   «coronelismo»   e   o  
clientelismo   na   política,   herdados   de   outrora,   ainda   se   fazem   presentes   no   cotidiano   das   populações  
e   dos   trabalhadores   nos   territórios   estudados.   O   que   reafirmou   o   pressuposto   teórico   de   base,   ou  
seja:  o  trabalho  é  potencializador  de  ideias,  no  caso,  ideias  plurais  moldando  as  consciências  de  si,  e  
ao   mesmo   tempo   limitando   a   classe   para   si   face   à   cultura   política   local.     Alguns   entrevistados    
reconhecem  no  trabalho  coletivo    seu  potencial  transformador,  mas  outros  o  negam.  A  vivência  do  
coletivo   nem   sempre   é   orgânica   em   torno   das   demandas   e   necessidades   de   sobrevivência.   A  
trajetória  de  trabalho  dos  entrevistados  mostrou-­‐se  também  particulamente  heterogênea:  trabalho  
assalariado–desemprego-­‐trabalho   em   cooperativas,   reforma-­‐trabalho   em   cooperativas   ou  
associações,  sem  trabalho-­‐trabalho  em  cooperativas  ou  associações,  dentre  outras.    

4  Conclusões  

O   estudo   efetuado   permitiu   revelar   que   os   processos   de   participação,   apropriação   de  

conhecimentos,   e   politização,   em   síntese   a   política,   embora   articulados,   são   vividos   e   percebidos  
distintamente  nos  diferentes  territórios,  mas  sob  determinadas  condições.  Esta  conclusão  revela  um  
dos  elementos  mais  importantes  e  estruturantes  dos  estudos  de  avaliação  de  impactos:  a  dimensão  
contextual   dos   mesmos   e   a   possibilidade   que   proporcionam   de   reavaliar   políticas   públicas   e  
intervenções,  em  confronto  com  dados  concretos  das  mudanças  produzidas,  ou  não  produzidas,  ou  
mesmo,  de  mudanças  desejáveis  ou  indesejáveis.  Estabelecendo  um  elo  essencial  entre  percepções  e  
dados  objectivos  a  metodologia  mista  permite  enquadrar  dimensões  diferenciadas  de  análise  de  uma  
realidade  e  como  tal  ultrapassar  abordagens  meramente  lineares,  deterministas  e  quantificáveis  do  
fenómeno   em   apreciação.   Um   ponto   crítico   a   ultrapassar   ainda   nas   avaliações   de   impacto   no  
domínio   social   continua   a   ser   a   definição   precisa   de   indicadores   e   a   possibilidade   dos   mesmos  
traduzirem,   da   forma   menos   enviesada   e   parcelar   possível,   a   realidade   social   complexa   e   dinâmica  
que   se   pretende   apreender.   Para   este   efeito,   o   aprofundamento   de   processos   de   triangulação,   de  
participação   on-­‐going   de   diferentes   agentes   e   uma   avaliação   contínua   de   mudanças   ao   longo   do  
processo   parecem-­‐nos   ser   elementos   relevantes   na   construção   de   um   modelo   de   impactos   sociais  
consistente   e   aplicável   a   diferentes   contextos.   Há   que   se   considerar   ainda   que   a   avaliação   de  
impactos   como   problemática   de   investigação   enfrenta   outras   dificuldades   a   serem   superadas,   a  
saber:   recursos   e   custo   financeiro,   expertise   da   equipa   de   investigadores   para   realizarem   a   avaliação  
de  impactos,  instrumentalidade  e  manejo  de  técnicas,  habilidades  para  a  apreensão  da  subjetividade  
dos   sujeitos   em   relação   às   mudanças   operadas   na   percepção   da   realidade   em   suas   múltiplas  
dimensões   do   e   entre   o   momento   antes   e   o   depois,   enfim   do   respeito   ao   tempo   do   sujeito,   bem  
como  do  tempo  necessário  para  a  interpretação  dos  conteúdos  expressos,  sejam  eles  manifestos  e,  
ou   latentes.   Cabe   realçar,   finalmente,   o   problema   da   validade   e   confiabilidade   dos   dados   em   relação  
às  conclusões  abstraídas  de  investigação  qualitativa  com  avaliação  de  impactos  tendo  em  vista  sua  
novidade  e  a  questão  objetividade,  subjetividade.  

522  
>>Atas  CIAIQ2016                                                            >>Investigação  Qualitativa  em  Ciências  Sociais//Investigación  Cualitativa  en  Ciencias  Sociales//Volume  3  
 

Referências  

Arcoverde,   A.   C.   B.   (2013).   Como   avaliar   impactos   in   Metodologias   qualitativas   de   pesquisa   em  

serviço  social.  Recife:  Ed.  Universitária  da  UFPE,  Pp.  181-­‐2005.  

Bardin,  L.  (2004).  Analise  de  conteúdo.  Lisboa:  Edições  70.  

Cardoso,  A.  L.  (1998).  Indicadores  sociais  e  políticas  públicas:  algumas  notas  críticas.  Rio  de  Janeiro:  
Proposta.  N.  77,  p.42-­‐53,  jun./ago.  

Carvalho,   M.   C.   B.   de.   (1998).   Avaliação   participativa:   uma   escolha   metodológica   in   Rico,   E.   M.  

Avaliação  de  políticas  sociais:  uma  questão  em  debate.  São  Paulo:  Cortez.    

Cohen,  E.  Franco,  R.  (1999).  Avaliação  de  projetos  sociais.  São  Paulo:  Vozes.  

Kosik,  K.  (1970).  Dialética  do  concreto.  Rio  de  Janeiro:  Paz  e  Terra.  

Martinelli,  M.  L.  (2003).  Pesquisa  qualitativa:  um  instigante  desafio.  São  Paulo:  Veras.  

Roche,   C.   (2002).   Avaliação   de   impacto   dos   trabalhos   de   Ongs:   aprendendo   a  valorizar   as   mudanças.  
São  Paulo:  Cortez.  

523