A Avaliação do Desenvolvimento Socioeconómico, MANUAL TÉCNICO II: Métodos e Técnicas

A Análise da Informação: Abordagens Experimentais e Quasi-experimentais

A Análise da Informação
ƒ Análise input-output
ƒ Modelos Econométricos
ƒ Análise de Regressão
ƒ Técnicas experimentais e quasi-experimentais
ƒ Inquéritos Delphi
ƒ SWOT

Abordagens Experimentais e Quasi-experimentais

ƒ Descrição da técnica
ƒ O objectivo da técnica
ƒ Circunstâncias em que se aplica
ƒ Os principais passos da sua implementação
ƒ Pontos fortes e limitações da abordagem
ƒ Bibliografia
ƒ Palavras-chave

Descrição da técnica
As abordagens experimentais são frequentemente descritas como o “óptimo” da
avaliação (Cambell e Stanley, 1973). À imagem da análise dos fenómenos naturais
(tais como, por exemplo, as partículas atómicas), estas abordagens pretendem
reproduzir os fenómenos sociais por via da sua observação e compreensão em
contexto laboratorial. O método experimental mais amplamente usado é o “randomised
controlled trial” (RCT – ensaio/experiência aleatório/a controlado/a). Os RCTs surgem
sob a forma de "ensaios clínicos" – para testar, por exemplo, a eficácia de um novo
produto farmacêutico numa amostra constituída por uma população alvo adequada. A
base filosófica desta abordagem tem as suas origens nas tradições positivistas e
científico-realistas que começaram a ser desenvolvidas durante o Iluminismo, sendo,
depois consolidadas durante os séculos XVIII e XIX à medida que a “ciência” e a
“tecnologia” começaram a exercer um domínio cada vez mais forte sobre a produção
de conhecimento. A afirmação central desta tradição filosófica, de que a “verdade”
apenas pode ser estabelecida se for empiricamente testada no mundo real, sustenta
as “regras” metodológicas ou os “protocolos” sob os quais os RCTs operam.
Uma definição geralmente usada de RCT (Schwarz et al, 1980) ilustra as
características desta abordagem sobre o estudo experimental:
“(RCT é) um estudo experimental prospectivo, em que os efeitos de uma ou mais
intervenções são avaliados ao dividir uma população em estudo com base numa
atribuição aleatória de um ou mais grupos experimentais e um ou mais grupos de
controlo”.
A atribuição aleatória consiste no processo de atribuir cada unidade de análise a
grupos experimentais ou de controlo, para que cada unidade tenha igual oportunidade
de receber “tratamento”. As “unidades de análise” são tipicamente “pessoas”, embora
a população em investigação possa ser definida com mais precisão como os
"resultados (outcomes)" do tratamento (por exemplo, comportamentos ou atitudes
analisadas). Um “tratamento” (a intervenção) é administrado ao grupo experimental,
mas não ao grupo de controlo. Os efeitos do tratamento são avaliados, comparando os
grupos experimentais e de controlo, para perceber até que ponto o tratamento tem um
A Avaliação do Desenvolvimento Socioeconómico, MANUAL TÉCNICO II: Métodos e Técnicas
A Análise da Informação: Abordagens Experimentais e Quasi-experimentais

efeito significativo sobre o grupo experimental em termos de determinados critério de

medição comuns.

O objectivo da técnica
O principal objectivo das técnicas experimentais como os RCTs consiste em reunir
provas suficientemente fiáveis sobre um fenómeno específico numa situação em
particular, para que se possa prever o comportamento desse fenómeno em situações
similares. Pretendem, portanto, estabelecer relações e leis causais. De um ponto de
vista técnico, isto significa que o objectivo de realizar um ensaio aleatório controlado
consiste em verificar que as seguintes quatro condições são confirmadas: validade;
fiabilidade; previsibilidade e prioridade temporal. A prioridade temporal é a “razão de
ser” dos ensaios experimentais. É a estenografia do pressuposto de que uma causa
presumível precede um evento (por exemplo, num ensaio clínico, a administração de
um determinado medicamento irá “causar” o alívio de determinados sintomas). Para
demonstrar a prioridade temporal, os RCTs terão obrigatoriamente de controlar a
influência de varáveis intervenientes para isolar a causa de um efeito. O não controlar
e isolar os efeitos das variáveis para além da variável de "tratamento", irá afectar tanto
a validade interna do ensaio (a mensurabilidade da relação entre o tratamento e os
seus resultados; i.e., o ensaio procura medir os efeitos do “tratamento” e não outros
factores “intervenientes”) como a sua validade externa (pondo em causa a possível
generalização dos resultados do ensaio a outros contextos). A validade do ensaio irá,
por sua vez, ditar a sua fiabilidade (se o ensaio produz os mesmos resultados em
experiências repetidas) e previsibilidade (até que ponto os resultados serão capazes
de prever consequências que poderão ocorrer em situações similares).
A atribuição aleatória de unidades de análise a grupos experimentais e de controlo
serve para demonstrar a prioridade temporal ao mesmo tempo que dispersa os efeitos
das variáveis intervenientes. Utiliza as propriedades da distribuição de probabilidades
para evitar o enviesamento dos resultados dos ensaios, como por exemplo, em
consequência da experiência se ter concentrado indivíduos com características
comuns no mesmo grupo. Ao mesmo tempo, permite obter fiabilidade e previsibilidade
ao utilizar as propriedades das distribuições populacionais em termos de teoria da
amostragem: se a população aleatoriamente atribuída segue uma distribuição normal,
os resultados da experiência / tratamento podem ser extrapolados para prever os
efeitos do tratamento noutras populações com características similares.

Circunstâncias em que se aplica

O uso de abordagens experimentais, como o Modelo de Controlo Aleatório
(Randomised Control Design), para a avaliação de um programa nos domínios das
ciências sociais pode gerar grandes controvérsias. Por um lado, os proponentes do
modelo argumentam que é a única forma de provar cientificamente as relações
causais de que se pressupõem estar na base de uma intervenção em particular.
Argumenta-se que, sem sujeitar uma nova intervenção a este teste, estamos a usar
métodos que, na melhor das hipóteses, são um desperdício de recursos já limitados, e
na pior das hipóteses, podem prejudicar as pessoas sobre as quais estão a ser
aplicados.
Por outro lado, os que privilegiam métodos de investigação de natureza mais
qualitativa ou exploratória, e por vezes, os próprios participantes do programa, receiam
que a metodologia RCT não consiga captar a complexidade e a singularidade das
A Avaliação do Desenvolvimento Socioeconómico, MANUAL TÉCNICO II: Métodos e Técnicas
A Análise da Informação: Abordagens Experimentais e Quasi-experimentais

actividades a serem investigadas. Dada esta limitação, consideram que se corre o

risco que os resultados, mesmo que tenham significado estatístico, não consigam
contribuir para um verdadeiro entendimento da eficácia da intervenção em diferentes
circunstâncias.
Entretanto, também já foi referido que as discussões sobre a adequação de um RCT
não são suficientemente aprofundadas em muitos casos; o que é necessário
considerar não é apenas se o RCT é uma metodologia adequada, mas se o paradigma
da investigação em que a metodologia RCT se localiza, é o correcto para a situação
em questão. Como referido por Guba e Lincoln:
“Têm-se referido muitas vezes que os avaliadores que operam de forma construtivista,
receptiva e, agora, nos moldes da quarta geração, usam principalmente, embora não
exclusivamente, métodos qualitativos. Mas haverá alturas em que os métodos
quantitativos – testes ou outros instrumentos de medição ou demonstrações
numéricos – vão ser e deverão ser usados. A única restrição que um avaliador
“construtivista”, receptivo e de quarta geração poderia colocar ao uso de métodos
quantitativos seria o facto de não poder utilizar estatísticas inferenciais, uma vez que a
ligação causal implicada por tais estatísticas é contrária à posição relativa à
causalidade que a investigação construtivista e fenomenologicamente orientada
assume”. (Guba e Lincoln, 1989)
Como referiu anteriormente Kuhn (1962), um cientista/investigador orienta-se por um
determinado paradigma não só pelo seu conteúdo intrínseco, mas também pela forma
como foi treinado e socializado no seu campo de investigação específico. Uma série
de influências, nos últimos anos, motivaram os investigadores sociais a questionar as
restrições dos paradigmas de investigação subjacentes à tradição experimentalista.
Exerceram-se, por exemplo, pressões decorrentes da evolução social e política, tais
como uma crescente exigência de autonomização (empowerment) de grupos em
desvantagem que são frequentemente “objectos" de investigação, da evolução do
terceiro mundo, da investigação feminista e áreas relacionadas (sob a influência, por
exemplo, das obras de Friere (1970), de investigadores feministas (Gordon (1975) e
Ardener (1975)) e investigadores de outros grupos desfavorecidos ou dependentes,
tais como pessoas incapacitadas (Oliver 1990)). A tradição experimentalista, discutida
a partir de uma diversidade de perspectivas, é produto de um ambiente cultural e
histórico e pode conduzir a um enviesamento sistemático e não identificado dos que
investigam no âmbito dessa tradição. Em oposição a este contexto, surgiu um forte
movimento no âmbito do campo da avaliação com vista a abordagens de investigação
que aceitam a natureza múltipla das realidades sociais e que podem integrar a
dimensão do poder e da desigualdade entre os diferentes participantes (Parlett e
Dearden, 1977; Guba e Lincoln, 1989). Este movimento fomenta actividades de
avaliação em que a consulta a diferentes “partes interessadas” na actividade em
avaliação ganha uma posição central, em que o entendimento e o consenso são um
dos resultados mais importantes da avaliação comparativamente à identificação de
uma “explicação” válida, salientado a autonomização (empowerment) das partes
interessadas, cujos pontos de vista correm o risco de ser negligenciados dentro de um
modelo de investigação mais convencional.
De uma forma mais prosaica, e tal como abaixo referido, as limitações dos RCTs,
particularmente no campo da investigação social, são, em muitos casos, expressas em
termos de problemas práticos na aplicação da metodologia. Outros problemas citados
incluem questões éticas e custos da implementação dos ensaios.
À luz destas questões complexas e difíceis, sugere-se que a decisão sobre quando
usar uma técnica experimental deva ser informada com base nas seguintes perguntas:
ƒ quais são os objectivos da avaliação?
A Avaliação do Desenvolvimento Socioeconómico, MANUAL TÉCNICO II: Métodos e Técnicas
A Análise da Informação: Abordagens Experimentais e Quasi-experimentais

ƒ que perguntas estão a ser colocadas para efeitos de investigação?

ƒ qual é o enquadramento da avaliação?
ƒ qual é o contexto operacional da avaliação?
Em relação aos objectivos, as técnicas experimentais tendem a ser desadequadas em
contextos de avaliação exploratórios, descritivos ou participativos e de investigação-
acção. São mais adequados a situações em que o objectivo principal da avaliação
seja:
ƒ testar ou validar um modelo, centrando a análise sobre como a intervenção
funciona e se as escolhas abarcadas pelo modelo são aceitáveis para as
diferentes partes interessadas.
ƒ objectivos experimentais, de previsibilidade e/ou de teste de hipóteses – por
exemplo, a comparação da eficácia e dos resultados da intervenção em
diferentes contextos.
Em relação às perguntas, as técnicas experimentais não funcionam em situações em
que as perguntas para efeitos de investigação sejam:
ƒ de natureza exploratória, por exemplo, na identificação das principais questões
num domínio pouco conhecido;
ƒ de natureza descritiva; por exemplo, se a elaboração identificou as questões
principais como ponto de partida para a formulação de hipóteses;
ƒ de natureza crítica; por exemplo, perguntas sobre questões políticas em torno
de uma intervenção e se existe algum consenso sobre elas.
As técnicas experimentais devem ser empregues em situações cujas perguntas para a
investigação sejam:
ƒ de natureza explicativa; por exemplo, para estabelecer ligações causais entre
as variáveis;
ƒ de natureza previsível; por exemplo, para verificar o que poderá acontecer se a
intervenção for aplicada noutro local ou contexto.
Em termos de contexto ambiental ou do enquadramento da avaliação, as técnicas
experimentais tendem a ser relativamente limitadas no que toca a captar sistemas de
crenças, significados simbólicos e formas através das quais as intervenções são
recriadas e adaptadas na interacção com a vida social. Não têm, igualmente, muita
utilidade em termos de perspectivar, por exemplo, como a intervenção foi configurada
pelas tendências históricas e forças sociais e como a intervenção pode evoluir e ser
configurada por estas forças no futuro. Isto implica que as técnicas experimentais não
devam ser usadas em situações que envolvam a interpretação de “múltiplas
construções da realidade” – ou se houver uma série de diferentes “mundivisões”
radicais entre as partes interessadas.
Ao avaliar a adequação das técnicas experimentais, e ao efectuar ensaios aleatórios
controlados deve ter-se em consideração a logística ou o contexto operacional da
avaliação. Os elementos-chave, que precisam de ser considerados, são os seguintes:
ƒ as preferências metodológicas e a “mundivisão” das partes interessadas;
ƒ os recursos necessários e disponíveis;
ƒ as competências e os conhecimentos específicos disponíveis para implementar
o ensaio / experiência.
Deve prestar-se particular atenção aos principais interessados na avaliação,
especialmente os principais parceiros, os financiadores da intervenção e os
A Avaliação do Desenvolvimento Socioeconómico, MANUAL TÉCNICO II: Métodos e Técnicas
A Análise da Informação: Abordagens Experimentais e Quasi-experimentais

utilizadores dos resultados finais da investigação. Esta análise tem de questionar que
tipo de abordagem essas partes interessadas considerarão mais credível, e se a
orientação metodológica dos principais parceiros é compatível com o paradigma
experimental dos RCTs. É necessário analisar os recursos disponíveis para a
avaliação, tendo em conta o facto de que, como já referido anteriormente, os RCTs
podem demorar muito tempo, implicam trabalho intensivo e são difíceis de analisar.
Isto é particularmente relevante quando os ensaios envolvem permutas complexas
entre os subgrupos dentro dos grupos de tratamento e os de controlo, e para efeitos
de estudos longitudinais. É fundamental que se tenha em consideração quem
implementa os ensaios e estabelecer se existe: i) capacidade organizacional para
implementá-los (em especial, em situações que envolvem diversas localidades); ii)
competências relevantes disponíveis (em termos de concepção da investigação,
trabalho de campo e análise de dados); iii) capacidade adequada para a gestão dos
dados (assegurando o controlo de qualidade na recolha e na análise dos dados;
armazenamento e retenção de dados recolhidos e resultados), uma vez que as
técnicas experimentais implicam um elevado grau de integridade dos dados.

Os principais passos da sua implementação

Passo 1: Análise da adequação da abordagem experimental ao contexto da
avaliação.
Como referido anteriormente, existem muitas situações em que o paradigma
experimental pode não ser adequado à intervenção sob avaliação. Para estabelecê-lo,
é necessário proceder ao seguinte:
ƒ uma auditoria às partes interessadas (para identificar as “mundivisões” dos
diferentes participantes; a sua receptividade aos diferentes tipos de análises de
dados; o grau de “politização” da intervenção);
ƒ obter respostas às quatro questões-chave acima especificadas, ou seja:
− quais são os objectivos da avaliação?
− que perguntas estão a ser colocadas para efeitos de investigação?
− qual é o contexto da avaliação?
− qual é o contexto operacional da avaliação?

Passo 2: Análise da viabilidade técnica e metodológica do modelo experimental.

Embora a abordagem experimental possa ser adequada e desejada pelas partes
interessadas, é quase impossível pô-la em prática em muitas situações.
Essencialmente, quanto mais complexo for o modelo RCT, mais investimento em
tempo, recursos e análise será necessário. Isto é particularmente grave em relação à
questão de se garantir o envolvimento de um número suficiente de unidades de
análise nos ensaios, para satisfazer as regras estatísticas que governam as
distribuições das populações. Tem-se discutido que as experiências que envolvem
intervenções sociais “simplesmente não podem suportar o esforço exigido para se
obter uma amostra suficientemente grande, capaz de medir e analisar todas as
possíveis combinações de tratamento e as características dos “clientes” que
caracterizem o contexto operacional de um programa, num determinado momento e à
medida que se este se vai modificando ao longo do tempo” (Stromsdorfer, 1987).
Os factores que tipicamente concorrem para prejudicar a integridade de um modelo
experimental são tratados mais abaixo, na secção “Pontos fortes e limitações da
abordagem”. É desta forma aconselhável rever as condições metodológicas sob as
A Avaliação do Desenvolvimento Socioeconómico, MANUAL TÉCNICO II: Métodos e Técnicas
A Análise da Informação: Abordagens Experimentais e Quasi-experimentais

quais a abordagem será implementada tendo em conta esses factores antes de se

tomar a decisão de prosseguir. Caso exista uma forte possibilidade da experiência ser
comprometida, poder-se-á obter melhores resultados usando um método “quasi-
experimental” – tratado com mais detalhe abaixo.
Passo 3: Definir as hipóteses a testar; identificar os indicadores-chave da
comparação
Uma vez que o objectivo principal da abordagem experimental é analisar se e de que
formas a exposição a uma dada intervenção ou programa apresenta efeitos
mensuráveis, é vital definir previamente qual o aspecto de "prioridade temporal" em
particular se procura testar e de acordo com que critérios específicos. Se, por
exemplo, o objectivo de uma experiência for analisar a eficácia de um pacote
promocional de saúde, dedicado à redução da transmissão de HIV/SIDA entre os
jovens, poderá ser gerada uma série de hipóteses para efeitos de teste (testes de
hipóteses). Estas podem variar, por exemplo, entre um pressuposto que considere que
a consciencialização da população em "tratamento” aumentará em relação aos riscos
do “sexo desprotegido”, à previsão que haverá uma redução da taxa efectiva de
prevalência de HIV entre a população em “tratamento”. Diferentes hipóteses, e seus
respectivos testes, implicam diferentes critérios de medição. No primeiro caso, por
exemplo, os critérios de medição seleccionados podem basear-se em escalas de
classificação que analisem os graus de conhecimentos da população da amostra em
relação aos processos de transmissão do HIV; no segundo caso, a medição pode
envolver a comparação das taxas efectivas de prevalência de HIV nas comunidades
de onde se formou o grupo de tratamento, em comparação com as taxas de
prevalência em comunidades similares de outros locais.
Passo 4: Atribuição aleatória da população sob investigação em grupos e
implementação do ensaio.
Como já foi referido anteriormente, o objectivo essencial da experiência consiste em
considerar dois diferentes grupos de “inquiridos”: quem está ou foi exposto ao
programa ou intervenção (grupo experimental) e um grupo de controlo, com
características idênticas mas sem exposição à intervenção, que permite determinar o
que aconteceria na ausência da intervenção (Nota: A literatura sobre técnicas
experimentais levanta por vezes algumas dúvidas quanto ao uso do termo “grupos de
controlo/comparação” (control-comparison groups) para denotar “grupos de
controlo/experimentais" (experimental-control groups). No primeiro caso, o grupo de
“controlo” é efectivamente o “grupo experimental”.)
Na prática, o modelo básico de selecção aleatória – conhecido como o “Solomon four-
group model” – envolve quatro “células”, representadas no Quadro 1.

A. Grupo Experimental B. Grupo de Controlo

A1. Pré-teste B1. Pré-teste
A2. Pós-teste B2. Pós-teste

Imagine-se que a experiência envolve a avaliação do impacto de um Programa de

“hothousing” (ensino intensivo) relativo às competências de aprendizagem de um
conjunto de crianças do ensino primário de um determinado bairro de uma cidade. O
procedimento a seguir seria i) identificar e recrutar uma amostra aleatória de, digamos,
cem crianças; ii) administrar um questionário comum às cem crianças (analisando as
competências de alfabetização, estilos de aprendizagem, etc.); iii) dividir a amostra
(mais uma vez, com base numa atribuição aleatória) em dois grupos – um
experimental (ou “de tratamento”) e um de controlo; iv) aplicar o Programa apenas ao
A Avaliação do Desenvolvimento Socioeconómico, MANUAL TÉCNICO II: Métodos e Técnicas
A Análise da Informação: Abordagens Experimentais e Quasi-experimentais

grupo de tratamento; v) aplicar o questionário novamente tanto ao grupo experimental

como ao grupo de controlo.
Passo 5: Comparação dos resultados
No final do ensaio experimental, a informação recolhida durante a fase de
implementação é comparada entre os dois grupos – experimental e de controlo – face
às hipóteses a testar e aos critérios de medição estabelecidos (como referido
anteriormente, no Passo 3). Este procedimento envolverá tipicamente análise de
dados multivariadas tais como a análise de regressão, e técnicas de comparação dos
resultados intra- e inter-grupos (por exemplo, com aplicações do teste estatístico de t
de Student).

Pontos fortes e limitações da abordagem

Como referido anteriormente, o principal ponto forte atribuído às técnicas
experimentais consiste no facto de representarem a abordagem mais rigorosa e
“científica” para a análise de resultados e impactos de uma dada intervenção, e de
inferirem (ou não) uma relação de “causalidade” entre tais intervenções e seus
resultados e impactos. No entanto, são extremamente difíceis de implementar com
sucesso, principalmente devido ao efeito combinado de três factores: efeitos
históricos, efeitos de selecção e efeitos de instrumentalização.
Tome-se como exemplo a avaliação de uma iniciativa para ajudar grupos vulneráveis –
por exemplo ex-presidiários ou toxicodependentes em recuperação – dando-lhes apoio
providenciando alojamento. Os principais objectivos da intervenção são:
ƒ Ajudar os beneficiários (inquilinos) a desenvolver um estilo de vida
independente;
ƒ Reduzir o consumo de estupefacientes nos beneficiários;
ƒ Apoiar os beneficiários com determinados benefícios, acesso ao emprego e
educação
ƒ Apoiar os beneficiários no desenvolvimento de práticas de vida saudáveis.
O método de avaliação escolhido é um ensaio aleatório controlado que envolve uma
amostra de inquilinos seleccionados para participarem no teste – o grupo de
“tratamento”, em comparação com uma amostra populacional com características
demográficas e de estilo de vida semelhantes – o grupo de controlo. Contudo, a
análise dos efeitos do programa sobre os comportamentos dos dois grupos será
provavelmente inibida por:
Efeitos históricos – envolvem a “interferência” de influências externas ou efeitos de
maturação que ocorrem “internamente” como resultado da passagem do tempo, tais
como o envelhecimento dos indivíduos. Neste exemplo de apoio ao alojamento,
podem surgir os efeitos imprevistos de outra iniciativa, não relacionada, direccionada
ao combate à toxicodependência sobre a amostra do “grupo de controlo”.
Efeitos de selecção – envolvem enviusamentos de ordem estatística, resultantes do
facto do grupo de tratamento e do grupo de controlo, apesar de terem sido atribuídos
aleatoriamente, não serem, na realidade, equivalentes do ponto de vista estatístico.
Esta situação poderá ocorrer, com probabilidade, na avaliação do apoio ao alojamento
por duas razões: em primeiro lugar, porque os membros de grupos socialmente
excluídos, como os toxicodependentes, são difíceis de recrutar para estas iniciativas, o
que limita a escolha da amostra; e, em segundo lugar, porque a reduzida dimensão da
A Avaliação do Desenvolvimento Socioeconómico, MANUAL TÉCNICO II: Métodos e Técnicas
A Análise da Informação: Abordagens Experimentais e Quasi-experimentais

amostra aumenta substancialmente a possibilidade (e as implicações) dos testes

revelarem diferenças entre os dois grupos.
Efeitos de instrumentalização – estes ocorrem quando os efeitos do tratamento são
medidos com base no uso de diferentes instrumentos, ou em diferentes condições, de
um grupo para o outro. Esta situação poderá acontecer, por exemplo, se os
participantes do grupo de tratamento receberem alguma forma de incentivo para
participarem, não acontecendo o mesmo com o outro grupo da comparação. Nesta
avaliação, os incentivos poderão ser todavia a única forma de reunir informação sobre
os participantes.
Existem dois problemas adicionais com as técnicas experimentais: os efeitos de atrito
e os tempos de aplicação (attrition and lead times). É quase certo que os ensaios
controlados aleatórios levam ao abandono de pessoas durante o estudo e este atrito
tende a ser mais pronunciado em membros de grupos excluídos. O Program of
Assertive Community Treatment (PACT - Programa de Tratamento Assertivo
Comunitário) é exemplificativo desta situação (Stein e Test, 1980). Durante o período
de um ano, foi efectuado um ensaio aleatório que envolvia duzentos presidiários de
uma grande prisão urbana. Mais de metade do total dos indivíduos inicialmente
atribuídos aleatoriamente no ensaio desistiram antes do fim, sendo a taxa de
desistência mais pronunciada no grupo de controlo: perdeu 73% dos seus
participantes iniciais. Este atrito foi precipitado por uma série de factores: algumas
pessoas recusaram-se a dar o seu consentimento no início, ou mais tarde durante o
estudo (cerca de 10%); outras não puderam ser localizadas depois de saírem da
prisão (19%); outras foram directamente da prisão para outras instituições presidiárias
cumprindo penas mais pesadas (10%). Este atrito põe em causa a validade dos
resultados do ensaio, principalmente devido à resultante falta de comparabilidade
entre os indivíduos sob estas condições, e por se violarem as normas que governam
os modelos estatísticos normalmente adoptados na análise de dados (como a
regressão linear e a análise de variância) (Graham e Donaldson, 1993).
Por outro lado, os longos períodos de tempo necessários para completar um ensaio
experimental (lead times), de modo a adequadamente analisar mudanças de atitudes
e comportamentos, constituem um dos principais problemas metodológicos. É
consensual que as iniciativas comunitárias em áreas como os cuidados de saúde, a
reabilitação e a formação de adultos são iniciativas a longo prazo. Por exemplo, num
seminário sobre Healthy Living Centres (Centros de Vida Saudável), realizado em Abril
de 1998, um dos participantes referiu os catorze anos que os residentes demoraram
até que se apropriassem verdadeiramente das suas próprias oportunidades de
desenvolvimento. Uma das metas implícitas de muitas iniciativas públicas neste tipo
de áreas consiste me encurtar os processos de desenvolvimento que decorreriam no
longo prazo. Isto levanta uma série de problemas aos avaliadores que pretendem
demonstrar resultados atingidos e produzidos dentro do período de duração de uma
avaliação. No mínimo, requer um quadro de avaliação ao longo do ciclo de vida da
intervenção, que dê conta de resultados intermédios, bem como impactos a um prazo
mais alargado, embora esta situação vá aumentar o problema do estabelecimento de
uma relação entre os diferentes elementos na cadeia de causalidade prevista.

Técnicas quasi-experimentais
Existe uma diversidade de formas de abordar os problemas atrás mencionados com
base num “paradigma experimental” mais alargado, tais como os métodos quasi-
experimentais e a modelação estatística. Os métodos quasi-experimentais flexibilizam
as condições impostas pelas distribuições de probabilidade e inferências estatísticas
para a população, impostas pelos modelos de investigação experimental puros,
A Avaliação do Desenvolvimento Socioeconómico, MANUAL TÉCNICO II: Métodos e Técnicas
A Análise da Informação: Abordagens Experimentais e Quasi-experimentais

transferindo o centro de atenção de “causa-efeito” da prioridade temporal para a

associação entre variáveis.
Os métodos mais comuns incluem a utilização de modelos de séries temporais e
modelos de grupos não-equivalentes. Os primeiros implicam uma medição periódica
de um grupo experimental e de controlo durante um determinado período de tempo,
durante o qual é aplicado um tratamento. O segundo tipo de modelos consiste
essencialmente no mesmo que o modelo “clássico” experimental de pré-teste e de
pós-teste, à excepção do facto de as pessoas não são atribuídas aleatoriamente para
as diferentes condições de tratamento. Ao juntar pares de indivíduos dos grupos
experimental e de controlo, com base em características como o género e a idade, tal
permite um certo grau de controlo sobre as variáveis intervenientes a serem
introduzidas no ensaio.
Caixa: Exemplos de métodos quasi-experimentais para a formação de grupos de
comparação

Caixa: Exemplos de métodos quasi-experimentais para a formação de grupos

de comparação
a) Concepção “antes e depois”
Só existe um grupo de indivíduos elegíveis considerado antes e depois da
implementação do programa a avaliar, ou, alternadamente, dois grupos provenientes
da mesma população elegível: um extraído antes da implementação do programa e
outro depois. Este método de concepção tem sido geralmente útil para avaliar
projectos-piloto ou programas nacionais implementados num determinado momento.
O principal aspecto crítico desta metodologia passa pela dificuldade em interpretar
correctamente as mudanças ocorridas entre dois momentos temporais: devem-se ao
programa ou ocorreriam mesmo sem o programa? Outro aspecto crítico relaciona-se
com os desequilíbrios entre os dois grupos. A selecção dos dois grupos, realizada em
diferentes momentos, resulta naturalmente em diferentes factores que afectam os
resultados obtidos (por exemplo, diferentes condições no mercado de trabalho). Além
disso, com este método, torna-se difícil a interpretação de resultados no caso de o
programa avaliado ter sido implementado em simultâneo com outros programas.
b) Modelos de séries temporais interrompidas
Este método apresenta algumas vantagens em relação ao modelo “antes-depois”.
Baseia-se num maior número de observações antes e depois, para que se crie uma
série temporal. A eventual interrupção da série temporal é interpretada como um
impacto do programa.
A informação proveniente da série temporal permite que os resultados sobre as
mudanças ocorridas ao longo do tempo sejam mais sólidos. Contudo, se o programa
avaliado for introduzido ao mesmo tempo que outros programas relacionados, este
método perde igualmente alguma da sua robustez.
c) Diferença nas diferenças/melhorias
Baseia-se na comparação entre as mudanças ocorridas ao longo do tempo no grupo
alvo e num grupo similar não elegível para o programa. A técnica é eficaz se os dois
grupos mostrarem percursos similares no passado até ao momento em que o
programa é implementado. Esta abordagem é difícil de aplicar, uma vez que não é
fácil encontrar um grupo de controlo comparável adequado. Por vezes, a comparação
é feita entre os resultados e não entre os grupos de população.
d) Modelo de comparação “um para um”
Tanto o grupo “do programa” como o de comparação são seleccionados num
A Avaliação do Desenvolvimento Socioeconómico, MANUAL TÉCNICO II: Métodos e Técnicas
A Análise da Informação: Abordagens Experimentais e Quasi-experimentais

momento posterior à implementação do programa. O primeiro é seleccionado entre os

participantes do programa e o segundo é seleccionado entre quem opta por não
participar. Os participantes e os não participantes são cruzados com base na
similaridade para assegurar que os dois grupos são muito semelhantes em termos
das determinantes dos resultados. Um factor crítico neste método é o facto de
existirem sempre diferenças residuais entre os participantes e os não participantes, o
que pode levar a um enviesamento grave na estimação.
e) Modelação estatística da informação existente
Quando um conjunto de dados e informação secundária estiver disponível (como por
exemplo, dados administrativos), é possível considerar todos os não participantes
como grupos de comparação em vez de seleccionar apenas uma pequena amostra e
efectuar depois o controlo das diferenças entre os participantes e os não participantes
por meio de métodos estatísticos. Exemplos destes métodos são a medida ponderada
de propensão ao cruzamento de Kernel, o modelo de selecção de Heckman e o
método das variáveis instrumentais. Todos estes métodos requerem todavia fortes
pressupostos para obter estimativas não enviesadas dos contrafactuais.
f) Modelo de comparação das áreas territoriais da intervenção
Este é o método mais habitualmente usado para a avaliação de programas que são
realizados enquanto experiências piloto em determinadas áreas territoriais antes de
se aplicarem a nível nacional. As áreas em estudo são cruzadas e comparadas com
outras áreas, com base nas suas similaridades. A população elegível para o
programa é acompanhada ao longo do tempo em ambas as áreas e quaisquer
diferenças verificadas são atribuídas ao programa. Este modelo funciona bem quando
se espera que o impacto do programa seja amplo, sendo que qualquer diferença
observada entre o grupo do programa e o grupo de comparação pode ser largamente
atribuída ao programa.

Uma estratégia usada consiste em recorrer a dados disponíveis em estudos já

realizados, em determinados domínios, para modelar estatisticamente os
comportamentos dos grupos-alvo da intervenção. Outra consiste em realizar um
inquérito junto do grupo de comparação antes de iniciar o ensaio. Por exemplo,
suponha-se que é realizada a avaliação de um programa destinado à geração de
emprego para jovens desempregados de longa duração. Por razões de ordem política,
não é possível implementar um ensaio aleatório completo da intervenção. Os
avaliadores podem dirigir-se a uma agência governamental que tenha implementado
uma iniciativa similar no passado e solicitar a disponibilização dos dados sócio-
demográficos existentes, provenientes de tal iniciativa, juntamente com a lista de
candidatos ao ensaio elegíveis, mas que não participaram na intervenção. Esta lista de
candidatos é depois analisada por meio de uma série de medidas com base em
informação sócio-demográfica, juntamente com outras informações sobre as atitudes
face ao emprego. Com base na informação sobre a participação anterior, juntamente
com os dados provenientes da investigação, é desenvolvido um modelo estatístico que
visa identificar previsores da participação, por meio de uma análise Probit (Finney,
1971). Este modelo permite identificar “clusters” ou tipologias com características de
participação e pode fornecer um meio de seleccionar um grupo de comparação que,
teoricamente, será uma boa aproximação da população-alvo e não enviesada face a
um determinado subgrupo.
As abordagens quasi-experimentais são frequentemente apoiadas por técnicas de
modelação estatística, tais como a análise Probit, a análise de sobrevivência e análise
hierárquica de regressão. A análise Probit destina-se a situações em que a regressão
linear seja desadequada ou problemática. Como a regressão logística, pode lidar com
variáveis dicotómicas, e vários diferentes grupos de indivíduos (com características de
A Avaliação do Desenvolvimento Socioeconómico, MANUAL TÉCNICO II: Métodos e Técnicas
A Análise da Informação: Abordagens Experimentais e Quasi-experimentais

distribuição populacional anormais) expostos a diferentes níveis de estímulos. A

análise de sobrevivência permite análises estatísticas de intervalos entre dois eventos,
se o segundo evento não acontecer a todos os indivíduos e se os indivíduos forem
observados em diferentes períodos de tempo (Lee, 1980). Outra técnica estatística
frequentemente usada é a modelação linear hierárquica. Os modelos lineares
hierárquicos são úteis porque ao contrário dos modelos de análise de variância, não
requerem que os elementos do modelo entre indivíduos sejam ortogonais entre si.
Talvez ainda mais importante, tal como Osgood e Smith (1995) referem, a modelação
linear hierárquica pode permitir um teste valioso à eficácia do programa com amostras
muito pequenas, porque transfere a unidade de análise da amostra de pessoas para a
amostra de “ocasiões”, onde os dados são recolhidos de forma continuada durante um
período de tempo significativo.

Bibliografia
Bryk, A. and S.W. Raudenbush. Hierarchical linear models: applications and data
analysis methods. Newbury Park, Sage, 1992.Campbell, D.T. and J.C. Stanley,
Experimental and quasi-experimental designs for research. Chicago, Rand-McNally,
1973.
Cook, T.D. and D.T. Campbell Quasi experimentation: design and analysis issues for
field settings, Chicago, Rand-McNally, 1979
Finney, D.J. Probit Analysis, Cambridge University Press, 1971.
Guba And Lincoln (1989) Fourth Generation Evaluation, Sage Publications
Hughes, J, Philosophy Of Social Research (1990) Longmans group Ltd.
Kuhn, T S (1962); the structure of scientific revolutions University of Chicago Press,
Chicago
Lee, E.T. Statistical methods for survival data analysis, Belmont, 1980.
Moberg, D.P., D.L. Piper, J. Wu and R.C. Serlin When total randomization is
impossible: nested randomised assignment. Evaluation Review, 17:3, 271-91, 1993.
Osgood, D.W. and Smith, G.L. Applying hierarchical linear modelling to extended
longitudinal evaluations: the Boys Town Follow Up study. Evaluation Review, 19,1, 3-
58, 1995.
Overall J.E. and C. Klett. Applied Multivariate Analysis, New York, McGraw-Hill, 1972
Schwarz, D., R. Flamant and J. Lellouch. Clinical Trials, London, Academic Press,
1980.
Seltzer, M.H. Studying variation in program success: a multilevel modelling approach.
Evaluation Review, 18, 3:342-361, 1994.
Solomon, P. and J. Draine, One-year outcomes of a randomised trial of case
management with seriously mentally ill clients leaving jail, Evaluation Review, 19,3,
256-273, 1995.

Palavras-chave

ƒ Validade externa
ƒ Validada interna
ƒ Positivismo
ƒ Atrito
ƒ Efeitos históricos
A Avaliação do Desenvolvimento Socioeconómico, MANUAL TÉCNICO II: Métodos e Técnicas
A Análise da Informação: Abordagens Experimentais e Quasi-experimentais

ƒ Efeitos de instrumentalização
ƒ Ensaio aleatório controlado
ƒ Efeitos de selecção
ƒ Solomon Four Group
ƒ Prioridade Temporal

Validade externa
Qualidade de um método de avaliação que torna possível obter conclusões que
possam ser generalizadas a outros contextos (grupos, áreas, períodos, etc.), e não
apenas o da intervenção que está a ser avaliada. Por exemplo, a avaliação pode
possibilitar concluir que i) nas PMEs directa e indirectamente apoiadas, a intervenção
ajudou a duplicar a taxa de inovação, e que ii) um apoio deste tipo, atribuído a PMEs
noutras regiões, teria exactamente o mesmo efeito. Só a verificação de uma forte
validade externa permite extrapolar a partir das conclusões tiradas durante a
implementação da intervenção avaliada. É particularmente desejável se a avaliação
tiver por objectivo identificar e validar melhores práticas. A validade externa é
igualmente necessária se a avaliação faz uso de conclusões de avaliações realizadas
em intervenções similares.
Validade interna
Qualidade de um método de avaliação que, tanto quanto possível, limita
enviesamentos imputáveis à recolha ou às técnicas de tratamento de dados. Por
exemplo, suponhamos que se conclui que uma intervenção apoiando directa ou
indirectamente PMEs levou à duplicação de taxa de inovação anual em 1.000 dos
postos de trabalho. Este tipo de conclusão será mais sólida se a recolha e a análise
dos dados tiver tido em conta, de forma precisa, todos os aspectos específicos da
intervenção e o seu contexto: categorias das empresas apoiadas, modelos de
inovação específicos da região, etc. Para obter uma melhor validade interna, é
necessário controlar estritamente uma série de parâmetros, caso contrário, poderá ser
criada uma situação artificial que poderá limitar a possibilidade de generalizar as
conclusões (e consequentemente menor validade externa).
Positivismo
A base ontológica e epistemológica subjacente às técnicas experimentais – a crença
de que a “verdade” e a “realidade” só podem ser estabelecidas através da observação
empírica.. Esta objectividade é conseguida através do uso de instrumentos objectivos,
como testes ou questionários.
Atrito – a perda de participantes dos grupos de tratamento e de controlo ao longo da
experiência.
Efeitos históricos – “interferência” de influências externas ou efeitos de maturação
que ocorrem “internamente” como resultado da passagem do tempo, tais como o
envelhecimento pessoal.
Efeitos de instrumentalização – efeitos provocados pelas variáveis intervenientes
que ocorrem quando os efeitos do tratamento são medidos com instrumentos
diferentes, ou sob condições diferentes de um grupo para o outro.
Ensaio aleatório controlado (RCT – Randomised controlled trial) – estudo
experimental prospectivo, em que os efeitos de uma ou mais intervenções são
avaliados através da divisão de uma população em estudo com base numa atribuição
aleatória a um ou mais grupos experimentais e um ou mais grupos de controlo.
A Avaliação do Desenvolvimento Socioeconómico, MANUAL TÉCNICO II: Métodos e Técnicas
A Análise da Informação: Abordagens Experimentais e Quasi-experimentais

Efeitos de selecção – enviesamento de ordem estatística, resultante do facto do

grupo de tratamento e o grupo de controlo, apesar de terem sido atribuídos
aleatoriamente, não serem, na realidade, estatisticamente equivalentes.
Solomon Four-Group – modelo experimental, em que os participantes nos grupos de
tratamento e de controlo são avaliados antes e depois da participação na intervenção.
Prioridade temporal – pressuposto de que uma causa presumível precede um evento
(por exemplo, nos ensaios clínicos, em que a aplicação de um medicamento particular
irá “causar” o alívio de determinados sintomas).