Métodos quasi-experimentais

Exemplo de design experimental

Ameaças à validade interna e externa
Exemplos de designs quasi-experimentais e principais
ameaças à validade

Mestrado em Educação FCUL- 2005/2006

Disciplina de Metodologias de Investigação
Cláudia Faria
Diana Boaventura
Design experimental
Design experimental
! Problema
! Hipóteses
! Experiência
Experiência

envolve uma mudança no valor

Variável(eis) independente(s)

que provoca uma mudança

Variável(eis) dependente(s)
Design experimental
O efeito do tratamento é medido no grupo

Grupo experimental

É comparado com o efeito para outro grupo que não

recebeu o tratamento, mas que é em todos os outros
aspectos semelhante ao grupo experimental

Grupo controlo

Devido à possibilidade de o efeito no grupo experimental

ser devido à manipulação e não ao próprio tratamento,
terá de haver um 3º grupo onde é testado o efeito da
manipulação
Grupo de controlo do procedimento
Design experimental
! Exemplo:

! Medir o efeito de uma hormona no

comportamento sexual - os sujeitos experimentais
têm de receber uma injecção
! O efeito da injecção no comportamento sexual
pode ser causado pela hormona, mas também por
outros factores, como o desconforto provocado
pela injecção
! Terá de haver um grupo a quem é dado a injecção
mas sem a hormona
Design experimental
! Exemplo:

! Utilização de simulações em computador na

aprendizagem de ciências
! O efeito da utilização do computador pode por si
só desenvolver outras capacidades
! Teríamos que ter um outro grupo que utilizasse o
computador mas sem simulações
Design experimental
! Replicados
! utilizar vários grupos de cada tipo de forma a ter
uma medida da variabilidade dentro de cada
grupo passível de ser comparada com a
variabilidade entre grupos

! Amostra representativa
! aleatoriedade (selecção e experiências são o mais
semelhantes possível entre os vários grupos)
! dimensão adequada aos objectivos

! variabilidade equivalente à existente na população

em estudo
 Experiências
Influência da herbivoria nas comunidades

! Que factores condicionam os limites de distribuição

vertical
! Qual a influência das lapas no limite superior das algas
vermelhas?
! Comparação dos efeitos da herbivoria em diferentes
escalas espaciais

Boaventura, D.; M. Alexander; P. Della Santina; N.D. Smith, P. Ré, L. Cancela da Fonseca & S.J. Hawkins (2002). The effects
of grazing on the distribution and composition of low shore algal communities on the central coast of Portugal and on the
southern coast of Britain. Journal of Experimental Marine Biology and Ecology, 267 (2): 185-206.
 Design Experimental
Tratamentos
1 Exclusão 2 Meia-rede 3 Controlo
0.5m 0.25m 0.5m
" "

" "

1m 0.5m 1m

+ redes + 1/2 redes - redes

- lapas + lapas + lapas
 Design Experimental
Diferentes escalas espaciais

Portugal Britain

Cabo Raso Estoril Swanage Heybrook Bay

Patch 1 Patch 2 Patch 1 Patch 2 Patch 1 Patch 2 Patch 1 Patch 2

T1 T2 T3
3 treatments x 3 replicates
x3
Experiências
Influência da herbivoria nas comunidades
Experiências
Influência da herbivoria nas comunidades
Ameaças à validade de uma
experiência
Factores que afectam a
validade interna

! As alterações observadas na variável

dependente são de facto devidas ao
efeito da variável independente e não a
outras variáveis?
Ameaças à validade interna
! Exemplo:
! Teste do aproveitamento dos alunos no 1º semestre da
disciplina de metodologia de investigação
! Turmas mistas de didáctica das ciências e didáctica da
matemática
! Durante o 1º semestre os alunos de matemática têm que
apresentar 2 trabalhos escritos, 3 orais e 5 testes #.
! Os alunos de ciências, para além do trabalho desta
disciplina, não têm mais nada para fazer ☺.
! Questão: diferenças nas notas dos dois grupos da turma
podem ser atribuídas ao que cada grupo aprendeu?

História – factos ocorridos em simultâneo com o

teste de uma variável experimental
Aumentar o número de grupos para menor
probabilidade de acontecimentos estranhos
Ameaças à validade interna
! Exemplo:
! Nesta apresentação são solicitadas respostas a perguntas
sobre designs quasi-experimentais
! Avaliação prévia dos conhecimentos dos alunos sobre este
tema dando algumas dicas
! Questão: Pode-se concluir que respostas correctas são
exclusivamente devidas à apresentação?

Testagem – O tratamento repetido ou a testagem do

mesmo sujeito pode influenciar o seu comportamento

Pré-teste não dê conhecimentos adicionais aos sujeitos

Alternar a ordem de apresentação de diferentes tratamentos
Ameaças à validade de uma
experiência
! Exemplo:
! A metade da turma é dito que a metodologia de
investigação vai ser dada de uma forma revolucionária
! Supondo que não existe comunicação entre as duas
metades da turma
! Questão: será que a atenção (e talvez o aproveitamento) irá
ser igual entre as duas metades?

Expectativa – Quando um tratamento é mais

eficaz que um controlo porque os intervenientes
acreditam que seja e actuam em conformidade

“dupla cegueira”
Ameaças à validade interna
! Exemplo:
! Determinar o efeito da aplicação de um conjunto de práticas
pedagógicas inovadoras no aproveitamento dos alunos de
uma Universidade com uma selecção de entrada
particularmente exigente

Selecção – os resultados da investigação podem

ser devidos às próprias características dos sujeitos

Comparar com um grupo controlo

Ameaças à validade interna
! Exemplo:
! Os alunos das ciências têm um teste na sexta feira, às 18h,
no fim da aula de metodologia, sem ter tido intervalo
! Os alunos de matemática têm o mesmo teste de manhã
! Partindo do pressuposto que não existe comunicação entre
os dois grupos
! Questão: Se os resultados forem diferentes nos dois grupos
poderemos concluir que é apenas devido a diferenças no
aproveitamento?
Maturação – processos vividos pelos
participantes decorrentes da passagem do tempo
(ex. ficar mais velho, cansado, com fome)

grupo de controlo que passa pelos mesmos

processos/situações
Ameaças à validade interna
! Exemplo:
! Alunos com melhor e pior aproveitamento num determinado
teste
! Independentemente do tratamento em qualquer pós-teste
existirá tendência para que os resultados dos melhores
alunos diminuam e os dos piores aumentem

Regressão estatística – quando os grupos são

escolhidos com base nos valores extremos de uma
variável

ter um termo de comparação (alunos com

aproveitamento médio)
Ameaças à validade interna
! Exemplo:
! Testar o efeito de actividades de conversação na
aprendizagem de uma língua estrangeira
! No fim do curso apenas ficaram aqueles que eram à partida
mais comunicativos

Mortalidade – perca diferencial de sujeitos durante

a realização da experiência

características prévias dos que saíram

obter dados dos que saíram
Ameaças à validade interna
! Exemplo:
! Numa investigação sobre comportamentos de indisciplina
utilizar diferentes observadores
! Consideram “o aluno levantar-se sem autorização” um acto de
indisciplina?
! Um investigador fazer observações sobre o comportamento
dos alunos antes e depois de se ter familiarizado com o
tema ou com os sujeitos em estudo

Instrumentação – problemas na fiabilidade ou

consistência nos instrumentos ou no processo de
recolha de dados
Operacionalizar as definições
Teste intra- e inter-observador
Validade externa
! Factores que afectam a representatividade
das conclusões de um estudo, ou seja, a
possibilidade de generalizar:

! Amostra representativa da população em estudo

! Amostra aleatória

! Qualquer falha na validade interna vai afectar a

validade externa porque os resultados vão ser
relativos àquela situação particular
Métodos quasi-experimentais

Exemplos de designs
Principais ameaças à validade
Métodos quasi-experimentais
Características e aplicações

! Não controlam todas as fontes de distorção

! Aplicam-se quando não é possível uma

selecção aleatória dos sujeitos
! Na investigação em educação é possível que a
escola:
! Não permita que as turmas sejam desfeitas ou divididas
para proporcionar amostras aleatórias
! Não permita que um tratamento seja dado a umas
turmas e a outras não
Métodos quasi-experimentais
Design das séries temporais

O1 O2 O3 O4 X O5 O6 O7 O8
O – observação
X –“tratamento”

! Características:
! Não tem grupo de controlo
! Utiliza uma série de pré- e pós-testes
Métodos quasi-experimentais
Design das séries temporais
! Exemplo:
! Foi registada a evolução
do número de aulas sem
incidentes agressivos por
parte dos alunos antes e
depois de se ter tido uma
discussão colectiva
desses mesmos
incidentes
! Linhas C e D é impossível
inferir qualquer efeito devido
aX
! Linhas A e B é possível
inferir que há efeito que
ocorre entre O4 e O5
possivelmente devido a X
Métodos quasi-experimentais
Design das séries temporais

! Ameaças à validade interna

! História – possibilidade de ocorrência de

um ou mais acontecimentos em simultâneo
com X
Métodos quasi-experimentais
Design das séries temporais
! Controlo da validade interna
! Maturação – não justifica a alteração que se deu
apenas entre O4 e O5

! Testagem – porque a exposição repetida leva à

adaptação ou à ausência de sensibilização

! Regressão, selecção e mortalidade – utilizam-se os

mesmos sujeitos
Métodos quasi-experimentais
Design das amostras temporais equivalentes
X1 O1 X0 O2 X1 O3 X0 O4
O – observação
X1 – “tratamento1”
X0 – “tratamento0 ”
! Características:
! Não tem grupo de controlo
! Os sujeitos são expostos ao tratamento de forma sistemática

! Exemplo:
! Uma professora de arte vai determinar o efeito de uma visita
de estudo a um museu na aprendizagem
! X1 – ida ao museu
! X0 - aula dada normalmente
! O - teste
Métodos quasi-experimentais
Design das amostras temporais equivalentes

! Ameaças à validade interna

! Efeito reactivo da ordem – só poderá ser

controlado quando temos mais do que um
grupo em que se aplica o tratamento e
observação numa ordem diferente
Métodos quasi-experimentais
Design das amostras temporais equivalentes

! Controlo da validade interna

! História – porque é altamente improvável que um
acontecimento estranho ocorra em simultâneo
com todas as aplicações do tratamento
! Maturação – afecta igualmente o tratamento e a
ausência de tratamento
! Testagem – porque a exposição repetida leva à
adaptação ou à ausência de sensibilização
! Regressão, selecção e mortalidade – utilizam-se os
mesmos sujeitos
Métodos quasi-experimentais
Design do grupo de controlo não equivalente
O1 X O2 grupo experimental
-------------------- grupos intactos
O3 O4 grupo de controlo
O – observação
X – “tratamento”
! Características:
! Design mais utilizado na investigação em educação
! Tem grupo de controlo
! Participantes não são seleccionados aleatoriamente (grupos
intactos, ex. turmas)
! Ambos os grupos fazem pré- e pós-teste
! É possível utilizar este design com mais de 2 grupos
! É possível todos os grupos receberem tratamento em vez de
ter um controlo sem tratamento
Métodos quasi-experimentais
Design do grupo de controlo não equivalente

! Ameaças à validade interna

! Devido à falta de selecção aleatória a principal
ameaça é que as diferenças que surjam na
experiência sejam devidas às características dos
grupos e não ao tratamento
implica

! Realização de um pré-teste para demonstrar que

os grupos são equivalentes em relação às
variáveis relevantes (e.g. idade, sexo, etc.)
Métodos quasi-experimentais
Tarefa 1

Objectivo: determinar o efeito da utilização de

apresentações em power-point na
aprendizagem em metodologias de
investigação

Amostra: 2 turmas de alunos do mestrado de

educação 2006/2008
Métodos quasi-experimentais
Tarefa 1
! Procedimento?
! Cuidados a ter?

Metade da turma: aplicar o design das amostras temporais

equivalentes
X 1 O1 X 0 O2 X 1 O3 X 0 O4

Metade da turma: aplicar o design do grupo de controlo não-

equivalente
O1 X O2
-------------
O3 O4
Métodos quasi-experimentais
Desenho do grupo de controlo não equivalente
! A) Design das amostras temporais equivalentes

! Procedimento:
! Alternar aulas com e sem power-point sobre
temas semelhantes às 2 turmas
! Cuidados a ter:
! Alternar a ordem de apresentação de cada tipo de
aula
! dentro de cada tema para a mesma turma
Métodos quasi-experimentais
Desenho do grupo de controlo não equivalente
! B) design do grupo de controlo não equivalente
! Procedimento:
! Dar aulas com power-point a 1 turma
! Dar aulas sem power-point a 1 turma
! Cuidados a ter:
! Fazer a avaliação de cada turma de forma a determinar
previamente as semelhanças e diferenças entre elas:
! Em termos de variáveis externas (idade, formação, etc.)
! Aplicar um pré-teste a cada turma de forma a determinar
previamente as semelhanças e diferenças entre elas:
! Em termos de conhecimentos prévios sobre metodologias de
investigação
 Métodos quasi-experimentais
Tarefa 2- Estudo de Meichtry, 1992 *
! Objectivo: perceber se um determinado programa de
ciências influencia o conhecimento com que os
estudantes ficam da natureza da ciência

! Amostra: 1607 alunos do 6º, 7º e 8º anos

! Procedimento:
! avaliação do conhecimento de 1004 alunos de uma escola
antes e depois da aplicação do novo programa
! avaliação do conhecimento de 603 alunos doutra escola (com
alunos de igual status socio-económico e etnia) antes e depois
da aplicação do programa tradicional
! acompanhamento da prática de todos os professores
envolvidos

* Meichtry, Y.J. 1992. Influencing student understanding of the nature of Science: data from a case of
curriculum development. Journal of Research in Science Teaching, 29 (4): 389-407.
 Métodos quasi-experimentais
Tarefa 2- Estudo de Meichtry, 1992*
! Identifica o design do estudo
! Que tipo de grupo(s) existe(m) neste design?
! Quais as variáveis que foram controladas? Porquê?
! Qual a necessidade de acompanhar a prática de todos os
professores?

Expectativa - não sabemos se os

alunos foram informados que estavam
a ser sujeitos a um novo programa

* Meichtry, Y.J. 1992. Influencing student understanding of the nature of Science: data from a case of
curriculum development. Journal of Research in Science Teaching, 29 (4): 389-407.
Bibliografia
! Boaventura, D.; M. Alexander; P. Della Santina; N.D. Smith, P. Ré, L.
Cancela da Fonseca & S.J. Hawkins (2002). The effects of grazing on
the distribution and composition of low shore algal communities on the
central coast of Portugal and on the southern coast of Britain. Journal
of Experimental Marine Biology and Ecology, 267 (2): 185-206.
! Campbell, D.T. & J. Stanley 1963. Experimental and quasi-experimental
designs for research. Houghton Mifflin Company, Boston.
! Gall, M.D.; W.R. Borg & J.P. Gall 1996. Educational research. An
introduction. Longman Publishers USA. New York.
! Meichtry, Y.J. 1992. Influencing student understanding of the nature of
Science: data from a case of curriculum development. Journal of
Research in Science Teaching, 29 (4): 389-407.
! Tuckman, B.W. 2005. Manual de investigação em educação. Fundação
Calouste Gulbenkian, Lisboa.