DESENHOS EXPERIMENTAIS, PARTE 1(1) Introduo

Dos vrios mtodos de investigao quantitativa, o mtodo experimental o mais rigoroso para testar hipteses causais. Apesar dos desenhos correlacionais e comparativo-causais poderem sugerir relaes causais entre variveis, a experimentao necessria para determinar se a relao observada do tipo causa-efeito. Muitas experincias em educao empregam alguma forma do desenho clssico de uma varivel. Experincias de uma varivel envolvem a manipulao de uma nica varivel de tratamento, seguida da observao dos efeitos desta varivel em uma ou mais variveis dependentes. A varivel a ser manipulada vai ser referida como o tratamento experimental, mas pode tambm ser designada por varivel independente, varivel experimental ou interveno. A varivel que medida para determinar os efeitos do tratamento experimental usualmente referida como ps-teste, varivel dependente ou varivel critrio. Se esta ltima varivel medida antes da administrao do tratamento experimental, ela toma o nome de pr-teste. Muitas experincias em educao envolvem um grupo que recebe o tratamento experimental e um grupo de comparao que no recebe o tratamento experimental ou recebe um tratamento alternativo. Usamos o termo grupo de controlo para nos referirmos a este ltimo grupo de comparao. A palavra-chave em experimentao estabelecer controlos adequados de modo que qualquer alterao no ps-teste possa ser atribuda apenas ao tratamento experimental que foi manipulado pelo investigador. Como veremos adiante, necessrio controlar muitas variveis estranhas em ordem a permitir uma interpretao inequvoca dos dados experimentais. Apesar deste mtodo constituir um potente desenho de investigao, h, no entanto, factores que podem enfraquecer a potncia de uma experincia. Por um lado, existem potenciais fontes que enfraquecem a validade interna do estudo, isto , at que ponto existem outras variveis, distintas da varivel tratamento, que fornecem explicaes plausveis dos resultados. Por outro lado, existem factores que diminuem a validade externa do estudo, isto , at que ponto os resultados experimentais podem ser
(1)

Sntese e traduo do captulo Experimental Designs, Part 1 de Gall, M. D., Borg, W. R. & Gall, J. P. (1996). Educational research: An introduction (pp. 463-504). New York: Longman Publishers USA.

generalizados. Na figura 12.1 listam-se os principais factores que afectam estes dois tipo de validade. Validade interna 1. Histria 2. Maturao 3. Testagem 4. Instrumentao 5. Regresso estatstica 6. Seleco diferencial 7. Mortalidade experimental 8. Interaco seleco-maturao 9. Difuso do tratamento experimental 10. Rivalidade compensatria do grupo de controlo 11. Egualizao compensatria dos tratamentos 12. Desmoralizao ressentida do grupo de controlo Validade externa Validade da populao 1. Em que medida podemos generalizar da amostra experimental para a populao definida 2. Em que medida as variveis psicolgicas interactuam com os efeitos do tratamento Validade ecolgica 1. Descrio explcita do tratamento experimental 2. Interferncia multi-tratamento 3. Efeito de Hawthorne 4. Efeitos de novidade e de ruptura 5. Efeito do experimentador 6. Sensibilizao do pr-teste 7. Sensibilizao do ps-teste 8. Interaco entre os efeitos de histria e de tratamento 9. Medio da varivel dependente 10. Interaco entre o tempo de medio e os efeitos de tratamento

Validade Interna das Experincias

A tarefa mais difcil na conduo de experincias manter constante ou eliminar todas as variveis estranhas que podem afectar o resultado medido pelo ps-teste. Se esta tarefa conseguida, o investigador pode atribuir, com elevada confiana, os resultados observados (o efeito) varivel tratamento (a causa). A validade interna de uma experincia traduz-se pela extenso com que as variveis estranhas foram controladas pelo investigador, de modo que qualquer efeito observado possa ser atribudo apenas varivel tratamento. Uma varivel estranha qualquer varivel 2

diferente da varivel tratamento que se no for controlada pode afectar o resultado experimental. Se as variveis estranhas no so controladas, no podemos saber se as mudanas observadas no grupo experimental so devidas ao tratamento experimental ou a alguma varivel estranha. 1. Histria. Durante o perodo de tempo em que decorrem os tratamentos experimentais podem ocorrer outros acontecimentos, para alm do tratamento experimental, os quais podem afectar os resultados da experincia. 2. Maturao. Enquanto o tratamento experimental decorre podem ocorrer alteraes fsicas ou psicolgicas dos participantes. Por exemplo, os participantes podem tornar-se mais fortes, cognitivamente mais capazes, mais autoconfiantes ou mais independentes. Para controlar os efeitos da maturao seria necessrio ter um segundo grupo de controlo que no recebesse qualquer tratamento no domnio do estudo. Assim, se o grupo experimental e o grupo de controlo submetido a um tratamento obtivessem ganhos superiores ao outro grupo de controlo, no submetido a qualquer tratamento, concluiramos que as mudanas observadas no se deviam maturao. 3. Testagem. Em muitas experincias educacionais administrado um pr-teste, seguido de um tratamento experimental e, finalmente, de um ps-teste. Se os dois testes so semelhantes, os estudantes podem revelar uma melhoria simplesmente em virtude da sua experincia com o pr-teste. Naturalmente este problema no se coloca quando no administrado um pr-teste. 4. Instrumentao. Pode ser observado um ganho de aprendizagem do pr-teste para o psteste em virtude de ter mudado a natureza do instrumento de medida. Os efeitos de instrumentao so particularmente provveis em experincias envolvendo medies de observaes. Os observadores que avaliam professores ou estudantes antes e depois de um tratamento experimental podem estar dispostos a atribuirem pontuaes mais elevadas da segunda vez, simplesmente porque elesconscientemente ou inconscientementeesperam que ocorra uma mudana. Novamente este problema no se coloca quando no administrado um pr-teste. 5. Regresso estatstica. Sempre que administrado um procedimento de teste-reteste para avaliar uma mudana em consequncia do tratamento experimental, h a possibilidade da regresso estatstica responder pelos ganhos de aprendizagem observados. A regresso estatstica a tendncia para os participantes cujos scores se situem em ambos os extremos de uma varivel obterem scores mais prximos da mdia quando a varivel medida uma segunda vez. Por exemplo, se for seleccionado um grupo de alunos cujos scores so inferiores ao percentil 15, provvel que estes alunos obtenham scores mais elevados quando testados novamente atravs do mesmo teste ou de um teste semelhante, 3

independentemente de terem passado ou no por qualquer interveno. Analogamente, se for seleccionado um grupo de alunos cujos scores so superiores ao percentil 85, provvel que estes alunos obtenham scores mais baixos quando testados pela segunda vez. 6. Seleco diferencial. Nos desenhos experimentais em que usado um grupo de controlo, o efeito do tratamento algumas vezes confundido com outros factores, em virtude da seleco diferencial dos participantes para os grupos experimental e de controlo. A atribuio aleatria dos participantes pelos dois grupos a melhor salvaguarda contra a seleco diferencial. 7. Mortalidade experimental. Podem perder-se alguns participantes da investigao, quer do grupo experimental quer do grupo de controlo, porque eles abandonam o estudo, faltam ao pr-teste ou ao ps-teste ou esto ausentes em algumas sesses. O fenmeno de perder participantes da investigao durante o decorrer de uma experincia conhecido por mortalidade experimental ou desgaste. A mortalidade experimental pode ter origem na doena, no ressentimento dos participantes sobre o que eles percebem como a condio de tratamento menos desejvel ou na percepo de que a experincia demasiado exigente ou ameaadora. Podemos minimizar o problema do desgaste atravs da atribuio aleatria dos sujeitos a cada um dos grupos de tratamento, tornando igualmente desejveis ambos os tratamentos e mantendo registos do absentismo ou do abandono dos participantes de cada tratamento. 8. Interaco seleco-maturao. Esta varivel estranha semelhante seleco diferencial, excepto em que, neste caso, a maturao a varivel de confuso especfica. Por exemplo, suponhamos que a mdia das idades do grupo experimental superior em 6 meses do grupo de controlo. Neste caso, uma superioridade do grupo experimental pode ser atribuda s idades dos alunos, em vez de ao tratamento experimental. 9. Difuso do tratamento experimental. Se a condio experimental percebida como altamente desejvel, relativamente condio de controlo, os membros do grupo de controlo podem procurar ter acesso condio experimental. A difuso do tratamento experimental particularmente provvel se os participantes de ambos os grupos estiverem prximos (e.g., na mesma escola) durante a experincia. Em ordem a evitar a confuso que a difuso do tratamento experimental pode causar no ps-teste, devemos planear a experincia de modo a minimizar o contacto entre os grupos experimental e de controlo. Depois de concluda uma experincia podemos entrevistar alguns ou todos os membros da amostra para determinar se ocorreu, de algum modo, difuso do tratamento experimental.

10. Rivalidade compensatria do grupo de controlo. Esta varivel estranha designada algumas vezes por efeito de John Henry. A rivalidade compensatria envolve uma situao na qual os participantes do grupo de controlo demonstram uma realizao superior quela que usualmente revelam porque percebem que esto em competio com o grupo experimental. Se este fenmeno ocorre, a diferena observadaou ausncia de diferena entre os grupos experimental e de controlo no ps-teste pode ser atribuda motivao no usual do grupo de controlo, e no aos efeitos do tratamento. 11. Egualizao compensatria dos tratamentos. Esta varivel estranha pode ocorrer quando o grupo experimental recebe um tratamento que fornece bens ou servios. Nestas condies, os administradores podem tentar compensar o grupo de controlo dando-lhe bens e servios semelhantes. No caso destas aces afectarem os scores do ps-teste, os investigadores estariam a comparar um tratamento com outro tratamento, em vez de compararem o tratamento com uma condio de controlo. 12. Desmoralizao ressentida do grupo de controlo. Um grupo de controlo pode desencorajar-se se se aperceber que o grupo experimental est a receber um tratamento desejvel que lhes est a ser negado. Em consequncia, a sua realizao no ps-teste ser menor do que seria normal. Por sua vez, o tratamento experimental parecer melhor do que de facto foi, pois a diferena no ps-teste entre os dois grupos foi artificialmente aumentada pela desmoralizao do grupo de controlo. Em resumo, a meta do desenho de um estudo experimental criar um conjunto de condies de tal modo que quaisquer alteraes observadas possam ser atribudas com um elevado grau de confiana ao tratamento experimental, e no a variveis estranhas. A atribuio aleatria e a pr-testagem e ps-testagem so requisitos centrais para criar estas condies.

Validade Externa das Experincias

A validade externa avalia em que medida os resultados de uma experincia podem ser aplicados aos indivduos e contextos para alm daqueles que foram estudados. Validade da populao A validade da populao significa em que medida os resultados de uma experincia podem ser generalizados da amostra estudada para um maior grupo especificado. 1. Em que medida podemos generalizar de uma amostra experimental para uma populao definida. Seleccionando uma amostra aleatria de 125 alunos de uma escola secundria, apenas podemos generalizar para a populao de que foram seleccionados os alunos, ou 5

seja, aos alunos daquela escola secundria particular (populao experimentalmente acessvel). A populao acessvel usualmente local, normalmente prxima do gabinete ou laboratrio do investigador. Frequentemente, o investigador ou o leitor do relatrio de investigao deseja generalizar da populao experimentalmente acessvel para um grupo ainda maior (e.g., todos os alunos do ensino secundrio do pas), isto , para a populao alvo. Esta generalizao, para alm de arriscada, exige que se comparem as duas populaes para determinar em que medida elas so semelhantes a respeito de aspectos crticos. 2. Em que medida as variveis de personalidade interactuam com os efeitos do tratamento. A capacidade dos estudantes, o sexo, extroverso-introverso e nvel de ansiedade so exemplos de varveis de personalidade que podem afectar a generalizao dos resultados de experincias. Validade ecolgica A validade ecolgica avalia em que medida os resultados de uma experincia podem ser generalizados das condies ambientais criadas pelo investigador a diferentes condies ambientais. Se os efeitos de um tratamento podem ser obtidos apenas em condies limitadas ou apenas pelo investigador original, os resultados experimentais tm uma validade ecolgica baixa. 1. Descrio explcita do tratamento experimental. O investigador necessita de descrever o tratamento experimental com suficiente detalhe de modo a que outros investigadores o possam reproduzir. 2. Interferncia multi-tratamento. Ocasionalmente um investigador usar um desenho experimental no qual cada participante exposto a mais do que um tratamento experimental. Suponhamos que cada participante numa experincia recebe trs tratamentos diferentes: A, B e C, tendo-se verificado que o tratamento A produziu uma aprendizagem significativamente superior dos tratamentos B e C. Em virtude do desenho experimental que foi usado, os resultados no podem ser generalizados com confiana a uma situao na qual o tratamento A o nico a ser administrado. A eficcia do tratamento A pode depender da co-administrao dos outros dois tratamentos. 3. Efeito de Hawthorne. O efeito de Hawthorne refere-se a qualquer situao na qual as condies experimentais so tais que pelo simples facto dos indivduos estarem conscientes da sua participao numa experincia, por estarem conscientes da hiptese ou por receberem uma ateno especial melhoram a sua realizao. Em investigao educacional, frequentemente, os experimentadores do uma ateno especial aos

professores e alunos participantes. Este factor, no o tratamento experimental, pode alterar os seus comportamentos. 4. Efeitos de novidade e de ruptura. Um tratamento experimental novo pode ser efectivo simplesmente porque diferente da instruo que os alunos normalmente recebem. O problema recproco ocorre com tratamentos experimentais que rompem com a rotina normal. Este tipo de tratamento pode no ser efectivo inicialmente, mas com o seu uso continuado os participantes podem assimil-lo nas suas rotinas e tornar-se efectivo. 5. Efeito do experimentador. Um tratamento experimental pode ser efectivo ou no efectivo em virtude do investigador particular, professor ou outro indivduo que administra o tratamento. Neste caso os efeitos do tratamento no podem ser generalizados a condies em que seja uma pessoa diferente (frequentemente um professor) a administrar o tratamento. 6. Sensibilizao do pr-teste. Em algumas experincias o pr-teste pode interactuar com o tratamento experimental e, assim, afectar os resultados da investigao. Neste caso, se a experincia repetida sem pr-teste, so obtidos diferentes resultados de investigao. Uma reviso de literatura de Bracht e Glass sobre sensibilizao do pr-teste indicou que este enviesamento mais provvel ocorrer quando o pr-teste uma medida de auto-relato de personalidade ou atitude. Wilson e Richard verificaram que a sensibilizao do pr-teste tambm aconteceu no caso de medidas cognitivas. 7. Sensibilizao do ps-teste. Esta fonte de enviesamento semelhante sensibilizao do pr-teste. Os resultados de uma experincia podem depender da administrao de um psteste. Tal pode acontecer se o ps-teste em si uma experincia de aprendizagem. Nesta situao, quando a experincia repetida sem ps-teste, diminui a eficcia do tratamento. Apesar de plausvel, a sensibilizao do ps-teste no tem sido to estudada como a sensibilizao do pr-teste. 8. Interaco entre os efeitos da histria e do tratamento. Pode argumentar-se que os investigadores no devem generalizar para alm do perodo de tempo em que foi feita a experincia. Uma experincia de avaliao de um mtodo educacional inovador pode ser feita na altura em que os professores esto particularmente desencantados com um correspondente mtodo convencional. Eles podem estar excepcionalmente motivados para demonstrarem a superioridade do novo mtodo. Contudo, passado algum tempo, podemos repetir a experincia e no encontrar diferenas entre os dois mtodos, pois os professores no vem mais o mtodo como inovador. 9. Medio da varivel dependente. A generalizao de uma experincia pode ser limitada pelos pr-teste e ps-teste particulares concebidos para medir os ganhos de realizao ou 7

outra varivel resultado. Por exemplo, os resultados de uma experincia podem generalizar-se atravs de testes de escolha mltipla, mas no a partir de testes de ensaio. 10. Interaco entre o tempo de medio e os efeitos de tratamento. A administrao de um ps-teste em dois ou mais momentos pode resultar em resultados diferentes acerca dos efeitos do tratamento. A prtica usual administrar o ps-teste imediatamente aps os participantes de investigao terem completado o tratamento experimental. As concluses acerca da eficcia do tratamento so baseadas nos resultados desta administrao do psteste. Contudo, se possvel, aconselhvel administrar o mesmo ou uma verso paralela do ps-teste vrias semanas ou meses mais tarde. Bracht e Glass citam vrios exemplos de literatura de investigao em que os efeitos do tratamento se alteraram do primeiro psteste para um segundo ps-teste. Ao definirmos o desenho de uma experincia devemos identificar os contextos educacionais aos quais desejamos generalizar os resultados da experincia. Seguidamente, devemos rever o desenho em termos dos dois factores de validade da populao e dos oito factores de validade ecolgica. Se for identificado algum potencial problema, devemos tentar corrigi-lo; se tal no for possvel, isso deve ser referido no relatrio de investigao para limitar a generalizao dos resultados de investigao. Desenho representativo O desenho representativo um processo para planificar uma experincia de modo que ela reflicta com preciso os contextos da vida real em que a aprendizagem ocorre e as caractersticas naturais dos aprendizes. Neste sentido, o desenho representativo em investigao quantitativa assemelha-se a algumas das prioridades da investigao qualitativa, nomeadamente o estudo do comportamento humano em contextos naturais e uma nfase na perspectiva emic. O interesse do desenho representativo baseia-se em assunes acerca do contexto de aprendizagem e do aprendiz, designadamente: (a) as caractersticas do contexto natural so complexas e interrelacionadas; (b) os seres humanos so processadores activos de informao; (c) os aprendizes, se lhes for permitido, ajustam-se e adaptam-se aos seus contextos; e (d) provvel que qualquer interveno experimental afecte o aprendiz de diversas maneiras. Os desenhos verdadeiramente representativos so muito difceis de atingir em educao. Contudo, Snow sugere compromissos que aumentam a representatividade das experincias, designadamente: 1. Quando apropriado, conduzir a investigao em contextos educacionais actuais ou em outros contextos aos quais desejamos generalizar os resultados.

2. Incorporar vrias variaes de contexto no desenho da experincia. Por exemplo, na avaliao de um novo mtodo de ensino, usar vrios professores em vez de apenas um, estudar diferentes amostras (e.g., urbanas, suburbanas e rurais) em vez de apenas uma. 3. Observar o que que os estudantes fazem durante a experincia. Estas observaes podem mostrar-se teis na interpretao dos resultados (e.g., os estudantes no estiveram atentos ou pareceram distrados por outros acontecimentos). 4. Observar o contexto social em que est ser conduzida a experincia. Tal como no compromisso anterior, os registos da ocorrncia de certos acontecimentos nos contextos educacionais podem ser teis aquando da interpretao dos resultados. 5. Preparar os participantes para a experincia. Pode ser necessria uma preparao mais intensiva para assegurar um transio suave do estado mental actual dos participantes para aquele que requerido pela tarefa experimental. 6. Incorporar um tratamento de controlo que permita aos participantes usarem as suas estratgias habituais de aprendizagem.

Problemas no Desenho de Experincias

Enviesamentos do experimentador O enviesamento do experimentador refere-se s expectativas do investigador acerca dos resultados das suas experincias, os quais no so intencionalmente transmitidos aos participantes, afectando, assim, os seus comportamentos subsequentes. O fenmeno tipicamente ocorre sem a conscincia do experimentador. Os enviesamentos do experimentador parecem constituir uma maior ameaa validade interna das experincias. Para evitar esta ameaa, uma tcnica efectiva consiste em treinar os experimentadores iniciados a trabalhar com os participantes do estudo. Sempre que possvel, o investigador no deve trabalhar directamente com os participantes da investigao. Alm disso, evitar sugerir aos experimentadores, directamente ou indirectamente, que um tratamento melhor do que o outro. Se os investigadores vo longe de mais nas suas tentativas para parecerem neutrais ou mesmo cpticos acerca do tratamento experimental, os participantes podem afastar-se da experincia. Em geral, melhor inicialmente identificar um conjunto de condies em que o procedimento tenha boas chances de funcionar e determinar as condies limite da sua eficcia em experincias subsequentes. Klayman e Ha advogam que em certas condies (e.g., testar hipteses sobre novos programas e mtodos educacionais), os investigadores devem procurar instanciaes que apoiem as suas hipteses e no instanciaes que as refutam.

Fidelidade do tratamento Em alguma investigao experimental, o investigador definido como a pessoa que desenha a experincia e interpreta os dados, e o experimentador definido como a pessoa que administra os tratamentos experimentais e recolhe os dados. Nestes casos, o investigador e o experimentador podem ou no ser a mesma pessoa. A fidelidade do tratamento refere-se ao grau em que as condies do tratamento foram implementadas de acordo com as especificaes do investigador. A fidelidade do tratamento pode ser maximizada atravs de um treino cuidado dos indivduosfrequentemente professoresque vo implementar o tratamento. A fidelidade do tratamento pode ser avaliada, em primeiro lugar, pela escrita de especificaes precisas dos tratamentos experimentais e de controlo. Seguidamente, o investigador deve treinar cuidadosamente os experimentadores no sentido de seguirem as suas especificaes. Finalmente, durante a implementao da experincia, o investigador deve recolher dados sobre o comportamento do experimentador no sentido de determinar a congruncia entre o comportamento e as especificaes. Tratamentos experimentais fortes versus fracos Um dos maiores desafios na investigao experimental administrar um tratamento que seja suficientemente forte para produzir um efeito significativo na varivel dependente. Por exemplo, implementar um novo mtodo de ensino junto de alunos durante apenas uma semana pode ser insuficiente para revelar a superioridade do mtodo. Talvez o grupo experimental pudesse revelar uma realizao superior se a experincia se prolongasse por vrios meses. Naturalmente, medida que aumentamos o vigor de um tratamento, maior a probabilidade de aumentar a complexidade, o tempo e o custo da experincia. Assim, muitos problemas educacionais passveis de serem abordados experimentalmente no podem ser tratados por estudantes investigadores. Atribuio aleatria em experincias Campbell e Stanley, alm de terem identificado factores que afectam a validade externa e interna de experincias, conforme referimos antes, tambm classificaram os desenhos experimentais em diferentes tipos (ver tabela 12.1). Os desenhos com um nico grupo (single-group designs) so aqueles em que no h qualquer grupo de controlo. Por exemplo, o desenho nmero 1 envolve um tratamento experimental (X) seguido por um ps-teste (O) , para um grupo de participantes. O desenho nmero 2 envolve um pr-teste (o primeiro O), depois um tratamento 10

experimental (X) e um ps-teste (o segundo O), novamente para um grupo de participantes. No desenho nmero 3, so administrados vrios pr-testes (cada O antes de X) antes do tratamento experimental (X) e vrios ps-testes depois do tratamento experimental (cada O depois de X) . Tabela 12.1. Desenhos experimentais e suas potenciais fontes de invalidao. Fontes de invalidao Desenho Internas Externas Desenhos com um nico grupo 1. One-shot case study Histria, maturao, seleco Interaco da seleco e XO e mortalidade X 2. One-group pretest-posttest
OXO

Histria, maturao, testagem, instrumentao, interaco da seleco e outros factores Histria

Interaco da testagem e X ; interaco da seleco e X

3. Time-series design

OOOO X OOOO

Desenhos com grupo de controlo e atribuio aleatria 4. Pretest-posttest controlNenhuma group design
R OXO RO O XO O

Interaco da testagem e X

5. Posttest-only control-group
R R

Mortalidade

Interaco da testagem e X

6. Solomon four-group design

R OXO RO O R XO

Nenhuma

Nenhuma

Nota. R =Atribuio aleatria. X = Tratamento experimental. O =Observao, pr-teste e/ou ps-teste.

Nenhuma

Os desenhos com grupo de controlo e atribuio aleatria (control-group designs with random assignment) so aqueles em que h grupo de controlo e em que os participantes so atribudos aleatoriamente pelos grupos experimental e de controlo. A atribuio aleatria no deve ser confundida com a seleco aleatria. A seleco aleatria consiste num procedimento de seleco que assegura que cada pessoa numa populao definida tem a mesma chance de ser seleccionada para fazer parte do estudo. No caso da conduo de uma experincia temos necessidade de atribuir aleatoriamente os indivduos ou outras

11

unidades de amostragem aos tratamentos experimentais. A atribuio aleatria significa que cada unidade de amostragem (e.g., estudante, turma, escola) tem a mesma chance de ser includa em cada condio de tratamento da experincia. Para tal, podemos usar uma tabela de nmeros aleatrios ou qualquer outro mtodo semelhante para atribuir cada participante ao grupo experimental ou ao grupo de controlo. A atribuio aleatria a melhor tcnica disponvel para assegurar a equivalncia inicial entre os diferentes grupos de tratamento, o que essencial para a validade interna da experincia. A atribuio aleatria pode ser facilmente realizada em experincias breves que se desenvolvem em condies de laboratrio. Todavia, a situao muito mais difcil em experincias de campo, conduzidas em escolas, nas casas dos alunos ou noutro lugar. Alm disso, mesmo que inicialmente os grupos sejam equivalentes, porque formados por atribuio aleatria, a equivalncia pode terminar medida que a experincia prossegue, por exemplo, em virtude de um desgaste diferente nos dois grupos. Cook e Campbell identificaram vrios obstculos especficos formao e manuteno de grupos equivalentes de tratamento nas experincias. 1. Impedir o grupo de controlo do tratamento. Se um tratamento percebido como mais desejvel do que o outro, podemos encontrar forte resistncia ao uso da atribuio aleatria. Por exemplo, pode ser o caso de uma experincia planeada para testar como o uso de um sistema de videodisco em computador afecta a realizao de alunos da escola elementar. Para tal, pretendem-se atribuir aleatoriamente 10 turmas (ao grupo experimental) para receber o sistema e 10 turmas (ao grupo de controlo) para trabalhar sem o sistema durante o perodo em que decorre a experincia. Neste caso, os professores podem ver o sistema como algo inovador e excitante, desejando t-lo nas suas salas de aula, opondo-se ao uso da atribuio aleatria. Para ultrapassar esta dificuldade podemos administrar o tratamento experimental ao grupo de controlo depois de concluda a experincia. Muito embora o investigador seja confrontado com um acrscimo de trabalho, ele pode no efectuar qualquer recolha de dados aquando da administrao do tratamento experimental ao grupo de controlo. Contudo, esta possibilidade deve ser ponderada pelo investigador, pois a recolha de dados permite a replicao do estudo, comparando o grupo de controlo nos dois tratamentos a que foi submetido. Uma outra estratgia, desenvolvida por Borg, consiste em proporcionar ao grupo de controlo um tratamento alternativo que eles percebem ser to desejvel como o tratamento experimental. Este tratamento deve ser semelhante ao tratamento experimental na sua durao e procedimento, devendo estar relacionado apenas com um conjunto diferente de variveis dependentes. 12

2. Falhas no procedimento de atribuio aleatria. Uma falha do investigador no procedimento de atribuio aleatria pode resultar em grupos de tratamento no equivalentes. Por exemplo, na seleco aleatria efectuada atravs de uma urna, se no misturarmos bem o seu contedo, podemos obter uma seleco enviesada. Surge outro problema quando a atribuio aleatria efectuada pelo investigador no vista pelos participantes como aleatria. Este problema mais provvel ocorrer quando o investigador bem conhecido dos participantes e estes tm razes para acreditar que o investigador est positivamente ou negativamente enviesado relativamente a alguns participantes. Para evitar esta situao, sugere-se que o investigador arranje uma testemunha credvel para assistir ao processo de atribuio aleatria. Mesmo depois de aleatoriamente constitudos os grupos, podemos descobrir que os grupos no so equivalentes. Neste caso, temos duas alternativas: partindo novamente da amostra total dos indivduos, repetir de novo a atribuio aleatria pelos grupos; ou estratificar a amostra total em relao aos factores que se desejam equivalentes e, seguidamente, efectuar a atribuio aleatria dentro dos estratos pelos grupos. 3. Amostra de pequena dimenso. A probabilidade de que a atribuio aleatria produza grupos equivalentes aumenta com a dimenso amostra em cada grupo. H vrias solues para o problema da atribuio aleatria para dois ou mais grupos. Uma soluo obviamente aumentar a dimenso da amostra. Outra soluo consiste em usar procedimentos de emparelhamento. Finalmente, a terceira soluo considerar a possibilidade de um ou mais grupos de tratamento poderem ser eliminados. 4. Grupos intactos. Um grupo intacto um conjunto de indivduos que devem ser tratados como membros de um grupo definido administrativamente, e no como indivduos (e.g., anos escolares, alunos de um professor e turmas). Suponhamos que pretendemos realizar uma experincia em que o estudante individual a unidade de amostragem apropriada. Para tal, h uma amostra disponvel de 50 estudantes do 4 ano: 25 de uma turma da escola A e 25 de uma turma da escola B. A atribuio aleatria exige que cada estudante seja atribudo, ao acaso, ao grupo experimental ou ao grupo de controlo. Todavia, os directores e os professores usualmente requerem que lidemos com os estudantes como um grupo intacto. Assim, deve ser dado o mesmo tratamento a todos os estudantes da turma, em ordem a preservar intacto o grupo turma. Dada esta situao, podemos optar por aumentar o nmero de turmas da amostra e instituir uma condio de tratamento por turma. Este procedimento deve resultar numa experincia com boa validade externa se (1) as turmas so atribudas aleatoriamente aos grupos experimental e de controlo, (2) o problema da unidade de anlise estatstica for 13

cuidadosamente considerado (ver captulo 5), e (3) os outros obstculos atribuio aleatria, referidos antes, forem evitados.

Desenhos com um nico grupo

O one-shot case study O one-shot case study dificilmente se pode classificar como um desenho experimental. Neste desenho administrado um tratamento experimental e, no fim, administrado um ps-teste para medir os efeitos do tratamento. Este tipo de estudo tem uma validade interna muito baixa, pois no podemos afirmar que houve melhoria (ausncia de pr-teste) nem podemos atribuir possveis mudanas ao tratamento (ausncia de grupo de controlo). Em consequncia, no mnimo, os investigadores que esto limitados ao estudo de um nico grupo de indivduos devem usar o desenho experimental descrito a seguir. Desenho pr-testeps-teste com um nico grupo O desenho pr-testeps-teste com um nico grupo envolve trs etapas: (1) administrao de um pr-teste medindo a varivel dependente; (2) implementao do tratamento experimental (varivel independente); e (3) administrao de um ps-teste que mede novamente a varivel dependente. Os efeitos do tratamento experimental so determinados comparando os scores do pr-teste e do ps-teste. Este desenho de investigao apropriado especialmente quando tentamos alterar uma caracterstica que muito estvel ou resistente mudana. Nestas situaes muito pouco provvel que factores estranhos contribuam para a mudana. Em resumo, este desenho de investigao justificado quando os factores estranhos podem ser estimados com um elevado grau de certeza ou pode assumir-se, com segurana, que so mnimos ou nulos. Em termos de anlise estatstica, podemos recorrer a testes de quiquadrado, a testes no paramtricos ou a testes t para amostras correlacionadas. A escolha de um destes testes resulta da natureza dos dados de que dispomos. Desenho de sries temporais No desenho de sries temporais medido um nico grupo de participantes de investigao em intervalos peridicos, sendo feita a administrao do tratamento experimental entre dois dos momentos de medio. O efeito do tratamento experimental, se existir, indicado por uma discrepncia nas medidas antes e depois do tratamento. Os procedimentos para maximizar a validade interna e para analisar os dados deste tipo de desenho experimental so semelhantes aos usados nos desenhos de um nico sujeito, que sero tratados no captulo 13. 14

Desenhos com grupo de controlo e atribuio aleatria

Discutimos nesta seco dois tipos de desenhos experimentais: o desenho com grupo de controlo e pr-testeps-teste e o desenho com grupo de controlo e ps-teste. Estes desenhos esto entre os desenhos mais comummente usados em investigao educacional. Discutiremos tambm duas variaes destes desenhos: o desenho com grupo de controlo e pr-testeps-teste com emparelhamento e o desenho de uma varivel com mltiplas condies. Desenho com grupo de controlo e pr-testeps-teste A diferena essencial entre o desenho com um nico grupo e o desenho com grupo de controlo que o ltimo envolve pelo menos dois grupos de participantes, um dos quais chamado o grupo de controlo. O grupo de controlo um grupo de participantes que no recebem qualquer tratamento ou recebem um tratamento alternativo ao administrado ao grupo experimental, em ordem a avaliar os efeitos de factores estranhos sobre a realizao dos participantes no ps-teste. No desenho de grupo de controlo, a meta manter as experincias dos grupos experimental e de controlo to idnticas quanto possvel, excepto quanto ao tratamento que lhes administrado. Consequentemente, as mudanas do grupo experimental no ps-teste em relao ao grupo de controlo podem ser atribudas, com segurana, ao tratamento experimental. Se devidamente implementado, o desenho com grupo de controlo e pr-testeps-teste controla efectivamente as oito ameaas validade interna: histria, maturao, testagem, instrumentao, regresso estatstica, seleco diferencial, mortalidade experimental e interaco seleco-maturao. Alm disso, a validade externa deste desenho pode ser afectada por uma interaco entre o pr-teste e o tratamento experimental, isto , o tratamento experimental pode produzir efeitos significativos apenas porque foi administrado um pr-teste. Se pensamos ser provvel que o tratamento experimental seja afectado pelo pr-teste, devemos usar o desenho de grupo de controlo com apenas ps-teste ou o desenho de quatro grupos de Solomon. Esto envolvidas quatro etapas na implementao do desenho com grupo de controlo e prtesteps-teste: (1) atribuio aleatria dos participantes pelos grupos experimental e de controlo, (2) administrao de um pr-teste a ambos os grupos, (3) administrao do(s) tratamento(s), e (4) administrao do ps-teste a ambos os grupos. Em algumas experincias, o grupo de controlo recebe apenas o pr-teste e o ps-teste e no recebe nenhum tratamento. Contudo, noutras experincias, administrado ao grupo de controlo um tratamento alternativo ao tratamento experimental. Neste ltimo caso, a 15

administrao de um tratamento igualmente desejvel, mas diferente do tratamento experimental, evita os outros quatros factores que ameaam a validade interna: difuso do tratamento experimental, rivalidade compensatria do grupo de controlo, egualizao compensatria dos tratamentos e desmoralizao ressentida do grupo de controlo. Anlise estatstica. A primeira etapa na anlise de dados de uma experincia com grupo de controlo e pr-testeps-teste calcular estatsticas descritivas (e.g., frequncias, mdias e desvios padres). O mtodo estatstico prefervel a anlise de covarincia (ANCOVA), no qual as mdias dos grupos experimental e de controlo so comparados no ps-teste e usando os scores do pr-teste como varivel concomitante (covariate). Se os pressupostos subjacentes ANCOVA no podem ser satisfeitos, podemos considerar uma anlise de varincia das mdias do ps-teste. Uma outra possibilidade efectuar uma anlise de varincia de medidas repetidas. Emparelhamento. Uma variao do desenho com grupo de controlo e pr-testeps-teste usar a tcnica de emparelhamento para obter maior preciso na anlise estatstica dos dados. O emparelhamento refere-se seleco dos participantes para os grupos experimental e de controlo de modo que sejam quase equivalentes num pr-teste que mede a varivel dependente ou uma varivel que est muito correlacionada com a varivel dependente. O emparelhamento mais til em estudos em que so usadas pequenas amostras e em que no se esperam grandes diferenas entre os grupos na varivel dependente. Desenho com grupo de controlo e apenas ps-teste Este desenho difere do desenho com grupo de controlo e pr-testeps-teste apenas por no ser administrado um pr-teste para medir a varivel dependente em ambos os grupos. As etapas envolvidas neste desenho so: (1) atribuio aleatria dos participantes pelos grupos experimental e de controlo, (2) administrao do tratamento ao grupo experimental e um tratamento alternativo ou nenhum tratamento ao grupo de controlo, e (3) administrao do ps-teste a ambos os grupos. Este desenho recomendado quanto somos incapazes de localizar um pr-teste adequado ou quando h a possibilidade de o pr-teste afectar o tratamento experimental. Contudo, antes de seleccionarmos este desenho, devemos considerar trs desvantagens possveis deste desenho. Primeiro, a atribuio aleatria pode no ser sucedida na eliminao das diferenas iniciais entre os grupos experimental e de controlo; segundo, no podemos formar subgrupos para determinar se o tratamento experimental tem um efeito diferente nos indivduos de diferentes nveis das variveis medidas atravs do pr-teste; terceiro, quando h um desgaste diferencial durante o decorrer da experincia.

16

Anlise estatstica. Os dados produzidos por este desenho experimental podem ser analisados efectuando um teste t para comparar as mdias dos scores dos grupos experimental e de controlo no ps-teste. Se forem estudados mais do que dois grupos, as mdias dos scores do ps-teste podem ser analisadas atravs da anlise de varincia. Se a distribuio dos scores claramente no normal, deve ser usado um teste no paramtrico. Desenho de uma varivel com condies mltiplas Um desenho de uma varivel com condies mltiplas uma simples extenso dos desenhos com um grupo de controlo. Cada um destes desenhos envolve a atribuio aleatria de uma amostra por dois grupos, mas cada um pode ser ampliado de modo a incluir trs ou mais grupos. A designao de uma varivel indica que os grupos diferem apenas numa varivel, que o tratamento que recebe; a designao de condies mltiplas indica que esto envolvidos mais do que duas condies de tratamento. Por exemplo, para avaliar o impacto do realismo de uma mensagem instrutiva sobre as atitudes das crianas acerca de pessoas com incapacidade, podamos considerar um desenho com cinco tratamentos: (1) conversa de uma pessoa com incapacitada com as crianas, (2) passagem de um filme, (3) passagem de um diaporama, (4) leitura de um texto, e (5) grupo de controlo sem tratamento. Anlise estatstica. Pode ser feita uma anlise de varincia para determinar se as mdia dos scores dos vrios grupos diferem sigificativamente entre si. Seguidamente, podemos recorrer a testes t (follow-up t tests) para comparar as mdias de quaisquer dois grupos entre si. Estas experincias produzem geralmente trs ou mais mdias, ou estatsticas descritivas semelhantes. Consequentemente, o usual teste de significncia nestas experincias uma anlise de varincia univariada ou multivariada, uma anlise de covarincia univariada ou multivariada ou um equivalente no paramtrico.

Erros Algumas Vezes Cometidos na Implementao de Experincias

O investigador 1. Selecciona um desenho experimental que no apropriado para o problema de investigao a ser estudado. 2. No considera variveis que ameaam a validade interna ou externa do estudo, tais como histria, maturao, regresso estatstica e mortalidade diferencial dos participantes de investigao, as quais podem ser responsveis por alteraes atribudas ao tratamento experimental. 3. Generaliza os resultados de investigao a outras situaes e populaes para alm do que justificado pelo desenho experimental e pelos procedimentos de amostragem. 17

4. No toma cuidados para reduzir possveis enviesamentos do investigador. 5. Estabelece um desenho experimental pobre tendo em vista produzir um efeito sobre a varivel dependente. 6. Confunde o conceito da seleco aleatria dos participantes de investigao com o conceito de atribuio aleatria dos participantes pelas diferentes condies de tratamento. 7. Usa o desenho de grupo de controlo e ps-teste com uma pequena amostra de participantes de investigao.

18