Você está na página 1de 77

Métodos de

Investigação
Científica

1º Semestre – 1º Ano
Mestrado
2022/2023
Inês Matias
1
Avaliar o índice de experiências
O processo de investigação traumáticas em presos preventivos vs.
Para responder a questões interessantes precisamos de dados. Qual foi a experiência deles, que insights tem dos eventos
traumáticos que passaram
Quando trabalhamos com números, com construtos
mensuráveis – Métodos Quantitativos → grande nº de dados
e participantes para obter dados representativos da pop. É um O início do processo de investigação
tipo de estudo mais superficial. Data Initial Observation (Research Question)
Quando trabalhamos com linguagem ou discursos, perceções, Com base num tema que nós gostamos, no que é que é útil e para
quem é que é útil
experiências – Métodos Qualitativos → amostra menor, mas
com um processo mais moroso, com entrevistas, focus group. Generate theory
Identify variables Generate hypothesis Measure variables H0, hipótese nula, é especificada como a ausência de efeito (ausência
de diferença entre grupos, ausência do fenómeno).

H1, hipótese alternativa, é especificada como a existência de efeito


Collect data to test theory Graph data/fit a model Analysis data (existência de diferenças entre grupos). Geralmente corresponde à
hipótese experimental ou hipótese de investigação.

Estudos exploratórios tendem a ser qualitativos, são muito preliminares, não há grande teoria que
suporte .

Teoria: é um princípio geral hipotetizado ou conjunto de princípios que explicam factos conhecidos
acerca de um tópico e a partir da qual se podem gerar novas hipóteses.

Hipóteses: uma predição dentro de uma teoria.


→ Para testar hipóteses precisamos de variáveis

Variáveis: aquilo que queremos medir, qualquer coisa que pode ser medida e pode diferir:

• Entre pessoas – QI, comportamento

2
• No espaço – Taxa de desemprego em Portugal ou na Índia

• No tempo – Humor, lucro, nº de células cancerígenas

A maioria das hipóteses são propostas em funções de 2 tipos de variáveis

• Uma variável de causa → Variável Independente

• Uma variável de resultado → Variável Dependente

Variável Independente (VI) e Variável Dependente (VD) são conceitos muito ligados a métodos
experimentais – estudos onde se manipula a causa.

No entanto, nem sempre se pode manipular as variáveis

P.e., se queremos perceber se o tabaco causa cancro de pulmão

Neste caso, podemos usar métodos correlacionais e em vez de VI e VD será preferível falar de
Preditor(es) e Outcome(s)/Resultado(s)

Em suma:

• Variável Independente: uma variável pensada para ser a causa de um efeito. Este termo é
geralmente usado na investigação experimental para nos referirmos a uma variável
manipulada na investigação

• Variável Dependente: uma variável pensada para ser afetada por mudanças na variável
independente. Podemos pensar nesta como um outcome/resultado
• Variável Preditora: uma variável pensada para predizer uma variável de outcome/resultado.

Trata-se de outro termo para variável independente • Variável de outcome/resultado: uma


variável pensada para variar em função de mudanças na variável preditora. Este termo pode ser
sinónimo de “variável dependente”

Os passos de uma investigação


1. Definição de um problema e/ou questão de Investigação
2. Revisão bibliográfica aprofundada (pode levar a uma alteração da questão de investigação)
3. Formulação das hipóteses
4. Definição do Plano ou Design da Investigação (depende da QI) 5. Recolha de dados (+
direta, no terreno; ou + indireta, análise documental) 6. Análise dos dados
7. Interpretação dos resultados obtidos e integração no respetivo domínio de Investigação

3
8. Divulgação dos resultados

Questões de investigação
É a pergunta em torno da qual se centra uma investigação, é a estrutura para tudo o resto

Deve ser:

• Clara: fornece especificações suficientes para que o seu público possa facilmente compreender o
seu propósito sem precisar de explicações adicionais

Clareza:

Como devem os sítios de redes sociais abordar os danos que causam?

Que medidas devem tomar os sítios de redes sociais como o MySpace e o Facebook
para proteger as informações pessoas e a privacidade dos utilizadores?

• Focada: é suficientemente especifica para poder ser respondida minuciosamente no espaço que a
tarefa de escrita permite

Foco:

Qual é o efeito do aquecimento global sobre o ambiente?

Qual é o efeito mais significativo do derretimento glacial na vida dos pinguins na


Antártida?

• Concisa: é expressa com o menor nº de palavras possível

• Complexa: Não se responde com um simples “sim” ou “não”, mas requer síntese e analise de
ideias e fontes, antes da composição de uma resposta

Complexidade:

Como é que os médicos abordam os diabetes nos EUA?

Que principais fatores ambientais, comportamentais e genéticos predizem o


desenvolvimento da diabetes em americanos.

• Discutível: as suas respostas potenciais são abertas ao debate e à reflexão e não factos aceites

4
Passos para o desenvolvimento de uma questão de investigação 1. Escolha um tema geral
interessante: escolha um tópico amplo sobre o qual gostaria genuinamente de saber mais
2. Faça alguma pesquisa preliminar sobre o seu tema geral: faça algumas pesquisas rápidas em
revistas atuais sobre o tópico para ver o que já foi feito e para ajudar a restringir o seu foco.
Que questões estão os investigadores/as a discutir, quando se trata do seu tópico? Que
questões lhe ocorrem ao ler estes artigos?
3. Considere o seu público: Para a maioria dos artigos, o público será académico, mas tenha
sempre em mente o seu público ao desenvolver a sua pergunta. Estaria esse público
interessado na pergunta que está a desenvolver?
4. Comece a fazer perguntas: tendo em consideração o exposto, comece a fazer-se perguntas
abertas “como” e “porquê” sobre o seu tópico 5. Avalie a sua pergunta em função dos critérios
anteriores
a. A pergunta de investigação é clara?
b. A pergunta de investigação está focada?
c. A pergunta de investigação é complexa?
6. Comece a investigação: Depois de formulada a pergunta, pense nos possíveis caminhos que a
pesquisa poderia tomar. Que fontes deve consultar ao procurar respostas para a sua pergunta?
Que processo de pesquisa irá garantir que encontrará uma variedade de perspetivas e respostas
à sua pergunta?

Exemplos de Questões de Investigação:


1. A ansiedade face a exames está relacionada com a dificuldade da matéria em avaliação?
2. Há diferenças entre alunos de Cursos de Engenharia e alunos de Cursos de Ciências Sociais e
Humanas ao nível da ansiedade face a exames? 3. Há diferenças entre a ansiedade sentida uma
semana antes de um exame e a ansiedade sentida 24 horas antes do mesmo?

Das questões de investigação para as hipóteses:


A hipótese, enquanto proposição que define uma possível relação entre duas variáveis, pode apontar
para 3 tipos de relações entre estas:

a. Associação entre 2 variáveis;

Questão de Investigação 1: Hipótese de Investigação 1:

•A ansiedade face a exames está relacionada com •A ansiedade face a exames está associada à
a dificuldade da matéria em avaliação? dificuldade da matéria em avaliação.
5
b. Diferenças entre 2 (ou mais grupos numa determinada variável;

Questão de Investigação 2: exames?


Hipótese de Investigação 2:
•Há diferenças entre estudantes de Cursos de
Engenharia e estudantes de Cursos de Ciências •Os/as estudantes de Cursos de Engenharia diferem
Sociais e Humanas ao nível da ansiedade face a dos/as estudantes de Cursos de Ciências Sociais e
Humanas em termps de ansiedade face a exames.

Se a teoria não me permitir dizer em que sentido os dois


grupos diferem, eu posso não mencionar o sentido.

c. Diferença entre 2 (ou mais) momentos temporais ou condições experimentais


numa determinada variável.

Questão de Investigação 3: Trabalho prático:


Hipótese de Investigação 3:
•Há diferenças entre ansiedade sentida uma semana
antes de um exame e a ansiedade sentida 24h •A ansiedade face a exames sentida uma semana
antes do mesmo? antes é diferente daquela sentida sentida 24h antes
do mesmo.

Tópico de investigação: Impacto da violência conjugal, competências socio emocionais das crianças

Questão de Investigação: Poderá a violência conjugal entre os cuidadores ter impacto no


desenvolvimento das competências socio-emocionais de crianças que frequentam o primeiro ciclo?

Objetivos do estudo: verificar se a violência conjugal entre os cuidadores tem impacto no


desenvolvimento socio-emocional de crianças que frequentem o primeiro ciclo e em que sentido se
manifesta este efeito.

Hipótese:

H1: A violência conjugal entre cuidadores impacta o desenvolvimento socio emocional em crianças
que frequentem o primeiro ciclo.

H2: A violência conjugal entre cuidadores impacta negativamente o desenvolvimento socio-emocional


em crianças que frequentem o primeiro ciclo.

Correção: delimitar crianças por idade cronológica e não por ano escolar.

6
Tipos de Investigações

Antes de começar o trabalho, é preciso decidir como projetar o estudo, que tipo de estudo vamos fazer.

O design da investigação refere-se à estratégia geral para integrar os diferentes componentes do
estudo de maneira coerente e lógica, garantindo assim que a questão de investigação será efetivamente
explorada.

Constitui o modelo para a recolha e análise de dados. Os tipos de estudos dão-nos o mapa para
assegurar a consistência do trabalho.

O problema ou questão de investigação determinam o tipo de design - não o contrário, não partimos do
design para o tema! É a partir da questão de investigação que escolho o design de modo a chegar à
resposta que pretendo.

Função de design de investigação


Garantir que as evidências obtidas permitem tratar e responder efetivamente ao problema de
investigação de maneira lógica e inequívoca.


Um erro comum cometido nos estudos é serem iniciados muito cedo, antes de se pensar criticamente
sobre quais as informações necessárias para responder à questão de investigação, p.e., qual a
metodologia mais adequada, o que pode comprometer a validade geral do estudo.
Tipos de Investigação

Investigação-ação Histórico

Estudo de caso Longitudinal

Causal Meta-análise

Coorte Misto

Transversal Observacional

Descritivo Filosófico

Experimental Sequencial

Exploratório Revisão sistemática

Não falámos dos cinzentos.

Os tipos de estudos não são, na sua maioria, mutuamente exclusivos (com a exceção do transversal e o
longitudinal).

7
Design de investigação-ação
Definição e objetivo
• É adotada uma postura exploratória, na qual se desenvolve a compreensão de um problema e o
plano contempla alguma forma de intervenção. Não estamos unicamente a investigar, há uma
componente de intervenção.

• A intervenção é realizada [a "ação"], durante a qual as observações pertinentes são recolhidas de


várias formas. As novas estratégias de intervenção são executadas e esse processo cíclico pode
repetir-se, até que seja alcançado um entendimento suficiente para o problema. Não é uma
questão de investiguei e faço algo no final, há uma sequência, p.e. aplicar uma intervenção,
investigar resultados e ajustar a intervenção e assim por ai adiante num ciclo.
• O protocolo é de natureza cíclica e visa promover uma compreensão mais profunda de uma
determinada situação, começando com a concetualização do problema e passando por várias
intervenções e avaliações

O que estes estudos nos dizem?


1. Trata-se de um projeto de pesquisa colaborativo e adaptável que se adequa ao uso em situações
de trabalho ou da comunidade – problemáticas de ação. 2. O design é pragmático e orientado por
soluções, em vez de testar teorias – queremos testar e influenciar práticas, não ver se A se relaciona
com B. 3. Tem o potencial de aumentar a quantidade de informação retirada da experiência –
trata-se de um ciclo de aprendizagem.
4. Os estudos de investigação-ação geralmente têm relevância direta e óbvia para melhorar a
prática e fundamentar mudanças.

O que estes estudos não nos dizem?


1. É mais difícil de realizar do que investigações convencionais porque se assumem
responsabilidades de investigar o tópico, mas também promover mudanças – mais complexos
de implementar, sendo por isso menos utilizados em teses de mestrado.
2. O processo cíclico de alcançar os dois resultados de ação e investigação é demorado e complexo
de conduzir.
3. Defender mudanças geralmente requer adesão dos participantes do estudo. Tipo de estudo

exigente de tempo e no terreno

Design de estudo de caso


Definição e objetivo
• É o estudo aprofundado de um problema de investigação específico. Estudo em profundidade de
1 questão apenas.

8
• É frequentemente usado para restringir um campo muito amplo de pesquisa a um ou alguns
exemplos facilmente pesquisáveis ou paradigmáticos. Temos uma realidade que achamos
possível ser bem compreendido em profundidade através de 1 pessoa paradigmática, i.e. que
represente explicitamente e bem a população/ fenómeno em questão

• Pode ser útil para testar se uma teoria ou um modelo específicos se aplicam realmente a
fenómenos no mundo real.

• Pode ser útil quando se sabe muito pouco sobre um problema ou fenómeno

O que estes estudos nos dizem?


1. Compreensão de uma questão complexa por meio de uma análise contextual detalhada de um
número limitado de eventos ou condições e as suas relações, geralmente casos específicos e
raros.
2. Podem-se aplicar uma variedade de metodologias – entrevistas, observações, formas
documentais, etc. – e fontes - pais, professores, etc. – para investigar um problema.
3. As ciências sociais fazem uso deste tipo de investigação para examinar situações
contemporâneas da vida real e fornecer a base para a aplicação de conceitos e teorias e para a
extensão de metodologias.

O que estes estudos não nos dizem?


1. Um único ou um pequeno número de casos oferece pouca robustez para estabelecer
confiabilidade ou para generalizar os resultados para uma população mais ampla.
2. A intensa exposição ao estudo do caso pode influenciar a interpretação dos dados.
3. O design não facilita a avaliação de relações de causa-efeito. 4. Informações essenciais podem
faltar, tornando o caso difícil de interpretar. 5. O caso pode não ser representativo ou típico do
problema maior que está a ser investigado.
6. Se o caso foi selecionado por representar um fenómeno muito incomum ou único, então a
interpretação dos resultados só se pode aplicar a esse caso particular.

Design causal
Definição e objetivo
• Trata-se da compreensão de um fenómeno em termos de formulações do tipo: "Se X, então Y." -
procura da relação entre duas variáveis

• É usado para medir o impacto que uma mudança específica terá sobre normas e suposições
existentes.

9
• Grande parte das ciências sociais procuram explicações causais que reflitam testes de hipóteses,
nomeadamente a variação num fenómeno - variável independente - resultar, em média, na
variação de outro fenómeno - variável dependente.

O que estes estudos nos dizem?


1. Estes estudos ajudam a entender porque é que o mundo funciona da maneira que funciona
através do processo de provar um nexo causal entre variáveis e pelo processo de eliminação de
outras possibilidades.
a. Ex: Em que medida é que experiências adversas leva a características de psicopatia.
2. A replicação é possível.
3. Há maior confiança de que o estudo tenha validade interna (robustez e fiabilidade dos dados
responderem àquilo que queremos) devido à seleção sistemática de indivíduos e equiparação
dos grupos que estão a ser comparados.

O que estes estudos não nos dizem?


1. Nem todos as relações são casuais! Existe sempre a possibilidade de que dois eventos não
relacionados pareçam estar relacionados, por meio de mediação por outros fatores.
2. Conclusões sobre relações causais são difíceis de determinar devido a uma variedade de
variáveis estranhas e confusas que existem num ambiente social. Isso significa que a
causalidade só pode ser inferida, não inequivocamente comprovada.

Design experimental
Definição e objetivo
• Comparação entre dois grupos
• Orienta-se por um plano do procedimento que visa manter o controle sobre todos os fatores que

podem afetar o resultado de uma experiência. • É frequentemente usado quando há uma relação
causal e consistência nessa relação (a causa precede o efeito e resulta sempre no mesmo efeito) e a
magnitude da correlação é grande.

• Um estudo experimental clássico especifica um grupo experimental e um grupo de controle. A


Variável Independente é administrada ao grupo experimental e não ao grupo controle, e ambos
os grupos são medidos na mesma Variável Dendente.

• Estudos experimentais subsequentes introduziram a possibilidade de usar mais grupos e mais


medidas durante períodos mais longos.

• Devem ter controle, randomização e manipulação.

10
Em termos éticos não é justo por uma questão de sorte que as pessoas dos grupos de
controlo não possam ter acesso a uma intervenção que se prova ser benéfica. Após os
estudos deve-se então perguntar se o grupo de controlo quer passar por essa intervenção.

O que estes estudos nos dizem?


1. Estudos experimentais permitem o controle da situação e que se responda à pergunta: "O que
faz com que algo ocorra?"
2. Permite identificar as relações de causa e efeito entre as variáveis e distinguir os efeitos do
placebo dos efeitos do tratamento.
3. Permitem a limitação de explicações alternativas e permitem inferir relações causais diretas.

O que estes estudos não nos dizem?


1. O design é artificial e os resultados podem não ter uma generalização adequada ao mundo real -
os contextos artificiais podem alterar os comportamentos ou respostas dos participantes.
2. Podem ser caros se forem necessários equipamentos ou instalações especiais. 3. Algumas
questões de investigação não podem ser estudadas experimentalmente por razões éticas ou
técnicas.
4. É difícil incorporar métodos etnográficos e outros métodos qualitativos a estudos experimentais.

Design Longitudinal
Definição e objetivo
• Um estudo longitudinal segue a mesma amostra ao longo do tempo, em vários momentos e faz
observações repetidas, para perceber se há alguma mudança e qual a evolução do fenómeno.
Por exemplo, o mesmo grupo de pessoas é entrevistado em intervalos regulares, permitindo
que o estudo acompanhe as mudanças ao longo do tempo e as relacione com variáveis que
podem explicar as mudanças ocorridas.

• Descrevem padrões de mudança e ajudam a estabelecer a direção e a magnitude das relações


causais. As medições são tomadas em cada variável ao longo de dois ou mais períodos de
tempo distintos. Isso permite a medição da mudança nas variáveis ao longo do tempo.
O que estes estudos nos dizem?
1. Facilitam a análise da duração de um determinado fenómeno.

11
2. Permitem a aproximação ao tipo de explicações causais geralmente só atingíveis com estudos
experimentais.
3. Permite a medição de diferenças numa variável de um período para outro [ou seja, a descrição
dos padrões de mudança ao longo do tempo].

O que estes estudos não nos dizem?


1. O método de recolha de dados pode mudar ao longo do tempo por imposições externas. Isto não
é desejável e pode levar ao aumento da mortalidade.
2. Manter a integridade da amostra original pode ser difícil.
3. Muitas vezes precisa de dados qualitativos para explicar as flutuações nos resultados.
4. Assume que tendências atuais continuarão inalteradas.
5. Pode levar um longo período de tempo para reunir resultados. 6. Há necessidade de ter uma
amostra grande e rigorosa para alcançar a representatividade.

Design Transversal
Definição e objetivo
• Estudos transversais têm três características distintivas:
o sem dimensão de tempo;
o foco nas diferenças existentes em vez das mudanças após intervenção; o e, os grupos
são selecionados com base nas diferenças existentes, em vez de aleatoriamente.

• O projeto transversal só pode medir as diferenças entre pessoas ou fenómenos, e não processos
de mudança. Como tal, estes projetos têm de ser cautelosos ao fazer inferências causais com
base nos resultados.

O que estes estudos nos dizem?


1. Ao contrário de um projeto experimental, onde há uma intervenção ativa para se produzir e
medir diferenças, os projetos transversais focam-se em estudar e extrair inferências das
diferenças existentes entre pessoas ou fenómenos - fornecem uma clara ”fotografia" do
resultado e das características associadas a ele, num ponto específico no tempo
2. Enquanto estudos longitudinais recolhem várias medidas durante um longo período de tempo, a
pesquisa transversal foca-se em encontrar relações entre variáveis num momento no tempo.
3. Os grupos do estudo são propositadamente selecionados com base nas diferenças existentes na
amostra, e não na aleatoriedade.
4. Conseguem usar dados de um grande número de sujeitos, podendo estimar a prevalência de um
resultado de interesse, pois a amostra geralmente é retirada de toda a população.

12
5. Como geralmente usam técnicas de inquérito para recolher os dados, são relativamente baratos e
rápidos.

O que estes estudos não nos dizem?


1. Encontrar sujeitos ou fenómenos que sejam muito semelhantes, exceto numa variável específica
pode ser difícil.
2. Os resultados são estáticos e o tempo limitado e, portanto, não dão nenhuma indicação de uma
sequência de eventos ou revelam contextos históricos ou temporais.
3. Não podem ser utilizados para estabelecer relações de causa e efeito. 4. Fornece somente um
instantâneo de análise, portanto há sempre a possibilidade que outro estudo, realizado noutro
momento temporal, chegue a resultados distintos – por isso é que é importante replicar estudos.

Design Exploratório
• Um estudo exploratório aplica-se quando há poucos ou nenhum estudo anterior para se referir ou
confiar para prever um resultado, ou quando as questões de investigação estão numa fase
preliminar. Estou a começar a estudar um determinado tema para que estudos futuros possam
estudar de forma mais robusta esse tema.

• Foco: obter insights e conhecimento base para investigações posteriores. • Decidir como melhor
prosseguir no estudo ou que metodologia se revela mais eficaz a recolher a informação pretendida.

• Visa produzir os seguintes insights possíveis:


o Imagem bem fundamentada de uma situação que está a ser desenvolvida.
o Desenvolvimento de novas ideias, teorias ou hipóteses provisórias. o
Determinação sobre se um estudo é viável no futuro.
o Refinar questões para investigação mais sistemática e formulação de novas questões de
pesquisa e novas direções para futuras pesquisas.

O que estes estudos nos dizem?


1. É útil para obter informações de fundo sobre um determinado tópico. 2. É flexível e pode
abordar questões de investigação de todos os tipos (o que, por que, como).
3. Oferece uma oportunidade para definir novos conceitos e esclarecer os existentes.
4. É frequentemente usada para gerar hipóteses formais e desenvolver problemas de investigação
mais precisos.

13
5. Na área política ou na aplicação à prática, estudos exploratórios ajudam a estabelecer
prioridades de pesquisa e a definir onde os recursos devem ser alocados – onde é mais
pertinente intervir e investir.

O que estes estudos não nos dizem?


1. Geralmente utiliza amostras pequenas e, portanto, os resultados normalmente não são
generalizáveis para a população em geral.
2. A natureza exploratória da investigação inibe a capacidade para tirar conclusões definitivas -
fornecem insights, mas não conclusões definitivas. 3. O processo de investigação subjacente aos
estudos exploratórios é flexível, mas muitas vezes não estruturado, levando a apenas resultados
provisórios que têm valor limitado para decisores.
4. O design carece de padrões rigorosos aplicados aos métodos de recolha e análise de dados
porque uma das áreas de exploração poderia ser determinar quais as metodologias mais
adequadas à questão de investigação.

Design de Revisão Sistemática


Definição e Objetivo
• Metodologia específica que identifica pesquisas existentes sobre um tópico de investigação bem
definido.

• Implica selecionar e avaliar criticamente as contribuições de cada estudo identificado, analisar e


sintetizar cuidadosamente os dados e relatar as evidências de uma maneira que facilite
conclusões claras sobre o que é , e o que não é conhecido.

• Não é uma revisão tradicional da literatura, mas um estudo independente que explora um
problema de investigação usando estudos existentes, aplicando princípios específicos no
processo avaliativo de análise da literatura.

• Requer uma pesquisa da literatura extensa e contínua para garantir que todos os estudos
publicados e não publicados sobre o problema de pesquisa foram localizados e avaliados
quanto à sua inclusão na análise.

• Devido ao tempo e à carga de trabalho exigidos, esses tipos de revisões geralmente são
conduzidos em equipa.

O que estes estudos nos dizem?


1. Sintetiza os resultados de vários estudos relacionados entre si, incorporando estratégias de
análise e interpretação destinadas a reduzir enviesamentos e erros.
2. A aplicação de métodos críticos de exploração, avaliação e síntese separa a pesquisa
insignificante, irrelevante ou redundante dos estudos mais importantes e relevantes.

14
3. Podem ser usadas para identificar, justificar e refinar hipóteses, reconhecer e evitar problemas
ocultos em estudos anteriores e explicar inconsistências e conflitos de dados.
4. Podem ser usadas para ajudar decisores a formular diretrizes e regulamentos baseados em
evidências.
5. O uso de métodos estritos, explícitos e pré-determinados de síntese, quando aplicados
adequadamente, fornece estimativas confiáveis sobre os efeitos de intervenções, avaliações e
efeitos relacionados com a questão de investigação.
6. Revisões sistemáticas identificam falhas de conhecimento ou compreensão de uma questão de
investigação e, portanto, podem ser usadas para orientar futuros pesquisas.
7. A inclusão aceita de estudos não publicados [isto é, literatura cinza] garante a maneira mais
ampla possível de analisar e interpretar a pesquisa sobre um tópico.
8. Os resultados da síntese podem ser generalizados e os achados extrapolados para a população
em geral com mais validade do que a maioria dos outros tipos de estudos.

O que estes estudos não nos dizem?


1. Revisões sistemáticas não criam novos conhecimentos em si; são um método para sintetizar
estudos existentes sobre uma temática, com o fim de obter novas ideias e determinar lacunas
na literatura.
2. A maneira como os estudos foram realizados (e.g., o período de tempo coberto, número de
participantes, fontes de dados analisadas, etc.) pode dificultar a síntese eficaz de estudos.
3. A inclusão de estudos não publicados pode introduzir enviesamentos na revisão, pois estes
podem não ter sido submetidos ao rigor do processo de revisão por pares. Exemplos destes
incluem apresentações de conferências, publicações de agências governamentais, documentos
técnicos, documentos de trabalho e documentos internos de organizações, dissertações de
doutoramento e teses de mestrado.

Revisão sistemática: reportar resultados, descrever estudos


Meta-análise: fazer análises estatísticas a partir dos dados
da revisão, reportar o tamanho do efeito que estamos a
Design de Meta-análise Definição e Objetivo estudar

• É uma metodologia analítica que visa avaliar e resumir sistematicamente os resultados de uma
série de estudos, aumentando assim o tamanho geral da amostra e a capacidade de estudar o
tamanho dos efeitos de interesse.

• O objetivo não é apenas o de resumir o conhecimento existente (como acontece na revisão


sistemática), mas desenvolver uma nova compreensão

15
de um problema usando o raciocínio sinótico: pretende, nomeadamente analisando diferenças
nos resultados entre estudos e aumentar a precisão de estimativa dos efeitos.

• Depende da estrita adesão aos critérios utilizados para a seleção de estudos (os estudos incluídos
têm de cumprir uma série de critérios, bem explícitos) e da disponibilidade de informações em
cada estudo para analisar adequadamente os seus resultados, uma vez que a falta de
informação pode limitar severamente o tipo de análises e conclusões que podem ser
alcançadas.

• Além disso, quanto mais diferença houver nos resultados entre estudos, mais difícil é justificar
interpretações que regem uma sinopse válida de resultados. Convém que haja um consenso
dos estudos, p.e., se uma intervenção é válida: não pode haver estudos com resultados
positivos e outros negativos

Precisa cumprir os seguintes requisitos para garantir a validade dos seus resultados:

• Descrição claramente definida dos objetivos, incluindo definições precisas das variáveis e
resultados que estão a ser avaliados;

• Uma justificação bem fundamentada e bem documentada para a identificação e seleção dos
estudos – porque é que aqueles estudos estão incluídos na pool final e outros não;

• Avaliação e reconhecimento explícito de qualquer viés na identificação e seleção desses estudos;

• Descrição e avaliação do grau de heterogeneidade entre o tamanho amostral dos estudos revistos;

• Justificação das técnicas utilizadas para avaliar os estudos.

O que estes estudos nos dizem?


1. Pode ser uma estratégia eficaz para determinar lacunas na literatura. 2. Fornece um meio de
rever a literatura publicada sobre um tópico particular durante um período de tempo prolongado e
a partir de uma variedade de fontes.
3. É útil para esclarecer quais ações políticas ou interventivas podem ser justificadas com base na
análise dos resultados de vários estudos. 4. Fornece um método para superar pequenos tamanhos de
amostra em estudos individuais que anteriormente podem ter tido pouca relação uns com os
outros.
5. Pode ser usado para gerar novas hipóteses ou destacar problemas de pesquisa para estudos
futuros.

16
O que estes estudos não nos dizem?
1. Pequenas violações na definição dos critérios utilizados para análise de conteúdo podem levar a
resultados difíceis de interpretar e/ou sem sentido. 2. Um grande tamanho da amostra pode
produzir resultados fiáveis, mas não necessariamente válidos.
3. A falta de uniformidade em relação, por exemplo, ao tipo de literatura revista, à forma como os
métodos são aplicados e como os resultados são medidos dentro da amostra de estudos, pode
dificultar o processo de síntese.
4. Dependendo do tamanho da amostra, o processo de revisão e síntese de vários estudos pode ser
muito demorado.

Design Misto (Mixed Method)


Definição e Objetivo
Junta o quantitativo com o qualitativo para atingir uma maior profundidade da resposta à questão: mas
não é uma mera soma, é uma articulação e uma retroalimentação entre os dois.

• É caracterizado por um foco em problemas de investigação que exigem: 1. a análise de


compreensões contextuais da vida real, perspetivas multinível e influências culturais;
2. uma aplicação intencional de pesquisas quantitativas rigorosas acerca da magnitude e
frequência de conceitos e pesquisa qualitativa rigorosa explorando o significado e a
compreensão desses conceitos;
3. e, um objetivo de recorrer aos pontos fortes das técnicas quantitativas e qualitativas de
recolha de dados para formular um quadro interpretativo holístico para gerar
possíveis soluções ou novas compreensões do problema.

• Tashakkori e Creswell (2007) e outros defensores de métodos mistos argumentam que estes são
mais do que a simples combinação de métodos qualitativos e quantitativos, refletindo, em vez
disso, um novo terceiro paradigma epistemológico que ocupa o espaço concetual entre
positivismo e fenomenologia.

O que estes estudos nos dizem?


1. Informações narrativas podem aumentar o significado de dados numéricos, enquanto dados
numéricos podem adicionar precisão às informações narrativas.
2. Pode utilizar dados existentes e, ao mesmo tempo, gerar e testar uma teoria fundamentada para
descrever e explicar o fenómeno em estudo.
17
3. Uma questão de investigação mais ampla e complexa pode ser explorada porque não há a
restrição ao uso de apenas um método.
4. Os pontos fortes de um método podem ser usados para superar as fraquezas inerentes de outro
método.
5. Pode fornecer evidências mais fortes e robustas para apoiar uma conclusão ou um conjunto de
recomendações.
6. Pode gerar novos insights, novos conhecimentos ou revelar padrões ou relacionamentos ocultos
que uma única abordagem metodológica pode não revelar.
7. Produz uma compreensão e um conhecimento mais completos acerca do problema em causa
que pode ser usado para aumentar a generalização dos resultados à teoria ou prática.

O que estes estudos não nos dizem?


1. Um pesquisador deve ser proficiente na compreensão de como aplicar vários métodos para
investigar um problema, bem como na otimização de como projetar um estudo que os
combina coerentemente.
2. Pode aumentar a probabilidade de obter resultados conflituantes ou ambíguos que inibem o
estabelecimento de uma conclusão válida ou a definição de um curso de ação recomendado
[por exemplo, as respostas de entrevista não suportarem os dados estatísticos existentes].
3. Podendo tratar-se de um desenho muito complexo, reportar os resultados exige uma narrativa
bem-organizada, um estilo de escrita claro, e uma escolha precisa das palavras.
4. Apela à colaboração entre especialistas. No entanto, a fusão de diferentes abordagens
investigativas e estilos de escrita requer mais atenção ao processo de pesquisa do que estudos
realizados usando apenas um paradigma metodológico.
5. A fusão de estudos quantitativos e qualitativos requer maior atenção à adequação do tamanho
das amostras, ao uso de amostras comparáveis e à aplicação de uma unidade de análise
consistente. Para projetos sequenciais em que uma fase de pesquisa qualitativa se baseia na
fase quantitativa ou vice-versa, as decisões sobre quais resultados da primeira fase usar na fase
seguinte, a escolha de amostras e a estimativa de tamanhos de amostra razoáveis para ambas
as fases, e a interpretação dos resultados de ambas as fases pode ser difícil.
6. Devido a múltiplas formas de recolha e análise de dados, estes estudos requerem tempo e
recursos extensos para realizar as suas múltiplas etapas.

18
SPSS – Operações Básicas
Tipos de Variáveis
1. Nominais – estabelece categorias – os números são usados para codificar essas categorias (ex:
sexo)
2. Ordinais – os números são usados para ordenar as suas diferentes categorias (ex: 0=1º lugar na
corrida, 1=2º lugar, 2=3º lugar … não garante unidades iguais entre as diversas posições do
ranking – a diferença entre o 1º e o 2º lugar pode ser 5min e entre o 2º e o 3º pode ser 2h)
3. Intervalares – os intervalos entre as unidades são iguais: a distância que separa o 1 e o 2 é a
mesma que separa o 2 do 3 mas o zero não é real (ex: temperatura)
4. Razão – os intervalos entre as unidades são iguais e o zero é verdadeiro (ex: peso)
No SPSS – 3 e 4 – Escala

Construção de uma base de dados

Nome: Se for um questionário no nome da variável convém por o nº do questionário, para caso haja
erros, podermos saber e ir à fonte.

Tipo de variável é quase sempre uma variável numérica, quando muito também se usa a data

Decimais – também pode ser 2 casas decimais

Labels/Rótulo - descreve-nos o item quando o nome não dá a entender do que se trata. No caso de ser
um item de uma escala põe-se mesmo o item

• Que label (rótulo) usar?


o Visualmente o ideal são labels pequenos e resumidos, mas digam tudo o que

precisamos de saber ou que precisamos que outra pessoa saiba. ▪ Exemplo: Fator 1
ECPF

19
o Se o label for demasiado comprido pode dificultar a análise das tabelas dos resultados.

Valores – se a variável for idade não precisamos de pôr valores 1 é igual a 1 ano. Mas se a variável é
sexo aí tem de se por, porque 1 = feminino/masculino.

Dados omissos/missing values – valor atribuído intencionalmente – 99 – quando não há ausência de


resposta. Este valor é uma convenção estatisticamente determinada, e tem de ser sempre superior ao
número que um participante pode responder. Por exemplo se for uma escala de Likert de 1 a 5, põe-se
9, se for a idade convém ser 999. Este valor não é contabilizado nas estatísticas.

• Se não se puser 999 nos missing values, nas celulas com ausência de resposta, vai aparecer um
pontinho – missing system.

• Quando temos muitos dados, podemos nos enganar e saltar a resposta de alguém, então ao
aparecer missing system podemos identificar estes erros. Se nos missing values não
puséssemos 999, não conseguíamos distinguir os nossos lapsos das respostas não dadas.

Medida: Definir a medida é essencial

Limpeza da base de dados


Como garantir que inseri os dados corretamente? É para responder a isto que serve a Limpeza da Base
de dados

A maneira mais fácil e direta é pedir ao SPSS a tabela de frequências, bem como o máximo e o
mínimo. Se no máximo aparecer 22, quando é uma escala de 1 a 5, consigo saber que há um erro.

Analisar > Estatística descritiva > Frequências >


Estatísticas > Selecionar o mínimo e o máximo

A análise da(s) tabela(s)


permite-nos observar
valores estranhos, que
normalmente aparecem
porque houve um erro ao
inserir os dados.

20
Recodificar uma variável
Há muitas situações em que podemos precisar de recodificar uma variável Cuidados a ter
antes de recodificar uma nova variável:

• Confirmar se a base de dados se encontra “limpa”,

• Deve ser o último passo, ou seja, se forem inseridos ou retirados dados após a criação de uma
variável, esta terá de ser criada novamente

Situação exemplo 1 em que precisamos de recodificar uma variável: Dicotomizar uma variável de
Likert de 5 valores em 2 (para apresentação dos dados):

• De ‘discordo totalmente’ a ‘concordo totalmente’

• Em ‘discordância’ e ‘concordância’

Transform > Recode into different variable:

• Definir a variável inicial e a variável output


• Definir os
valores (old
and new)

Situação exemplo 2 em que precisamos de recodificar uma variável:


Recodificar valores de um item invertido:

21
• De 0 a 4
• Em de 4 a 0 (Nota: a posição do meio não é preciso recodificar) Transform > Recode into same variable

Criar uma nova variável a partir dos dados


Cuidados a ter antes de criar uma nova variável:

• Ter a certeza que os itens estão feitos todos no mesmo sentido o Caso não estejam terá de ser feita uma recodificação

• Confirmar se a base de dados se encontra “limpa”


• Deve ser o último passo, ou seja, se forem inseridos ou retirados dados após a criação de uma variável, esta terá de ser criada
novamente
Transformar > Calcular variável
22
Substituição dos missing values
E quando existem muitos valores omissos? (o “muitos” vai depender da sensibilidade do item)

2 opções:

1. Substituir os missings por um valor aceite na literatura (média da população); 2. Substituir os


missings pelas médias (dos dados ou do próprio indivíduo)

Questões de Investigação e Processo de Tomada de Decisão na Seleção do Teste


Estatístico a Utilizar
No âmbito da estatística inferencial (a mais usada), há 2 grandes grupos de testes:

• os testes de associação – quando queremos estudar se uma variável se associa ou não a outra e
de que forma que se associa,
• os testes de diferenças – quando comparamos 2 grupos ou o mesmo grupo em momentos
diferente: pode ser inter ou intra sujeito.

Primeiro passo no processo de tomada de decisão de qual teste utilizar:

• identificar, com base na formulação da própria questão de investigação, qual destes 2 grupos de
testes nos permitirá responder à mesma (importância da questão de investigação ser muito
clara).

23
Q.I. 1: A ansiedade face a exames está Palavra-chave: ‘relacionada’.
relacionada com a dificuldade da
• As variáveis em causa estão relacionadas, ou, por outras
matéria em avaliação?
palavras, estão associadas? A resposta a esta questão
implica a utilização de testes de associação.

Q.I. 2: Há diferenças entre alunos de Palavra-chave: ‘diferenças’


Cursos de Engenharia e alunos de
• A resposta a esta questão implica a utilização de testes
Cursos de Ciências Sociais e Humanas
ao nível da ansiedade face a exames? de diferenças (inter-sujeitos, 2 grupos) (não estou a
avaliar se duas variáveis estão associadas).

Q.I. 3: Há diferenças entre a ansiedade Palavra-chave: ‘diferenças’


sentida uma semana antes de um exame e
• Uma vez mais, a opção irá no sentido de testes de
a ansiedade sentida 24 horas antes do
mesmo? diferenças (intra-sujeito, mesmo grupo, momentos
diferentes).
1.1 Sistematização do primeiro passo da decisão

2.1 Sistematização do segundo e terceiros passos da decisão quando consideramos um


teste de associação
Agora temos de ver que variáveis é que a minha questão de investigação tem. P.e:

• São duas variáveis intervalares – idade e pontuação num teste, vou usar o coeficiente de
correlação de Pearson.
• Se tiver uma variável nominal dicotómica e uma intervalar, o teste mais adequado é o de
Correlação de Ponto-Bisserial.
24
3.1 Processo de tomada de decisão no caso de testes de associação:

1.2 Sistematização do primeiro e segundo passos da decisão quando consideramos um


teste de diferenças
2.2.1 Sistematização do terceiro, quarto e quinto passos da decisão quando consideramos
um teste de diferenças num design inter-sujeitos - 2 grupos diferentes que quero
comparar
3. Passo: quantos grupos tenho? Direito vs. química ou 1º, 2º e 3º anos de licenciatura

25
4. Passo: que tipo de variáveis?
5. Passo: que teste uso?

2 grupos:

• Intervalar – Teste T para amostras independentes,

• Ordinal – teste de Mann-Whitney;

3 grupos:

• intervalar – ANOVA unifatorial;

• Ordinal – Teste de Kruskal-Wallis

3.2.1 Processo de tomada de decisão no caso de testes de diferenças num design inter-
sujeitos:

26
2.2.2 Sistematização do terceiro, quarto e quinto passos da decisão quando consideramos
um teste de diferenças num design intra-sujeitos

3.2.2 Processo de tomada de decisão no caso de testes de diferenças num design intra-
sujeitos:

27

Cálculo do Tamanho da Amostra adequados para a nossa amostra, com base no teste que usamos
G*Power – software que nos informa o número de participante (quantitativos) e a robustez que queremos dos nossos resultados

• Frequente sobrestimação do poder estatístico de uma determinada amostra e subestimação do


número de participantes necessários.
o Poder estatístico: a capacidade da nossa amostra ser representativa, e a possibilidade de
generalizarmos os resultados para a população • Definir o tamanho da amostra é muito importante
para obter resultados precisos e estatisticamente significativos.
• O objetivo do cálculo do tamanho da amostra é fornecer uma medida objetiva do N
o Tamanho do efeito: D de Cohen (eu até posso ter um efeito significativo, mas se o d de
Cohen for baixo, esses testes de significância não vão ser muito válidos)

Dados solicitados no G*Power

Poder observado significância estatístico


Nível de Teste Tamanho do efeito

↓↓↓↓
Ex: Teste T, Baseado em estudos prévios/uso de valor mais conservador
Valor β Valor α ANOVA…

Valor beta: na maior parte das vezes não temos de o alterar – exceto quando, p.e. a nossa amostra é
muito difícil de alcançar e sabemos que o valor padronizado é demasiado exigente

Significância: geralmente 0.05

Tamanho do efeito: geralmente a parte + difícil de definir: ou fazemos com base em estudos prévios
ou acabamos por usar um valor mais conservador que o G*Power já dá.

Testes de Significância Estatística


Testes de significância estatística – o que são?
Se aquilo que eu verifico naquela amostra é provável de acontecer na população, se o resultado
obtido na amostra é igual à população global, para isto é que nos socorremos da significância
estatística e com o tamanho do efeito.

28
Estudos realizados com uma parte da população que se quer estudar - amostra ↓

Resultado estatístico da amostra pode diferir do da população (menos provável de diferir quanto maior
é a amostra, i.e., quanto mais representativa é da população)

Necessidade de avaliar a probabilidade do resultado estatístico da amostra ocorrer por acaso, quando
a hipótese nula é verdadeira para a população - p

Tamanho do efeito
Se se sortear um prémio de 5 euros e calha à pessoa A. Se se fizer um teste de diferenças entre a
pessoa A e as restantes, o p é significativo, mas o tamanho do efeito é pequeno. Se o prémio fosse 1
000 0000 de euros, o p seria igualmente significativo, mas o tamanho do efeito seria muito maior.

• Permite melhor compreensão da magnitude das conclusões de um estudo • Deve ser incluído
na secção Resultados
• Os tamanhos dos efeitos são estimativas estatísticas

Relatar um tamanho de efeito em unidade padronizada

o Ex., d de Cohen
• Fornecer aos leitores informações suficientes para avaliar a magnitude do efeito observado

Que tipos de testes de significância estatística existem?

Testes Paramétricos
• Resultados baseados em medianas

• Resultados baseados em pontuações médias • Significância baseada na diferença na ordenação de


(necessidade de distribuição normal) pontuações dos grupos ou condições (cada teste usa
• Significância baseada na diferença das pontuações um método diferente de ordenação) - Comparação
das ordenações de onde se obtém as medianas dos
médias dos grupos ou condições
grupos
• Maior potência estatística, mais robustos
• Menor potência estatística
Testes Não-Paramétricos

29
Testes de Diferenças
O que são?
Os testes de diferenças possibilitam avaliar o efeito que uma variável independente tem sobre uma
variável dependente.

• Permitem compreender se há diferenças entre grupos independentes (VI – define a pertença aos
grupos em comparação, p.e. sexo - homens vs. mulheres) ou entre momentos temporais ou
condições experimentais diferentes (VI – define os diferentes momentos temporais ou
condições experimentais em comparação).

Pressupostos Subjacentes aos testes paramétricos:

1. Variável Temos de ver se a Variável Dependente Temos de testar a normalidade da


cumpre estes requisitos, não a distribuição da VD
A VD tem de ser intervalar ou de Independente 3. Homogeneidade das
razão 2. Normalidade das Variâncias
Distribuições
As variâncias dos grupos
Ex: escala de inteligência, escala de solidão. A VD intervalar tem de seguir uma independentes têm de ser
distribuição aproximadamente normal equivalentes
Se for uma escala de Likert, supostamente em todos os grupos.
não podemos usar testes paramétricos
Pressupostos Subjacentes aos testes não paramétricos:

1. Variável Distribuições 3. Dimensão da


amostra
A VD pode ser ordinal A distribuição da variável é desconhecida
2. Normalidade das ou não segue uma distribuição normal Usa-se quando a amostra é pequena

30
Pressuposto 2: Normalidade das distribuições
Podemos ver se a distribuição é normal visualmente através de um histograma ou de um gráfico de
bigodes.

Ou a nível estatístico com testes de normalidade ou através das medidas de assimetria e


curtose/achatamento (a curva normal é simétrica, pelos valores da assimetria podemos ver quanto é
que a nossa distribuição se afasta da normalidade)

Nas populações forenses é raro encontrar distribuições normais, tem de haver uma margem de valores
razoáveis

Histogramas

Análise de gráficos

Caixa de Bigodes

Avaliação da
normalidade da
distribuição
Kolmogorov-Smirnov
(N≥50)
Shapiro-Wilk (N<50)
Procedimentos
estatísticos

Assimetria e
curtose/achatamento

Procedimentos estatísticos:
Testar coeficiente de assimetria e curtose:

-1.96 < Coeficiente de assimetria e de curtose (achatamento) < 1.96 Pestana & Gageiro
(2003)

Vários critérios:
• Critério conservador: valores dentro do intervalo -0.5 a 0.5

• Critérios mais liberais:


o Valores dentro do intervalo -1 a 1
o Distribuições com assimetria com valor absoluto acima de 3.0 e curtose acima de 8.0
são consideradas problemáticas.

Kline (1998, 2005)

31
Teste de Kolmogorov-Smirnov (amostras superiores ou Permite testar a normalidade para amostras inferiores a 50.
iguais a 50):

Permite testar se a distribuição dos resultados é


Nestes 2 testes
significativamente diferente de uma distribuição normal.

Teste de Shapiro-Wilk: Testam se existem diferenças significativas entre a distribuição


da nossa amostra e a normal. Se o p<0.05 as diferenças são
significativas e não posso usar testes paramétricos.

• Um valor não-significativo (p > 0,05), indica que os dados da amostra não diferem
significativamente de uma distribuição normal – tem uma distribuição normal.
• Um valor significativo (p ≤ 0,05) indica um desvio da normalidade.

Limitação: com amostras grandes é muito fácil obter valores significativos - assim, um resultado
significativo não nos informa necessariamente se o desvio da normalidade é suficiente para prejudicar
os procedimentos estatísticos que serão aplicados aos dados.

Que tipo de testes utilizar quando há violação dos pressupostos? Há situações em que não
são cumpridos os pressupostos, mas que o paramétrico até se adequa. Quando não termos a certeza dos
critérios, qualquer um, testamos com os dois testes:

• Se forem iguais, reporta-se o paramétrico, que é mais robusto. • Se forem


diferentes reporta-se o não paramétrico.

Realização de opção paramétrica e não Discrepância de resultados Considerar os


paramétrica Considerar os resultados da opção não-paramétrica
Congruência de resultados resultados da opção paramétrica
32
Qual o tipo de design?
Para se definir a variável independente do estudo em questão é necessário pensar no tipo de design que
se está a realizar.

• Comparar dois grupos de sujeitos diferentes (ex.: alunos de Engenharia com alunos de
Psicologia) → design inter-sujeito → VI – curso dos indivíduos.

• Comparar o mesmo grupo de sujeitos em dois momentos temporais (ex.: ansiedade sentida 1
semana antes do exame e 24h antes do mesmo) → design intrasujeito → VI – momento
temporal. Ou porque viveram uma situação que pode ter alterado – condição experimental

Que opções paramétricas e não-paramétricas existem?


Testes paramétricos Teste não-paramétricos

Design inter Teste t para amostras U de Mann-Whitney


sujeito (2 grupos) independentes

Design intra Teste t para amostras Teste de Wilcoxon


sujeito (2 grupos) emparelhadas

Design inter ANOVA univariada para Kruskal-Wallis


sujeito (3 ou mais amostras independentes
grupos)

Design intrasujeito ANOVA univariada para ANOVA de Friedman


(3 ou mais grupos) medidas repetidas

Contexto de Design inter-sujeitos


Testes de diferenças em contexto de design inter-sujeitos
Nº de grupos
Escala de medida
da VD Teste de diferenças inter-sujeitos
definido pela VI

2 Intervalar (Scale) Teste t para amostras independentes

Ordinal (Ordinal) U de Mann-Whitney

3 ou mais Intervalar (Scale) Análise de Variância (ANOVA)


Unifatorial

Ordinal (Ordinal) Kruskal-Wallis

33
Teste T para Amostras Independentes
Objetivo: avaliar se as médias da variável dependente nos dois grupos em comparação diferem
significativamente uma da outra.
Características:

• VD intervalar ou de razão (teste paramétrico)

• 2 grupos independentes

Exemplo de Questão de investigação:

• Há diferenças entre homens e mulheres em termos do nível de agressividade? o H0: Não há


diferenças entre homens e mulheres em termos do nível de agressividade.
o H1: Há diferenças entre homens e mulheres em termos do nível de agressividade.

Passos para a utilização do teste t para amostras independentes Analisar >


comparar médias > teste t para amostras independentes

• Variável de teste: nível agressividade

• Variável de grupo: sexo

(se a variável de grupo tiver 3 ou mais grupos temos de ir ao define groups e dizer quais os grupos que
queremos comparar)

O ideal não é clicar no OK (aparece só o output), mas no paste (aparece o output e abre outra janela: a
sintaxe – a codificação daquilo que estamos a pedir). Para efeitos de exame podemos clicar no OK

Se trabalharmos na sintaxe, não precisamos de fazer tudo outra vez se ficar incompleto, basta copiar e
colar e adaptar para aquilo

34

Clicando no OK aparece-nos isto.


Conseguimos ver que existe uma diferença: 5.92 não é igual a 4.46, mas não conseguimos perceber se
é estatisticamente significativo, aqui entra então a segunda tabela

Sig é o p.

Se o p relativo ao teste de Levene é maior que 0.05 lemos a linha de cima de variâncias iguais
assumidas. Se for inferior a 0.05 lê-se a linha de baixo de variâncias iguais não assumidas

→ Reportamos o t (o teste), df (graus de liberdade), o p e o intervalo de confiança, e o d de cohen.

A partir do IC conseguimos ver se o p vai ser significativo:

• Se o 0 estiver incluído no intervalo de confiança, o p não vai ser significativo. O IC tem de estar
todo acima ou abaixo de 0

Graus de liberdade, df – (98)


Redação e apresentação dos resultados:
• Há diferenças significativas entre homens e mulheres em termos do nível de agressividade, t (98)
= 3.54, p < .001, d = .733, 95% CI [.641, 2.241]. Os homens apresentaram níveis superiores de
agressividade do que as mulheres.

OU

• Os 63 homens (M = 5.92, DP = 1.994), por comparação às 37 mulheres (M = 4.46, DP = 1.994)


apresentaram maiores valores de agressividade, t (98) = 3.54, p < .001, 95% CI [.641, 2.241].

35
Homens (n=63) Média (DP)
Mulheres (n=37) Média (DP) T(98)

Agressividade 5.92 (1.994) 4.46 (1.994) 3.54*** ***p < .001

Teste de Mann-Whitney
Objetivo: avaliar se as ordens médias (medianas) dos dois grupos independentes diferem ao nível de
uma variável dependente ordinal.

Características:
• VD Ordinal

• 2 grupos independentes – inter-sujeitos

Questão Exemplo de Investigação:

• O grau de ansiedade (em escala de likert) sentido face a exames varia em função do curso
frequentado?
o Ho: Não há diferenças entre os alunos de Cursos de Engenharia e alunos de Cursos de
Ciências Sociais e Humanas ao nível do grau de ansiedade sentido face aos exames.
o H1: Há diferenças entre os alunos de Cursos de Engenharia e alunos de Cursos de
Ciências Sociais e Humanas ao nível do grau de ansiedade face aos exames.

Passos para a utilização do teste de Mann-Whitney


Analisar > não paramétrico > caixas de diálogo legadas > 2 amostras independentes

• Variável de teste – VD: ansiedade

• Variável de agrupamento: VI – curso

Escolher o teste – Mann Whitney

36
Redação e apresentação dos resultados:
Os alunos dos cursos de Engenharia relatam um grau de ansiedade face aos exames significativamente
superior ao dos alunos dos cursos de CSH, U = 364.50, p = .001.
CSH (n=33) Ansiedade sentido face a exames
***p < .001
Ordem Média U
43.65 28.05 364.50***
Grau de
Engenharia (n=39) Ordem Média

Contexto de Design intrasujeitos


Tipos de testes

• Hipótese nula (H0): Não há diferenças entre os momentos temporais (ou condições
experimentais) A e B ao nível da variável Z.
• Hipótese alternativa (H1): Há diferenças entre os momentos temporais (ou condições
experimentais) A e B ao nível da variável Z.

37
Testes de diferenças em contexto de design intra-sujeitos
Nº de grupos
Escala de medida
da VD Teste de diferenças intra-sujeitos
definido pela VI
2 Intervalar (Scale) Teste t para amostras emparelhadas

Ordinal (Ordinal) Teste de Wilcoxon

3 ou mais Intervalar (Scale) ANOVA para medidas repetidas

Ordinal (Ordinal) Teste de Friedman

Teste t para amostras emparelhadas


Objetivo: concluir se a média da amostra na variável dependente (intervalar) difere nos dois
momentos temporais/condições experimentais, ou seja, se varia ao longo do tempo ou entre as
condições intrasujeito.

Características:

• VD intervalar;

• Mesmo grupo em 2 momentos temporais ou condições experimentais.

Exemplo de Questão de Investigação:

• Há diferenças entre a ansiedade sentida uma semana antes do exame e a ansiedade sentida 24h
antes do mesmo?

Passos para a utilização do teste t para amostras emparelhadas


Analisar > comparar médias > teste t para amostras em pares

38

Selecionar o momento 1 para a variável 1 e o 2º momento para a variável 2


Output do teste t para amostras emparelhadas
• Paired Samples Statistics – expõe as medidas
descritivas relativas às duas variáveis em
comparação
• Paired Samples Correlations – apresenta os
coeficientes de correlação entre os dois
momentos temporais/condições
experimentais (se existe uma diferença
significativa entre os grupos, espera-se que a
correlação entre os grupos não seja
significativa);

Teste de amostras emparelhadas

Paired Samples Test – averigua se a diferença observada nas médias nos dois momentos
temporais/condições experimentais é ou não estatisticamente significativa.

39
Resultados
• O valor da probabilidade, p < .001, permite rejeitar a hipótese nula (H0) e aceitar a hipótese
alternativa (H1), concluindo que há diferenças significativas entre os dois momentos
temporais/condições experimentais ao nível da variável dependente.

Exemplo de Redação:

• Há diferenças significativas entre a ansiedade sentida pelos alunos uma semana antes de um
exame do que 24 horas antes do mesmo, t (71) ~ -17.00, p < .001, 95% CI [-18,839, -14,883].
A ansiedade é mais elevada 24 horas antes do exame do que uma semana antes do mesmo (o
significado psicológico dos dados reportados).

Recurso a tabelas que apresentem os resultados:

• Medidas descritivas relativas às variáveis em comparação (que no output aparecem na primeira


tabela);
• Resultado do teste T (que se encontra na última tabela do output).

Teste de Wilcoxon
Objetivo: Comparar a mesma variável em dois momentos temporais (ou duas condições
experimentais), quando a VD é ordinal.

Características:

• VD ordinal;

• Mesmo grupo em 2 momentos temporais ou condições experimentais. Exemplo de

Questão de Investigação:

• Há diferenças entre o grau de dificuldade da matéria de inglês em avaliação e o grau de


dificuldade da matéria de matemática em avaliação?

40
Passos para a utilização do teste de Wilcoxon
Analyze > Nonparametric Tests > Legacy Dialogs > 2 related samples
Output
• Ranks – constituída por três colunas: N (número de participantes em cada grupo); Mean Rank

(Ordem média); e Sum of Ranks (Soma das Ordens); • Test Statistics – apresenta o valor do Teste
de Wilcoxon, representado pela letra Z e o respetivo nível de significância (linha Asymp. Sig)
o O teste de Wilcoxon apresenta as ordens médias das Negative Ranks e Positive Ranks
(primeira e segunda linhas da tabela Ranks), e não as ordens médias das duas
variáveis em análise.

41
Resultados
O valor da probabilidade, p > .05, não nos permite rejeitar a hipótese nula (H0). Exemplo de
Redação:

• Não há diferenças entre o grau de dificuldade da matéria de inglês em avaliação e o grau de


dificuldade da matéria de matemática em avaliação. No entanto, e porque estamos na presença
de diferenças marginalmente significativas, verificamos tendência para os alunos
considerarem a matéria de matemática como menos difícil do que a matéria de inglês.

Atividades Práticas
Atividade 1

• Abrir base de dados ‘t test1’

• Criar a questão de investigação que faz sentido


o Existem diferenças entre alunos de psicologia e alunos de direito ao nível da empatia?
• Testar
normalidade
da VD

Assimetria = -.345

Curtose = -,667

42
Estão ambas acima de -1,96 e abaixo de 1,96, pelo que podemos assumir uma normalidade aceitável
da distribuição da VD
• Pedir o respetivo teste – Teste t para amostras independentes

• Reportar os resultados
o Há diferenças significativas entre alunos de psicologia e de direito em termos do nível
de empatia, t(98)= 12.509, p<.001, d=2.543, 95% IC [26.673, 36.732], sendo que os
alunos de psicologia apresentaram níveis superiores de empatia (M = 72.68, DP =
11.921) do que os alunos de direito (M =40.98, DP = 13.213).

Atividade 2

• Abrir base de dados ‘t test 2’

• Pensar nas relações que fazem sentido


1. Satisfação de vida e ter ou não filhos (agrupar a variável nº de filhos em ter filhos)
2. Satisfação de vida e sexo
3. Satisfação de vida e férias (p.e. 1 semana ou 2 semanas; menos do que x dias de férias e
mais do que x dias de férias)
4. Anos de experiência profissional e ter ou não filhos
5. Anos de experiência profissional e férias (p.e. 1 semana ou 2 semanas; menos do que x
dias de férias e mais do que x dias de férias)
6. Solidão e sexo
7. Solidão e ter ou não filhos
8. Solidão e ser novo ou velho (idade)
9. Nº de filhos e solidão
10. Burnout antes e depois
-.232 e Curtose depois: .396
• Testar normalidade da VD
1. Todos os valores se encontram entre -1,96 e 1,96, pelo que
podemos assumir uma normalidade aceitável da distribuição
Assimetria antes: .035 e Curtose antes: .537 Assimetria depois:
das VD

43

• Criar a questão de investigação que faz sentido


1. Existem diferenças relativamente ao burnout antes e depois?
2. Existem diferenças ao nível da qualidade de vida consoante o sexo? • Pedir o
respetivo teste
1. Teste t para amostras emparelhadas

2. Mann-Whitney

44
• Reportar os resultados
1. Há diferenças significativas entre momentos ao nível de burnout, t(244)= -40.799,
p<.001, d= -2.607, 95% IC [-36.138, -32.809], havendo um aumento do burnout no
segundo momento (M = 23.70, DP = 6.678), quando comparado com o primeiro
momento (M =58.18, DP = 10.657).
2. Os indivíduos do sexo feminino reportam níveis de qualidade de vida
significativamente superiores aos indivíduos do sexo masculino, U = 4362,500, p
= .014.

Testes de Diferenças
O que são?
Os testes de diferenças possibilitam avaliar o efeito que uma variável independente tem sobre uma
variável dependente.
• Permitem compreender se há diferenças entre grupos independentes (VI - define a pertença aos
grupos em comparação) ou entre momentos temporais ou condições experimentais
diferentes (VI – define os diferentes momentos temporais ou condições experimentais em
comparação)

Qual o tipo de design?


Para se definir a variável independente do estudo em questão é necessário pensar no tipo de design
que se está a realizar.

• Comparar dois grupos de sujeitos diferentes (ex.: alunos de Engenharia com alunos de

Psicologia) ➔ design inter-sujeito ➔VI – curso dos indivíduos • Comparar o mesmo grupo de
sujeitos em dois momentos temporais (ex.: ansiedade sentida 1 semana antes do exame e 24h
antes do mesmo) ➔ design intrasujeito ➔ VI – momento temporal

Quando utilizar e porquê?


Quando queremos comparar médias podemos usar um t-Test. Contudo, este teste tem limitações:

• Só podemos comparar médias de 2 grupos: muitas vezes queremos comparar médias de 3 ou


mais grupos.

• Só pode ser utilizado com um Preditor/Variável Independente.

ANOVA (Análise de Variência)


• Compara várias médias

• Pode ser usado quando com mais do que uma Variável Independente • É uma
extensão da regressão (General Linear Model)

Existem várias ANOVAs, a mais complicada é a MANOVA mas não vamos lá chegar.

45
Se percebemos a ANOVA one-way, com um bocadinho de esforço e raciocínio conseguimos perceber
as de two-way e assim sucessivamente

As mais difíceis relacionam as várias variáveis, o que as complexifica mas o processo é semelhante às
mais fáceis

Porque não usar vários t-Tests?


Se queremos comparar medias, porque não comparamos pares de medias com t tests?

• Não podemos “olhar” para várias variáveis independentes.

o Assim não conseguiríamos verificar as interações entre as variáveis. • Inflaciona a


taxa de erro de tipo I.
O que nos diz a ANOVA?
Hipótese nula:

• Tal como no t-test, a ANOVA testa a hipótese nula que as médias são as mesmas.

Hipótese experimental:

• As médias diferem.

ANOVA

• Testa uma a diferença global entre grupos.

• Diz-nos que as médias dos grupos são diferentes.

• Não nos diz exatamente que médias diferem

A teoria da ANOVA
O que é que a ANOVA começa por fazer…

• Calcula(mos) a variabilidade que existe entre totais – Total Sum of squares (SST).

46
• Depois calculamos quanto desta variabilidade pode ser explicada pelo modelo que encaixamos
nos dados
o Quanta desta variabilidade se deve à manipulação experimental, Model Sum of
Squares (SSM)...

• … e quanta não pode ser explicada


o Quanta desta variabilidade se deve a diferenças individuais no desempenho, Residual
Sum of Squares (SSR)

• Comparamos a quantidade de variabilidade explicada pelo Modelo (experiment), com o erro


que existe no modelo (diferenças individuais) o Este ratio designa-se F-ratio.

▪ Não sai no exame

• Se o modelo explica muito mais variabilidade do que não explica, então a manipulação
experimental teve um efeito significativo no resultado (VD). o Existem diferenças
significativas e o nosso modelo/ análise é boa para explicar os dados
• Se o “experiment” for bem-sucedido, então o modelo explicará mais variância do que aquela
que não consegue explicar
o SSM será maior do que SSR

ANOVA
One-way ANOVA
Exemplo com uma variável independente
• O Viagra é um estimulante sexual (usado para tratar a impotência) que invadiu o mercado negro
com base na crença de que torna os homens melhores amantes.
• Suponhamos que testámos esta crença utilizando três grupos de participantes: administramos a
um grupo um placebo (G1), a um grupo uma dose baixa de Viagra (G2) e a outro uma dose
elevada (G2).
• A variável dependente foi uma medida objetiva de libido (foi medida ao longo de uma semana –

o resto vou deixar à sua própria imaginação) ... • Os dados encontram-se no ficheiro Viagra.sav (e-
campus).

47
Exercício
Testar os efeitos do Viagra na Libido utilizando três grupos:

• Placebo (Sugar Pill)

• Low Dose Viagra

• High Dose Viagra

O Outcome/Variável Dependente (DV) foi uma medida objetiva da Libido.

Os dados
Passos para a utilização da One-way ANOVA
Analyse > Compare Means > One-way ANOVA

Dependent List: V. Dependente

Factor: V. Independente

48
Options: escolher nas estatísticas – Descriptive; Homogeneity of variance test; Brown Forsythe teste;
Welsh test
Caso haja a violação do pressuposto da homogeneidade (se o teste de Levene for significativo),
vamos usar o Brown-Forsythe ou Welch em vez do F (de preferência o Welch)

Gera uma tabela de


médias, desvios
padrão, standard errors,
ranges e intervalos de confiança Útil apenas se conduzirmos várias
para as médias de cada grupo ANOVAs em diferentes variáveis
dependentes.
Testa o pressuposto de que as
1. Exclude cases analysis by analysis:
variâncias dos grupos são iguais
exclui todos os casos que têm
(Levene’s test)
missing values quer para a VD
quer para a VI, naquela análise
Se o pressuposto da específica.
homogeneidade de variâncias 2. Exclude cases listwise: exclui de
não se verificar (Brown– todas as análises qualquer caso que
Forsythe F e Welch’s F) tenha um missing value na VI ou de
qualquer VD especificada.
Escolher por
precaução

49
Para que serve este procedimento?

Há duas possibilidades no mundo real


Existe, realmente, um efeito na Não existe, realmente, um efeito na
população população

Acreditamos que o resultado é genuíno quando temos 95% de confiança de que o é – ou, quando
existe apenas 5% de chance de os resultados poderem ocorrer por acaso, sem haver de facto um
efeito (a hipótese nula é verdadeira).

Contudo, mesmo com 95% de confiança, há uma pequena chance de estarmos errados.

50
Há dois tipos de erro: Erros de Tipo I e de Tipo II

Erro Tipo I Falso positivo


Erro Tipo I

Ocorre quando acreditamos que existe um efeito genuíno na


nossa população, quando de facto não existe. Ocorre quando acreditamos que não existe um efeito
genuíno na nossa população, quando, de facto, existe.
• A probabilidade deste erro é de .05 (ou 5%) - valor conhecido
• A probabilidade máxima aceitável deste erro é de .2 (ou
como α-level • Assumindo que não existe efeito na
20%) – valor conhecido como β-level
população, se replicássemos a nossa recolha de dados mais
100 vezes, era expectável que em 5 dessas vezes • Se recolhêssemos 100 amostras duma população onde
obtivéssemos um teste estatístico alto o suficiente para nos existe um efeito, não o conseguiríamos detetar em 20
fazer acreditar que existia um efeito genuíno na dessas amostras (não encontraríamos 1 em 5 efeitos
população, apesar de este não existir. genuínos).

Falso Negativo

A escolha do procedimento de comparação depende da situação exata e se nos importa mais


controlar as taxas de erro ou ter mais poder estatístico.

Escolhemos o teste consoante aquilo que mais precisamos e em função dos nossos objetivos e das
características do nosso estudo

Igualdade das variâncias


assumida - orientações
gerais:
• Least-significant
difference (LSD) –
Não controla erros
Tipo I e é
equivalente a
realizar vários t-
tests.
• Studentized
Newman–Keuls
(SNK) – conservador e não
controla taxas de erro.
o Nem falsos positivos nem
negativos
• Bonferroni’s e Tukey’s – ambos
controlam bem erros de tipo I
mas são testes conservadores
(pouco poder estatístico)
Bonferroni tem maior poder
estatístico quando amostra é
pequena. Tukey tem maior

51
poder estatístico quando amostra é grande.
o São geralmente os mais utilizados
o Com 60 a 80 participantes é melhor o Bonferroni;
o Com 600 participantes o Tukey é melhor.
• Dunn and Scheffé – menor poder estatístico do que o Tukey.

• The Ryan, Einot, Gabriel and Welsch Q procedure (REGWQ) – Bom poder estatístico.
Controla bem erros de tipo I. Não se deve utilizar quando os grupos são de tamanhos
diferentes.
o Grupo 1, 2 e 3 com 10 participantes

Erro Tipo I - rejeição de uma hipótese nula verdadeira (também conhecido como um resultado “falso
positivo”)

Erro Tipo II - não rejeição de uma falsa hipótese nula (também conhecido como um resultado “falso
negativo”)

• REGWQ ou Tukey - Amostras de tamanho igual e confiança que variâncias da população são
semelhantes. Ambos têm bom poder estatístico e controla bem taxas de erro tipo I.
• Bonferroni’s - conservador, controlo sobre erros tipo I garantido. • Gabriel - Amostras de
tamanho ligeiramente diferente, maior poder estatístico. Para amostras de tamanhos bastante
diferente torna-se demasiado liberal. • Hochberg’s GT2 - Amostras de tamanho bastante
diferente. Muito pouco fiável quando as variâncias da população são diferentes e, por isso, só deve
ser utilizado quando se tem a certeza de que não é esse o caso.

Violação do pressuposto da igualdade das


variâncias - orientações gerais: Existem
vários procedimentos de comparações
múltiplas que foram especialmente
concebidos para situações em que as
variâncias diferem. O SPSS oferece quatro
opções:

• Tamhane’s T2 - é conservador
• Dunnett’s T3 – mantém controlo rígido
dos Erros Tipo I
• Dunnett’s C. - mantém controlo rígido
dos Erros Tipo I
• Games–Howell - é o procedimento
mais poderoso (i.e., com maior poder
estatístico), mas pode ser liberal
quando as amostras são pequenas.
No entanto, o Games-Howell
também é fiável/preciso quando os
tamanhos da amostra são desiguais.

A escolha do procedimento de comparação depende da situação exata e se nos importa mais controlar
as taxas de erro ou ter mais poder estatístico.

52
No exercício em análise, as amostras são iguais, por isso não precisamos de usar o teste de Gabriel.

Devemos usar o teste de Tukey e o de REGWQ e verificar os resultados com o procedimento


Games-Howell (em caso de violação dos pressupostos).

• REGWQ e Tukey - Amostras de tamanho igual e confiança que variâncias da população são
semelhantes. Ambos têm bom poder estatístico e controla bem taxas de erro tipo I.
• Games–Howell - é o procedimento mais poderoso (i.e., com maior poder estatístico) para os
casos em que as variâncias diferem, mas pode ser liberal com amostras pequenas. No entanto,
o Games-Howell também é fiável/preciso quando os A escolha do procedimento de
comparação tamanhos da amostra são desiguais.

Temos ainda uma hipótese específica de que tanto os grupos aos quais foi administrada uma alta
dosagem de viagra como aqueles aos quais foi administrada uma baixa dosagem devem diferir do
grupo ao qual foi administrado um placebo, pelo que podemos usar o teste de Dunnett para examinar
esta hipótese.

Alterar a categoria de controlo (o


padrão é utilizar a última (Last)
categoria) para especificar que a
primeira (First) categoria deve ser
utilizada como categoria de controlo
(porque o grupo placebo foi
codificado com o valor mais baixo).

Também podemos escolher se


devemos realizar um teste two-tailed
ou um teste one-tailed. Se
escolhermos um teste one-tailed,
devemos prever se acreditamos que
a média do grupo de controlo será
inferior ou superior à do grupo
experimental.

Geralmente isto não é feito, mas é possível.


Post Hoc Multiple Comparisons
Dicas:

• Quando temos amostras de tamanho igual e as variâncias dos grupos são semelhantes utilizamos
o procedimento REGWQ ou Tukey (para amostras maiores).
• Se

queremos garantir controlo sobre a taxa de erro tipo I, utilizamos o procedimento Bonferroni.

53
• Se as amostras forem de tamanhos ligeiramente diferentes, usamos o procedimento de Gabriel,
mas se as amostras forem de tamanhos muito diferentes, usamos o Hochberg’s GT2.
• Se há dúvidas quanto à igualdade da variância dos grupos, então usamos o procedimento
Games-Howell.

Se o teste de Levene é significativo


(i.e. valor sig. é inferior a .05) =
variâncias significativamente
diferentes (pressuposto violado).

Possíveis soluções:
1. Transformar dados;
2. Transformações nem sempre
funcionam, é preferível reportar o
valor de Welch’s F - mais
recomendado do que reportar o
valor de Brown–Forsythe F (Field,

1. Between-groups effect (efeito experimental, que se deve ao Neste exercício:


modelo) – o que nos diz se existem diferenças entre os grupos.
O teste de Levene não é significativo
2. Within-groups effect (variância não sistemática dos dados –
2013).
ou seja, variação devido a diferenças individuais nos dias de
férias por ano).

Então reportar o valor de F da tabela da ANOVA – reporta-se também o p., os graus de liberdade e o
Effect size (calculado mais à frente)

NOTA: Quando o teste de Levene é significativo devemos reportar o Welch’s F

54
Não basta dizer que há
diferenças significativas,
temos de dizer quais é que
diferem, por isso vamos à
tabela dos outros testes
Post Hoc

Tomar uma baixa dose


de Viagra não parece
ser diferente de toma
um placebo, mas tomar
uma dose alta já faz
diferença.

Effect size
O effect size (tamanho do efeito) é uma medida objetiva e estandardizada da magnitude do efeito
observado.


Podemos comparar effect sizes entre vários estudos, que testaram variáveis diferentes ou utilizaram
diferentes escalas de medição (APA exige que todos os artigos publicados contenham effect sizes)

Medidas de effect size mais comuns: Cohen’s d; Pearson’s correlation coeficiente r; odds ratio

• r = .10 (small effect): O efeito explica 1% da variância total.

• r = .30 (medium effect): O efeito explica 9% da variância total. • r = .50


(large effect): O efeito explica 25% da variância total.

Expressa a importância do resultado de um estudo

��2 =������
������= √������
������
Calculamos o r2 utilizando o between-group effect (SSM) e o total de variância dos dados (SST) –
também designado de eta squared, η2

→ A raiz quadrada deste valor dá-nos o effect size r

55
Redação e apresentação dos resultados
Quando reportamos uma ANOVA, indicamos o F-ratio e os graus de liberdade; a significância (α-
level) e o effect size

→ A Análise de Variâncias (ANOVA) evidenciou que existe um efeito significativo do Viagra nos
níveis da líbido, F(2, 12) = 5.12, p < .05

Eta squared, η2 – que calculamos utilizando a raiz quadrada da


divisão do between-group effect (SSM) pelo total de variância �� = √������
dos dados (SST). ���� = .68 ��

.68 é um grande efeito. Portanto, o efeito do Viagra nos níveis da libido é um resultado robusto.
No entanto, esta medida de tamanho do efeito (eta squared, η2) é ligeiramente enviesada porque se
baseia exclusivamente em somas de quadrados da amostra e não é feito nenhum ajuste para o facto
de estarmos a tentar estimar o tamanho do efeito na população.

Portanto, muitas vezes usamos uma medida um pouco mais complexa chamada omega squared
(ω2).

• Esta estimativa de tamanho do efeito também é baseada nas somas de quadrados, mas, tal como
o F-ratio, usa a variância explicada pelo modelo e o erro da variância.
• O dfM são os graus de liberdade para o efeito (output do SPSS - no caso do efeito principal este
é o número de condições experimentais menos um).

O SPSS não nos dá o ómega na ANOVA one-way, temos de o


calcular com esta fórmula (na ANOVA two-way já nos dá)

������

������������ ������

��2 =������ − (������)������


������ + ������

��2 =20.13 − (2)1.97 43.73 + 1.97

=16.19
45.70
= .35
ω = .60

56
→ A Análise de
Variâncias
(ANOVA)
evidenciou que
existe um efeito
significativo do
Viagra nos níveis
da líbido, F(2, 12)
= 5.12, p < .05, ω
= .60

Uma vez que obtivemos um


efeito significativo e
existem
diferenças entre os grupos,
de
seguida, reportamos essas
diferenças, indicando a média
(M) e o desvio padrão (SD) de
cada grupo em que se
encontram diferenças
significativas.

→ O Teste Post-Hoc de Tukey HSD revelou que aqueles que tomaram uma dose mais alta viagra
(M = 5.00, DP = 1.58) têm níveis mais elevados de líbido do que aqueles que tomaram o
placebo (M = 2.20, DP = 1.30).

O poder estatístico
Statistical Power

Capacidade de um teste estatístico detetar um efeito daquele tamanho (effect size encontrado)

O objetivo é atingir um poder estatístico (power) de .8, ou 80% de probabilidade de detetar um efeito
quando este existe genuinamente.

Calcular o poder estatístico de um teste: calculado à posteriori (Post Hoc)

Calcular o tamanho da amostra necessário para alcançar determinado nível de poder estatístico:
Calcular à priori - antes de recolher os dados (preferencial)
57
Programa G*Power

Calcular o poder estatístico para o exercício prático G*Power:


• Calcular o poder estatístico da análise:

Abrir o programa G*Power

Selecionar os testes F

58
Selecionar o teste específico
Selecionar o teste Post Hoc
(porque estamos a testar o power
desta análise específica, depois
de termos conduzido o estudo)

Selecionar effect
size from variance

Selecionar effect
size from variance

Introduzir effect size


que calculamos (.68).

Calcular e transferir

59
ANOVA Fatorial
Introduzir os dados que são solicitados:

• Effect size que calculamos (.68).

• Tamanho da amostra (15).

• Número de grupos (3). Resultado alto

Calcular

Quando um estudo tem duas ou mais variáveis independentes designa-se de design fatorial (porque
as variáveis são, por vezes, nomeadas de fatores).

Há vários tipos de designs fatoriais:

• Independent factorial design (Two-way): Várias variáveis independentes ou preditores, sendo


que cada um(a) foi medido(a) usando diferentes participantes (between-groups).
• Repeated-measures (related) factorial design: Várias variáveis independentes ou preditores,
sendo que os mesmos participantes foram avaliados em três ou mais momentos temporais (ou
condições experimentais).
• Mixed design: Várias variáveis independentes ou preditores, sendo que algumas foram medidas
com os mesmos participantes e outras foram medidas com participantes diferentes.

O que é uma Two-Way Independent ANOVA?


• Duas Variáveis Independentes (segue a mesma lógica da ANOVA one-way) o Two-way = 2
Variáveis Independentes
o Three-way = 3 Variáveis Independentes
• Independent = Participantes diferentes em todas as condições • Várias
Variáveis Independentes = design fatorial

60
Exemplo com duas variáveis independentes
Racional: Após o consumo de álcool, a perceção sobre a atratividade física de alguém torna-se menos
precisa - o conhecido “beer-goggles effect” (Chen, Wang, Yang, & Chen, 2014)

Suponhamos que testámos esta crença com a seguinte experiência:

• Levamos grupos de 8 participantes a uma discoteca


1. não lhes demos álcool (receberam bebidas placebo não alcoólicas) 2. demos-lhes 1
litro de cerveja
3. demos-lhes 2 litros de cerveja
• No final da noite tiramos uma fotografia da pessoa que o participante tinha engatado na
discoteca.
• Posteriormente um conjunto de pessoas (aleatórias e que não participaram no estudo) julgaram a
atratividade da pessoa em cada fotografia (de 0 a 100).

Amostra:

• 48 estudantes (24 homens, 24 mulheres)

Testar os efeitos do consumo de álcool na escolha do engate em discotecas utilizando três grupos:

• Placebo (Não consumiu álcool)

• Consumiu 1 Litro de cerveja

• Consumiu 2 Litros de cerveja

Testar os efeitos do sexo do consumidor na escolha do engate em discotecas:

• Homem

• Mulher

Outcome/Variável Dependente (DV):

• Avaliação do nível de atratividade (0-100)

Os dados encontram-se no ficheiro goggles.sav (e-campus)

Os dados

61
Passos para a utilização da ANOVA two-way:
Analyze > General Linear Model > Univariate
Dependent variable: Atratividade

Fixed Factor(s): Sexo e Consumo de Cerveja

Decompor o efeito de interação: Syntax


Se clicarmos em OK, o SPSS na interação entre VIs diz-nos apenas que as médias são diferentes.

Temos de clicar no Paste e pedir um procedimento extra de comparar as médias nas interações para
saber quais as médias que diferem.

62
Não há um efeito significativo do
sexo: F não significativo, o que
sugere que o sexo do participante
não influenciou a escolha da pessoa
que tentou engatar na discoteca.

Valor total, ignorando a quantidade


de cerveja consumida.

Há um efeito significativo do
consumo de cerveja: F é altamente
significativo, o que sugere que a

Há um efeito significativo de interação entre o efeito do quantidade de cerveja consumida afetou significativamente a
consumo de cerveja e o efeito do sexo: F é altamente escolha da pessoa que o participante tentou engatar na
significativo, o que sugere que o efeito do consumo de cerveja discoteca.
na escolha da pessoa que o participante tentou engatar na
Valor total, ignorando o sexo 63
discoteca foi diferente para homens e para mulheres.

Não há um efeito significativo do


sexo: F não significativo, o que
sugere que o sexo do participante,
ser homem ou mulher, não
influenciou a escolha da pessoa que
tentou engatar na discoteca.

Valor total, ignorando a quantidade


de cerveja consumida.

Não precisaríamos de consultar o sexo/género,


porque não há diferenças significativas
Há um efeito (principal) significativo do consumo de cerveja: F é
altamente significativo, o que
sugere que a quantidade de
cerveja
consumida afetou
significativamente a escolha da
pessoa que o participante tentou
engatar na
discoteca.

Valor total, ignorando o


sexo.

Valor total, ignorando o


sexo

Os participantes que
consumiram 2 litros de
cerveja engataram pessoas
menos atraentes do que
aqueles que consumiram 1
litro de cerveja e do que
aqueles que não
consumiram. 64
Há um efeito significativo de interação
entre o efeito do consumo de cerveja e o
efeito do sexo: F é altamente significativo, o
que sugere que o efeito do consumo de
cerveja na escolha da pessoa que o
participante tentou engatar na discoteca foi
diferente para homens e para mulheres.

O teste de comparações múltiplas,


com correções Bonferroni,
evidenciou que os homens que
consomem 2 litros de álcool
parecem

2ª interpretação: em média a atratividade dos engates das


mulheres é superior aos homens quando ambos bebem 2 L de
cerveja
escolher engates menos atraentes do que as mulheres que
consomem a mesma quantidade de álcool.

E aqui? O que nos diz o output?


Compara grupos de consumo entre o mesmo sexo
Vamos olhar só para o grupo das mulheres ou dos homens e
ver se há diferenças entre níveis de consumo, enquanto a
tabela anterior apenas nos dava a informação entre homens e
mulheres.

Esta tabela só interessa se, além de querermos saber as


diferenças entre géneros com o consumo de álcool, também
quisermos saber se dentro do grupo dos homens/ das
mulheres o consumo do álcool influencia a escolha do
parceiro

Nas mulheres a escolha de um parceiro mais atraente não teve


a ver com o álcool

Nos homens teve a ver com o álcool: os que consomem mais


álcool escolheram engates menos atraentes do que aqueles que
consumiram menos álcool

65
Redação e apresentação dos resultados:
Quando reportamos uma ANOVA, apresentamos o F-ratio e os graus de liberdade (variável e erro); a
significância (α-level) e o effect size (partial eta squared, ηp2) – na one-way é o ómega

Primeiro reportamos efeitos principais, começando pelo significativo (se forem todos significativos
podemos seguir a ordem na tabela). Só depois é que reportamos a interação (Se não houver efeitos
principais significativos e só houver interação, temos de dizer à mesma primeiro que não efeitos
principais e só depois a interação).

→ A Análise de Variâncias (ANOVA) evidenciou um efeito significativo da quantidade de cerveja


consumida na discoteca, na atratividade do parceiro que os participantes escolheram nessa
noite, F(2, 42) = 20.07, p < .001, ηp 2 = .49. Não se verificou um efeito significativo do sexo
na atratividade
do que os
participantes
engataram, F(1,
42) = 2.03, p
= .161, ηp 2
= .05.

Se o SPPS na tabela tiver


standard error temos de
calcular à mão o desvio
padrão

DP= Standard erro x √��

Efeito do consumo de
cerveja

O Teste de comparações
múltiplas, com correções
Bonferroni, revelou que os
participantes que consumiram
2 litros de cerveja (M=46.56, DP=14.34) engataram pessoas significativamente menos atraentes do
que aqueles que consumiram 1 litro (M = 64.69, DP = 9.91) e do que aqueles que não consumiram (M
= 63.75, DP = 8.47)

66

Efeito de interação

Houve um efeito significativo de interação entre o efeito do consumo de cerveja e o efeito do sexo,
F(2, 42) = 11.91, p < .001, ηp 2 = .36. Estes resultados sugerem que homens e mulheres foram
afetados de forma diferente pelo consumo de cerveja. O teste de comparações múltiplas, com
correções Bonferroni, evidenciou que os homens que consumiram 2 litros de cerveja (M = 35.63, DP
= 10.84) escolheram engates menos atraentes do que as mulheres que consumiram a mesma
quantidade de cerveja (M = 57.50, DP = 7.07). (As mulheres parecem manter os standards de
exigência na escolha do parceiro da noite!)

Aula Prática
One-way ANOVA
Existem evidências científicas de que a terapia assistida por animais tem efeitos positivos na saúde
mental infantil (Hoagwood, Acri, Morrissey, & Peth-Pierce, 2017). Contudo, os resultados existentes
são bastante inconsistentes.

Assim, suponhamos que queríamos contribuir para esta literatura através da realização de um estudo
em que alocávamos aleatoriamente os participantes em três grupos:

1. G1 - Grupo de Controlo (grupo em que se utilizam métodos de tratamento habituais; grupo


em que não se utiliza nenhum tratamento; ou grupo placebo

67
[e.g., se a hipótese estivesse relacionada com cães, podia ser um gato disfarçado de cão]);
2. G2 Grupo de Baixa Dosagem – 15 minutos de terapia assistida com um cão bebé;
3. G3 Grupo de Alta Dosagem – 30 minutos de terapia assistida com um cão bebé.

A variável dependente foi uma medida de felicidade que variava de 0 (tão infeliz quanto posso
imaginar ser) a 10 (o mais feliz que posso imaginar ser)

Testar os efeitos da terapia assistida por animais na saúde mental infantil utilizando três grupos:

• Grupo de controlo (sem terapia assistida por animais)

• Grupo de Baixa Dosagem (15 min de terapia assistida por animais) • Grupo de
Alta Dosagem (30 min de terapia assistida por animais)

Outcome/Variável Dependente (DV): medida de felicidade (0 – 10)

Hipóteses:

• Qualquer forma de terapia assistida por animais deve ser melhor do que o controlo (isto é,
pontuações de felicidade mais altas)

Dados no ficheiro Puppies.sav (e-campus)

Os dados

Questões de investigação:

• Existem diferenças significativas ao nível da felicidade em função da utilização de terapia


assistida por animais?
68
Exercício:

• Teste a hipótese subjacente à questão formulada.

• Redija devidamente os resultados, indicando que valores descrevem os efeitos encontrados.

• Calcule o poder estatístico da análise conduzida descrevendo os passos que deu e os resultados
que obteve.

→ A Análise de Variâncias (ANOVA) evidenciou que existe um efeito significativo do da terapia


com cães bebés nos níveis da felicidade das crianças, F(2, 14) = 5.12, p < .05, ω = .60
→ O Teste Post-Hoc com correções Bonferroni revelou que aqueles que foram alvo de terapia
com os cães bebés durante 30 min (M = 5.00, DP = 1.58) têm níveis mais elevados de
felicidade do que aqueles do grupo de controlo (M = 2.20, DP = 1.30).”

Two-way ANOVA
Os gostos musicais das pessoas tendem a mudar à medida que envelhecem.

Suponhamos que queríamos testar esta crença através de um estudo em que alocávamos
aleatoriamente os participantes em dois grupos (Idade). Cada grupo etário foi ainda dividido em 3
grupos, de acordo com o estilo de música que ouviram (Musica):

Variável Dependente: Cada participante avaliou de -100 (detesto esta música) a 0 (esta música é-me
completamente indiferente) a + 100 (adoro esta música)

Base de dados: musica.sav

Exercício:

• Realize uma ANOVA Two-Way

• Redija devidamente os resultados, indicando que valores descrevem os efeitos encontrados

69
Efeito principal do estilo de música
A Análise de Variâncias (ANOVA) evidenciou um efeito significativo do estilo de música que os
participantes ouviram, na avaliação da preferência da música, F (2, 84) = 105, 620, p < .001, ηp 2
= .715. Não se verificou
um efeito significativo
da idade na avaliação
da preferência da
música, F(1, 84) = .002,
p = .966, ηp 2 = .000.

O Teste de comparações
múltiplas, com correções
Bonferroni, revelou que
os
participantes que
ouviram U2
(M=62,003, DP=34.1)
relataram gostar mais
/preferir a música que
ouviram (ou: avaliaram a
musica que ouviram
significativamente mais
alto)
do que aqueles que ouviram
Ed Sheeran (M = 1.4, DP =
34.1) e do que aqueles que
ouviram LMFAO (M = -4.833,
DP = 34.1)

Efeito de interação
70

Verificou-se também um efeito significativo de interação entre o grupo etário e o estilo de música,
F (2, 84) = 400.97, p < .001, ηp 2 = .905. Estes resultados sugerem que a preferência musical dos
participantes com idades entre 0-40 anos e participantes com idades superiores a 40 anos foi
influenciada de forma diferente pelo estilo de música. O teste de comparações múltiplas, com
correções Bonferroni, evidenciou que os participantes 0-40 gostaram mais de ouvir LMFAO (M=
66.20, DP=48.22) do que os participantes 40+ (M=-75.867, DP=48.22) e os participantes 0-40
reportaram gostar menos de ouvir Ed Sheeran (M=-71.467, DP=48.22) do que os participantes 40+
(M=74,267, DP=48.22). Não houve diferenças significativas entre os grupos etários ao nível da
preferência por U2 (M0-40=64.133, DP=48.22; M40+=59,933, DP=48.22).
71
Dentro dos grupos etários, os participantes 0-40 que ouviram Ed Sheeran (M= -71.467; DP= 48.22)
relataram gostar menos da música do que os que ouviram LMFAO (M = 66.2, DP = 48.22) e do que
os que ouviram U2 (M= 64.133; DP= 48.22), enquanto os participantes 40+ que ouviram LMFAO
(M = -75,867, DP = 48.22) relataram gostar menos da música do que os que ouviram Ed Sheeran
(M= 74.267; DP= 48.22) e do que os que ouviram U2 (M= 54.933; DP= 48.22).

NOTA: USEI AS TABELAS DAS ESTIMATIVAS MAS É MELHOR USAR LOGO A SEGUNDA
TABELA QUE APARECE QUE JÁ ME DÁ AS MÉDIAS E O DESVIO PADRÃO

ANOVA Fatorial
Repeated measures (related) factorial design
Várias variáveis independentes ou preditores, sendo que os mesmos participantes foram avaliados
em três ou mais momentos temporais (ou condições experimentais).

Repeated-measures (RM) ANOVA


O que é uma RM ANOVA?
Uma ou mais variáveis independentes

• One-way Repeated-measures ANOVA (1 VI)

• Two-way Repeated-measures ANOVA (2 VIs)

• Three-way Repeated-measures ANOVA (3 VIs

Os mesmos participantes em todas as condições

• Repeated-Measures = “os mesmos participantes”

• A.k.a “within-subjects”

O que há de novo?
Conceito de Esfericidade
A precisão do teste F (F-ratio) depende do pressuposto de que os resultados das diferentes condições
experimentais são independentes.

Na ANOVA para medidas repetidas este pressuposto é violado; os resultados das diferentes condições
experimentais estão provavelmente relacionados porque são provenientes dos mesmos participantes.
Assim, o teste F convencional torna-se pouco preciso e deve ser gerado um novo pressuposto.

No pressuposto da Esfericidade presume-se que a relação entre pares de condições experimentais é


semelhante. A esfericidade refere-se, assim, à igualdade das variâncias das diferenças entre
condições experimentais. Ou seja, a diferença de cada par de condições experimentais tem
aproximadamente uma variância igual.

Mauchly’s test Em substituição do teste de Levene

72
Mauchly’s test
• Significativo (p < .05) = Há diferenças significativas = pressuposto violado • Não significativo (p
> .05) = Não há diferenças significativas = pressuposto verifica-se.

O SPSS produz correções com base nos pressupostos de esfericidade definidos por:

• Greenhouse e Geisser (1959)

• Huynh e Feldt (1976)

Ambos geram uma correção aplicada aso graus de liberdade utilizados para analisar
o F-ratio

Três soluções possíveis (para quando o pressuposto é


violado): 1. Correção Greenhouse-Geisser
Na aula falámos que quanto mais próximo de o Greenhouse Geisser, menos
podemos confiar nele, por isso o não queremos que haja esfericidade ou
queremos?
a. Varia entre 1/k – 1 (k é o nº de condições experimentais) e 1
b. Quanto mais próximo de 1, mais homogénea é a variância das diferenças.
Consequentemente, os dados estão mais próximos de serem esféricos
c. Limitação apontada: Valores de Greenhouse-Geisser superiores a .75 podem não ser
muito confiáveis – correção muito conservadora, pelo que pode não detetar efeitos que
existem genuinamente
2. Correção Huynh-Feldt
a. Utilizar quando os valores de Greenhouse-Geisser são superiores a 0.75

3. MANOVA
a. Outra solução possível é reportar os testes multivariados (MANOVA), pois estes não
estão dependentes do pressuposto de esfericidade.

Exemplo – Repeated-measures ANOVA com 1 Variável Independente Questão: Que tipo


de “comida selvagem” é mais repugnante (inseto (bicho-pau), testículo de canguru, olho de peixe ou
larvas de mariposa)?

Racional: Programa de TV onde celebridades têm de sobreviver na selva australiana, para tal
procurando a sua própria “comida selvagem”.

Amostra: 8 celebridades

73
Procedimento: Um dos desafios das 8 celebridades passa por comerem quatro tipos de “comida
selvagem”, em ordem contrabalançada: bicho-pau, testículo de canguru, olho de peixe e larvas de
mariposa. Em cada ocasião medimos (em segundos) o tempo que demoraram até vomitar.

Design: cada participante comeu todas as comidas;

• Variável independente = tipo de comida ingerida;

• Variável dependente = tempo até vomitar.

Base de dados Survive.sav (e-campus)

Passos: RM ANOVA com 1 VI


Analyze > General Linear Model > Repeated Measures
Dar o

nome ao fator que vai ser avaliado intra-sujeitos e quantos níveis tem.

74
Vai aparecer uma ordem e temos de colocar os níveis da VI a corresponder a um número dessa ordem:

Quando o pressuposto da esfericidade é violado, utiliza-se o método de correção de Bonferroni.


Das técnicas univariadas mais robustas, especialmente no que concerne ao controlo do poder estatístico e dos erros de Tipo I.
75
Como só há 1 VI, não vão existir interações pelo que podemos clicar logo no OK e não no Paste

76
Como proceder perante a violação do pressuposto de
Esfericidade?
Reportar o Huynh-Feldt se os
valores da Greenhous-Geisser
forem superiores a .75
Opção 1

Redação e apresentação dos resultados


Solução 1
Neste exemplo, uma vez que o teste de Mauchly’s foi significativo, utilizamos os valores de
esfericidade de Greenhouse–Geisser e reportamos da seguinte forma:

Apresentamos o F-ratio (na tabela de Tests of Within-subject effect, na linha do Greenhouse-Geisser)


e os graus de liberdade (variável e erro – está na parte de baixo da tabela); a significância (α-level) e
o effect size (partial eta squared, ηp2).

77
“A Análise de Variâncias (ANOVA) evidenciou que o tempo até vomitar não foi influenciado
pelo tipo de animal ingerido, F(1.60, 11.19) = 3.79, p = .063, ηp2 = .35.”
Solução 2
Vimos anteriormente que, quando o pressuposto de esfericidade é violado (o teste de Mauchly é
significativo), existe outra solução para a interpretação dos dados:

• Reportar os testes multivariados (MANOVA), uma vez que estes não se regem pelo
pressuposto da esferecidade.
• Há 4 estatísticas de teste, mas na maioria das situações reporta-se o Pillai’s trace.
o Reportamos o valor de V (Value), assim como o valor do F, os graus de liberdade
(variável e erro) e a significância (α level)

Se reportarmos os valores do teste Mauchly devemos incluir o “chi-square”, os graus de liberdade e


a significância. Reportam-se ainda, nesta versão, os graus de esfericidade (épsilon value):

O teste de Mauchly indicou que o pressuposto da esfericidade foi violado, χ2(5) = 11.41, p
= .047, sendo que a estimativa de esfericidade de Greenhouse Geisser revelou um desvio
substancial (ε= .53).

78
Deste modo, reportam-se os testes multivariados. Estes resultados demonstram que o tempo
até vomitar foi significativamente afetado pelo tipo de animal ingerido, V =.94, F(3,5)=26.94,
p<.01, ηp2= .94.
O tempo até vomitar foi
significativamente superior após
a
ingestão do inseto bicho-pau
(M=8.13, DP=2.23), em
comparação
com a ingestão do testículo do
canguru (M=4.25, DP=1.83) e
do
olho de peixe (M=4.13,
DP=2.75),
mas não comparativamente à
ingestão das larvas de mariposa
(M=5.75, DP=2.92). O tempo
até
vomitar após a ingestão do
testículo
de canguru não diferiu
significativamente do tempo até
vomitar após a ingestão do olho
de
peixe ou das larvas. Por último o
tempo até vomitar após a ingestão
do olho de peixe não diferiu
significativamente do tempo até
vomitar após a ingestão das larvas
de mariposa.
Mas se nos guiássemos pelo Greenhouse
Geisser seria um falso negativo certo?
Nota Final
• Estes dados ilustram a importância de utilizarmos um F-ratio válido: pode potencialmente
significar a diferença entre cometermos um erro de Tipo I (falso positivo) ou não
• Percebemos também o argumento defendido por muitos estatísticos de que a utilização de um

nível de significância de .05 é extremamente arbitrário • Os resultados deste exercício mostram que
as correções aplicadas geram valores de significância estatística que diferem apenas por .015,
mesmo assim, levam a conclusões completamente opostas
• Por este motivo, muitas vezes em estatística importa mais o tamanho do efeito (Effect size) do
que o grau de significância.

79
• Nestes casos em que o pressuposto da esfericidade é violado, podemos optar, então, por reportar
os testes multivariados (MANOVA), dado que estes não se regem pelo pressuposto da
esfericidade.
Exemplo – Repeated-measures ANOVA com 2 Variáveis Independentes Racional: Existem
evidências científicas de que as atitudes da população em relação a determinados estímulos podem ser
alteradas através da utilização de imagens positivas e negativas (Field, 2005c; Stuart, Shimp, & Engle,
1987).

O que queremos saber: A publicidade influencia as atitudes da população em relação ao álcool?

1. Utilizar imagens negativas em publicidade pode mudar as atitudes da população em relação ao


álcool?
2. Utilizar imagens positivas em publicidade poderá melhorar as atitudes da população em relação
ao álcool?

O que vamos testar?

Os efeitos da publicidade na avaliação de diferentes tipos de bebidas Procedimento:

Os participantes viram um total de nove anúncios falsos ao longo de três sessões. 1ª Sessão –
participantes viram três anúncios:

(1) uma marca de Cerveja apresentada com uma imagem negativa (2) uma marca de
Vinho apresentada com uma imagem positiva (3) uma marca de Água apresentada ao
lado de uma imagem neutra

80

Você também pode gostar