Escolar Documentos
Profissional Documentos
Cultura Documentos
AULA 6
12/11/2020
Isabel Santos 1
TESTES/ESCALAS/PROVAS PSICOLÓGICAS
ESCALAS DE RESPOSTA
Isabel Santos 2
PRINCIPAIS TIPOS DE ESCALAS DE
RESPOSTA
– Likert
– Visuo-analógicas
– Thurstone
– Guttman
– De diferencial semântico
– De escolha forçada
– Dicotómicas
Isabel Santos 3
ESCALAS DE TIPO LIKERT
• Composta por afirmações, em que os respondentes devem
indicar concordância/discordância, ou frequência, numa escala
de intensidade crescente ou decrescente
• Cada item é medido numa escala de tipo ordinal (sistema de
Stevens)
• Incluem vários itens, que em conjunto (i.e., através do seu
somatório ou média) produzem uma determinada “nota” ou
pontuação (obs.: esta pontuação total é frequentemente tratada como uma variável
intervalar [sistema Stevens])
Isabel Santos 4
Escalas de tipo Likert
Exs.:
Isabel Santos 5
Retirado de Cunha, L. M. A. (2007). Modelos Rasch e Escalas de Likert e Thurstone na medição de atitudes. Dissertação de Mestrado. Univ.Lisboa, Lisboa.
Isabel Santos 6
Isabel Santos 7
ESCALA VISUO-ANALÓGICA (EVA ou VAS)
• Idêntica à de Likert, mas pode assumir-se que cada item é uma variável
contínua (e não discreta, como nas escalas de Likert).
Ex. 0 _________________________________________________________ 10
Uma escala pode ser composta por vários itens assim medidos e a pontuação
total pode obter-se por soma dos itens.
Isabel Santos 8
ESCALA VISUO-ANALÓGICA
exemplos
Isabel Santos 9
ESCALA VISUO-ANALÓGICA
Isabel Santos 11
Isabel Santos 12
No ex. acima, os factores de ponderação encontram-se na coluna da
esquerda (mas não são impressos na escala a administrar)
Isabel Santos 14
ESCALA DE TIPO THURSTONE
2. Método dos Intervalos Sucessivos ou Julgamento
Categorial
2) Com base na classificação dos juízes encontra-se uma média para cada
item (factor de ponderação). Os itens com DP muito elevado e que não
tenham distribuição normal são eliminados visto haver grande
discordância entre juízes. Os itens retidos apresentam os diferentes
coeficientes de ponderação encontrados, com base nos quais se calcula
a nota do indivíduo.
Isabel Santos 15
ESCALA DE TIPO THURSTONE
Isabel Santos 16
ESCALA DE TIPO GUTTMAN OU
CUMULATIVA
→ Mede a intensidade da atitude com base num conjunto de itens.
Isabel Santos 19
Isabel Santos 20
ESCALAS DE ESCOLHA FORÇADA
• Pede-se ao respondente que escolha entre duas afirmações que sejam
igualmente “apelativas”.
Isabel Santos 21
ESCALAS DICOTÓMICAS
Escalas de escolha forçada em que o respondente tem de escolher entre duas
respostas antagónicas, do tipo sim-não; certo-errado; falso-verdadeiro.
Isabel Santos 22
ESCALAS DICOTÓMICAS
Isabel Santos 23
CONSTRUÇÃO DE UM INSTRUMENTO DE
AVALIAÇÃO PSICOLÓGICA
Isabel Santos 24
Retirado de Almeida e Freire (2007)
Isabel Santos 25
Recolha dos itens
• A construção de um teste inicia-se pela recolha de um conjunto de itens
Isabel Santos 26
Formulação dos Itens
• Através da operacionalização do construto em termos de comportamento
manifesto, vamos formular um 1º conjunto de itens para a prova
• Este conjunto deve ter aproximadamente o dobro dos itens desejados
para a versão final do instrumento
– Uns vinte itens poderão ser necessários para cumprir um equilíbrio entre
validade e consistência. Tendo este nº em mente, o processo de construção
deve iniciar-se com o dobro dos itens.
• Neste momento deve decidir-se:
1. Nº de itens a incluir na versão final
2. Grau de dificuldade dos itens ou grau de intensidade dos comportamentos
em função dos sujeitos e dos objetivos a que se destina
3. A forma (muito/pouco estruturados, etc.) e o conteúdo dos itens
4. Forma de aplicação do teste (ex., aplicação individual/colectiva, auto-
administrados, etc.)
Isabel Santos 27
Formulação dos Itens
• É importante ter as instruções, os exemplos e os exercícios de treino (se
houver) definidos antes de avançar para qualquer aplicação, para
assegurar a validade dos resultados
Isabel Santos 28
Princípios relevantes na formulação dos itens
1. Formulação objetiva, ao nível do:
a) conteúdo (evitar impressões e focar-se nas capacidades,
comportamentos e atitudes objectivas do sujeito)
b) escala de resposta (uma escala de Likert de 9 pontos pode fazer
com que seja difícil precisar os vários pontos intermédios)
Isabel Santos 29
Princípios relevantes na formulação dos itens
4. Itens formulados para a amplitude do domínio que se quer
avaliar
– Captar o grau de variedade específico do domínio: ex., itens fáceis,
médios e difíceis em testes de aptidão; diferentes graus do sintoma
num teste de ansiedade; etc.
5. Itens credíveis (face validity ou validade aparente), para
evitar atitudes desfavoráveis ao teste
– O item não deve parecer ridículo, despropositado ou infantil, no caso
de testes para adultos, por ex.
6. Itens claros e inteligíveis, mesmo para extratos sócio-
demográficos mais baixos da população a que se destinam
– Frases curtas, expressões simples, etc.
– Itens que se reportam a comportamentos e não a abstrações
Isabel Santos 30
Análise e seleção dos itens
• Podem-se conduzir vários estudos exploratórios qualitativos
(1º) e quantitativos (2º), que levem a reformulações,
acrescento ou exclusão de itens, ou parâmetros
comportamentais a examinar.
ANÁLISES QUALITATIVAS
• Análises realizadas para avaliar o conteúdo e a forma dos itens
(clareza, compreensibilidade e adequação aos objetivos da
prova)
• POSSIBILIDADES MAIS COMUNS:
– Consulta de especialistas com experiência prática no domínio
– “Reflexão Falada” (“Thinking Aloud”)
– “Focus Group”
Isabel Santos 31
Consulta de especialistas
EXEMPLO DE CRITÉRIOS PARA UMA APRECIAÇÃO QUALITATIVA DE ITENS (Angleitner,
John & Lohr, 1986, p. 85, cit. por Alferes, 1997, p. 126)
A) COMPREENSIBILIDADE
1. Compreende imediatamente o item após a primeira leitura
2. Depois da primeira leitura, tem de voltar a ler algumas partes do item
3. Depois da primeira leitura, pelo menos uma parte do item é completamente incompreensível
4. Para compreender o item, tem de aplicar conscientemente regras gramaticais ou lê-lo pelo menos 3
vezes
B) AMBIGUIDADE
1. O item não comporta qualquer ambiguidade
2. Só sendo muito exigente se poderá descobrir uma ligeira ambiguidade, a qual, contudo, não tem
consequências práticas
3. Se lermos cuidadosamente o item e refletirmos sobre as possíveis respostas, torna-se evidente que o
item não pode ser respondido sem ambiguidade
4. O item é obviamente ambíguo
C) ABSTRAÇÃO
1. o item é concreto em todos os seus aspetos
2. Os aspetos mais importantes do item estão redigidos em termos concretos; a impressão global é
concreta;
3. Os aspetos importantes do item estão redigidos em termos abstratos: a impressão global é abstrata;
4. O item não tem qualquer referência concreta
Isabel Santos Avaliação Psicológica 2017/2018 32
Método da Reflexão Falada
Isabel Santos 33
Método da Reflexão Falada - Vantagens
5. Conhecimento das atitudes gerais dos sujeitos face aos itens propostos
ao longo da prova
Isabel Santos 34
Método da Reflexão Falada - Vantagens
Isabel Santos 35
Método da Reflexão Falada - Desvantagens
Isabel Santos 36
Focus Group
• Objetivo:
– Avaliar formas alternativas de construir itens ou mesmo,
numa fase inicial, para auxiliar na construção dos itens
Isabel Santos 37
Análise e seleção dos itens
• Após refinamentos/alterações introduzidos na escala/prova
decorrentes das análises qualitativas, vai-se administrar a
versão provisória resultante a uma amostra extraída da
população a quem se destinará a escala final
Isabel Santos 38
ANÁLISES QUANTITATIVAS DOS ITENS:
1) Índice de dificuldade ou dispersão das respostas numa amostra de sujeitos
avaliados – da maior pertinência em testes de desempenho
[análises relacionadas com a “validade interna” do item e com a consistência interna da prova/escala:]
Isabel Santos 41
1. Índice de Dificuldade (ID)
Assim, um teste de desempenho deverá incluir:
Então, fará sentido reter mais itens nesse grupo, mas não todos… Com efeito,
num teste também fazem falta:
Assim:
ID ˂ 0.25-0.30 → dificuldade elevada
Isabel Santos 45
1. Índice de Dificuldade (ID)
Cuidados a ter!
Respostas ao acaso afetam objetividade da avaliação:
Não podemos dizer que a nota final é apenas fruto da capacidade
resolutiva do sujeito ou “nota verdadeira”.
Este problema agrava-se com um número reduzido de alternativas de
resposta a cada item.
Isabel Santos 46
1. Índice de Dificuldade (ID)
Cuidados a ter!
Gronlund (1976) calculou nível médio de dificuldade dos itens
dado o nº de alternativas
Isabel Santos 47
2. Poder Discriminativo
• Grau em que o item diferencia no mesmo sentido que o teste
global (melhores desempenhos no teste correspondem a melhores
desempenhos no item e vice-versa)
Isabel Santos 48
2. Poder Discriminativo
• Poder Discriminativo é dado por um coeficiente de
correlação (varia entre -1.0 e +1.0)
– Valor de 0.0 = poder discriminativo nulo (i.e., igual nº de sujeitos
fortes e fracos acertam ou falham o item)
– Coeficiente negativo: sujeitos com pior desempenho no teste global
realizam melhor o item.
– Coeficiente positivo: sujeitos com melhor desempenho no teste global
realizam melhor o item.
Isabel Santos 49
2. Poder Discriminativo
• O poder discriminativo pode ser calculado através de um
coeficiente de correlação bisserial quando a resposta ao
item é de tipo dicotómica (certo ou errado) (fórmula Glass & Stanley,
1970)
Isabel Santos 50
2. Poder Discriminativo
Procedimento “grupos constrastantes”:
• Formar um grupo superior (25% que teve melhor resultado
no teste) e um grupo inferior (25% que teve pior resultado no
teste);
• A capacidade discriminativa do item corresponde à diferença
entre os que responderam corretamente ao item nos 25%
superiores e os que respoderam corretamente nos 25%
inferiores.
Isabel Santos 51
Relação entre índice de dificuldade e poder discriminativo
• Itens muito fáceis ou muito difíceis têm menor capacidade de
discriminação dos sujeitos entre si
• Itens de dificuldade média permitem, à partida, níveis mais
elevados de discriminação
• Em termos de poder discriminativo, interessa manter itens
com coeficiente positivo e o mais elevado possível
• Em termos de dificuldade, interessa que a maioria dos itens
tenha um nível intermédio, e que existam alguns muito fáceis
e alguns muito difíceis
• Entre dois itens igualmente úteis em termos de dificuldade,
manteríamos o que tivesse maior poder discriminativo
Valores mais elevados de poder discriminativo associam-se a coeficientes de
fidelidade mais elevados (vão no sentido da maior homogeneidade da prova).
Isabel Santos 52
3. Coeficiente alfa de Cronbach excluindo o item
O Coeficiente alfa de Cronbach é um dos indicadores de
consistência interna de uma escala. Quanto mais elevado o seu
valor (máximo 1), tanto maior a consistência interna, o que
contribui para a precisão/fiabilidade de uma escala.
Isabel Santos 53
4. Correlações inter-item
O resultado num item está relacionado com as respostas aos
demais itens?
Através da determinação de uma matriz de inter-correlações
entre os vários itens de uma escala, pode apreciar-se a
magnitude dos coeficientes encontrados.
As correlações devem ser moderadas (nem muito elevadas,
nem demasiado baixas)
Deve ponderar-se excluir:
– Itens nada correlacionados com outros → porque talvez não estejam
relacionados com o constructo medido pelos restantes itens,
colocando em causa a homogeneidade da escala;
– Itens que exibam correlações muito elevadas com algum outro item →
porque são provavelmente redundantes
Isabel Santos 54
5. Correlações com critérios externos
E.g., outra prova, notas escolares, diagnósticos clínicos, etc…
(VALIDADE “EXTERNA” do item) ≠ VALIDADE INTERNA (e.g., poder discrim.)
Relação entre as respostas dos sujeitos a um item e seu
desempenho numa outra situação que não esse teste (variável
critério).
Múltiplos critérios externos podem ser usados nestas análises,
dependendo da disponibilidade, do construto avaliado e dos
objetivos de construção da prova:
Em provas de desempenho usam-se notas escolares ou parâmetros de
realização profissional.
Em escalas de desenvolvimento recorre-se frequentemente à própria
idade ou progressão nas aprendizagens
Em testes de personalidade o recurso mais habitual tem sido o
diagnóstico psicopatológico ou diferentes medidas de adaptação
psicossocial dos sujeitos.
Isabel Santos 55
5. Correlações com critérios externos
Também é possível recorrer a provas similares já existentes e
previamente validadas.
Os procedimentos de cálculo são diversos.
Isabel Santos 56
Validade interna vs. Validade externa
• Validade interna = consistência ou homogeneidade da prova
• Validade externa = ligação à prática, poder preditivo do
comportamento
• Ambos os indicadores devem ser o mais elevados possível,
mas…
• Nem sempre se verifica esta coincidência…
=> Então por qual optar?
• Ter em consideração os objetivos da prova, a que fim se
destina e o que foi inicialmente definido em termos da
operacionalização do construto:
– Unidimensional = ênfase colocado na validade interna
– Multidimensional = ênfase colocado na validade externa
Isabel Santos 57
Organização dos itens na prova
Isabel Santos 58
Bibliografia específica
Almeida, L., & Freire, T. (2007). Metodologia da investigação
em psicologia e educação (4ª ed.). Braga: Psiquilibrios.
Alferes, V. R. (1997). Investigação científica em psicologia:
Teoria e prática. Coimbra: Almedina.
[o autor disponibiliza on-line ao livro integral em PDF:
http://www.researchgate.net/publication/259306912_Investigao_cientfica_em_psicologia_
Teoria_e_prtica]. Ver pp. 124-126 sobre a construção de escalas de atitudes
Leitura complementar:
• Pais Ribeiro, J.L. (2010). Investigação e avaliação em
psicologia e saúde (2ª ed.). Lisboa: Climepsi Editores
[Pontos sobre “Como se constrói uma escala” e outros do cap. “Construção de
testes”]. Obs.: é possível aceder ao texto integral PDF, on-line (p.e.x.: http://sp-
ps.pt/uploads/publicacoes/114_c.pdf )
Isabel Santos 59