Avaliação das Qualidades

Psicométricas de uma Escala

Seminário de Investigação
Maria João Alvarez
2019-2020
 A or
Sensibilidade Psicométrica
Sensibilidade significa a capacidade que o item tem para discriminar participantes
totalmente diferentes.
Para avaliar a sensibilidade importa verificar que tipo de distribuição tem os itens.

I. Medidas de Tendência Central - indicam o valor ou medida central dos dados (média,
mediana, moda…)

II. Medidas de Dispersão - dizem-nos se as respostas são muito homogéneas ou

heterogéneas, isto é, se têm pouca ou muita dispersão. A medida de dispersão mais usada
é o desvio padrão

III. Medidas de Forma – dizem-nos o grau de distorção da distribuição em relação à

distribuição simétrica. As duas medidas de forma mais usadas são:
Assimetria – Skewness – Permite analisar a distribuição dos dados relativamente ao
ponto central (média) A situação ideal em psicometria é a distribuição ser simétrica, ie estes
pontos coincidirem.
– + assimetria à direita (são enviesadas à esquerda)
– 0 simétrica
– - assimetria à esquerda (são enviesadas à direita)
 Sensibilidade Psicométrica

Simétrica
10

5
Simétrica

0
1 2 3 4 5

Assimétrica à direita Assimétrica à esquerda

10 10
5 Assimétrica 5 Assimétrica
à direita à esquerda
0 0
1 2 3 4 5 1 2 3 4 5
 A or
Sensibilidade Psicométrica

Achatamento – Kurtosis – O grau de achatamento de uma distribuição. Ou

o quanto uma curva de frequência será achatada em relação a uma curva
normal de referência.
– + Leptocúrticas – concentrada num ou em poucos pontos
– 0 Mesocúrticas – distribuição normal
– - Platocúrticas – todas as respostas têm a mesma frequência

Os itens têm elevada sensibilidade quando:

Sk = 0 assimetria e Ku = 0 achatamento

Critério: Valores acima de 3 na skewness e 7 na kurtosis são complicados

 Sensibilidade Psicométrica

Leptocúrtica
20
15
10
5
Mesocúrtica
0
1 2 3 4 5 15
10
Platocúrtica 5
3 0
2 1 2 3 4 5

1
0
1 2 3 4 5
 A or
Sensibilidade Psicométrica

IV. Medidas de Associação – para a avaliação da correlação entre dois

contructos

Para a variação comum de duas variáveis quantitativas utiliza-se o Coeficiente

de correlação de Pearson. Varia entre -1 e + 1.
Habitualmente em Psicologia considera-se:
Correlação < 0.1 fraca
0.3 média
> 0.5 forte
Quando pretendemos avaliar dois constructos é bom que a correlação esteja
perto de 0, para que sejam de facto constructos diferentes.
Para a variação comum de duas variáveis qualitativas usa-se o Coeficiente de
Correlação de Spearman (para 2 variáveis ordinais) e o V de Cramer para
variáveis nominais (Analyze > Descriptive > Crosstabs).
 A or
Estudo Prático

1º Analisar por item as medidas de tendência central, de

dispersão e de forma
• Analyse
• Descriptive Statistics
• Frequencies
• Statistics escolher:
• Median
• Mode
• Mean
• Minim
• Maxim
• Skewness + Kurtosis são os elementos mais importantes
• Charts
• Histograma com Curva Normal
 A or
Estudo Prático

• Os itens 6 e 13 são dois itens complicados.

• O que fazer agora? Os itens devem sair da análise?

• 1º deve olhar-se para os itens (lê-los, percebê-los)

• Item 6 Tenho vindo a desinteressar-me pelos meus estudos desde que
ingressei na universidade Como são estudantes do 2º ano, e entre o 1º e o
2º ano os desinteressados saem, por isso não discrimina, não é sensível.

• Item 13 Sinto-me estimulado quando alcanço os meus objectivos escolares

Todos se sentem estimulados, por isso o item não é sensível.
 Estudo Prático

• Relatório dos Resultados: A caracterização descritiva dos itens da MBI-SS é

apresentada no quadro 1 onde se encontram os valores medianos (Me), moda (Mo),
assimetria (Sk) e achatamento (Ku).

Itens Me Mo Sk Ku
It1 3,00 2 ,090 -,746
It2 3,00 2 ,168 -1,047
It3
Quadro 1 – Mediana (Me), 2,00 2 ,518 -,619
It4 1,00 1 ,884 ,469
moda (Mo), assimetria (Sk) e It5 2,00 2 ,637 -,134
achatamento (Ku) para os 15 It6 ,00 0 2,088 4,454
It7
itens da MBI-SS, N = 335, Sesk= It8
1,00 0 1,611 2,638
1,00 0 1,737 2,747
0.133; Seku= 0.266 It9 1,00 0 1,641 2,395
It10 4,00 5 -,363 -,740
It11 4,00 5 -,289 -,845
(é controverso se os valores It12 4,00 5 -,338 -,613
de M e SD devem ser It13 6,00 6 -1,733 3,192
apresentados) It14 5,00 5 -1,111 1,355
It15 5,00 5 -,571 -,316
 A or
Estudo Prático

2º Analisar os totais das sub-escalas (a escala tem 3 sub-escalas)

• Transform
• Compute variable
• Target
• Atribuir um nome à sub-escala
• Ir a funções escolher Statistical e em baixo escolher a função Mean (carregar duas vezes)
• Depois enviar os itens da sub-escala (neste caso It1, It2, It3, It4, It5)
• Cria-se uma variável para a 1ª sub-escala (que neste caso se chama exaustão)
• Analyse
• Descriptive Statistics
• Frequencies (ou Descriptives e Options)
• Statistics escolher:
• Median
• Mode
• Mean
• Minim
• Maxim
• Skewness + Kurtosis são os elementos mais importantes
• Charts
• Histograma com Curva Normal
 Estudo Prático

• Relatório dos Resultados: A caracterização descritiva das sub-escalas da MBI-SS é

apresentada no quadro 2 onde se encontram os valores mínimos e máximos, média (M),
desvio-padrão (SD), assimetria (Sk) e achatamento (Ku).

Sub- Mínimo Máximo M SD Sk Ku

escalas
Quadro 2 – Valores Exaustão 0 6.00 2.42 1.22 .429 -.345
mínimos e máximos,
média, desvio-padrão, Descrença 0 6.00 1.04 1.19 1.817 3.558
assimetria (Sk) e
achatamento (Ku) das sub- Realização 0.83 6.00 4.13 .98 -.569 .407
escalas da MBI-SS, N = 335,
Sesk= 0.133; Seku= 0.266
 A or
Estudo Prático

3º Verificar se as dimensões (sub-escalas) são ou não independentes

(medidas de associação) Medem a mesma coisa ou coisas diferentes?
• Analyse
• Correlate
• Bivariate
• Options (means and standard deviations)

Quando as variáveis não têm um comportamento linear o Coeficiente de

Correlação de Pearson não é o mais indicado porque este avalia a relação
de associação linear entre duas variáveis. É necessário verificar a
existência de relação linear entre as variáveis (Graphs).
 A or
Estudo Prático

Relatório dos Resultados: Apresentação da tabela de correlações ou texto com a

explicitação das correlações encontradas.

Quadro I. Correlações entre as sub-escalas do MBI-SS

(1) (2) (3)

1. Exaustão --

1. Descrença .46** --

1. Eficácia -.22** -.37** --

**p < .001

Exemplo: a correlação entre a sub-escala de exaustão e a sub-escala de

descrença foi média, r = .46, N = 335, p < .001, entre exaustão e realização foi
negativa e fraca, r = -.22, N = 335, p < .001 e entre descrença e realização
negativa e de valor médio, r = -.37, N = 335, p < .001.
 A or
Validade

Validade: estamos a medir o que é suposto medir?

No estudo psicométrico de uma escala deve avaliar-se:

• Validade de Conteúdo
• Validade de Constructo
• Validade de Critério

Validade de Conteúdo: Avalia se os itens constituem uma amostra representativa do

domínio que se procura avaliar. É entendida como validade “face” e é avaliada por um
painel de especialista. Número recomendável de avaliadores: 10.

Validade de Constructo: Avalia a lógica da construção da escala. Se os itens tiverem

validade de constructo eles são manifestações do constructo.

Validade de Critério: Avalia em que medida o constructo está de acordo com um

determinado critério pré-estabelecido ou externo ao constructo. Avalia-se através da
Validade Preditiva, Validade Concorrente e outras Validades
 Validade A
deor
Constructo

• A Validade de Constructo é determinada pela Validade Factorial, Validade

Convergente e Validade Discriminante.

Há Validade Factorial quando um conjunto de variáveis manifestas se

associa a um menor número de variáveis latentes.

Há Validade Convergente quando os itens estão fortemente

correlacionados entre si.

Há Validade Discriminante quando os itens que definem um constructo

não estão relacionados com itens que medem um constructo diferente.
Por ex. as sub-escalas de um instrumento têm de estar correlacionadas,
mas não muito, pois não podem medir a mesma coisa, podendo ainda ter
correlações negativas.
 Validade A
deor
Constructo

Habitualmente avalia-se a Validade de Constructo através de:

• Análise Factorial Exploratória – quando não temos ideia prévia de
quantas sub-escalas ou dimensões a escala está a avaliar. Quando estamos
a construir uma escala de raiz
• Análise Factorial Confirmatória – quando temos uma ideia de quantas
dimensões ou factores a escala define

Validade Factorial: Como os itens têm de estar correlacionados a primeira

coisa que precisamos de verificar é se tal acontece. Um desses testes é o
KMO e outro o teste de Esfericidade de Bartlett. O KMO varia entre 0 e 1
(min > 0.5, recomendável > 0.8). No teste de esfericidade de Bartlett
pretendemos rejeitar H0 (ie, haver corr significativas).
 Validade A
deor
Constructo

Validade Convergente: os itens que definem cada factor saturam fortemente

nesse factor. Avaliada pela Variância Extraída Média (VEM) (% média da
variância extraída por cada factor, > 0.5) (Soma dos pesos factoriais ao
quadrado/ Soma dos pesos factoriais ao quadrado + Soma de 1- cada peso
factorial ao quadrado)

Validade Discriminante: os itens que reflectem um factor não estão

correlacionados com outros factores, ie, os factores definidos por cada
conjunto de itens são distintos.
Pode avaliar-se através de:
VEM do factor 1 e VEM do factor 2 superior ao quadrado da correlação dos
dois factores. Isto é, se a VEM de cada factor for superior ao quadrado da
correlação dos dois factores, neste caso existe validade discriminante

NÃO É POSSÍVEL FAZER NO SPSS É PRECISO UTILIZAR EXCEL

 A de
Validade orCritério

A validade de critério demonstra-se por:

Validade Preditiva: capacidade para predizer “características”, “atitudes” que

o constructo devia ser capaz de predizer teoricamente. O QI consegue
predizer o aproveitamento escolar? (avaliada através de regressão)

Validade Concorrente: relação entre o constructo e outros teoricamente

equivalentes (avaliada através de correlações); capacidade do constructo
distinguir entre grupos estruturalmente diferentes na medida que o
constructo operacionaliza. Os resultados de um determinado teste de
leitura discriminam entre bons e maus leitores? (avaliada através de testes
de comparação de grupos: t-student; ANOVAS)
 EstudoAPrático
or AFE
• O que fazemos na AFE?
Procuramos quantos factores comuns existem para explicar as associações
que encontramos entre os itens.

• Como decidimos se temos informação nos nossos dados para realizar a

extracção dos factores?
A primeira coisa a pressupor é que as variáveis estejam correlacionadas
entre si. Teste de esfericidade de Bartlett (rejeitar H0) ou KMO > .8.

• Como se Extraem os Factores?

A partir da variância comum ou comunalidade: fracção da variância de um
item que é explicado pelos factores comuns. Comunalidade alta (por ex.
0.8) significa que o factor está a explicar o comportamento daquele item.
 EstudoAPrático
or AFE

KMO Recomendação AFE

]0.9-1 ] Excelente
]0.8-0.9] Boa
]0.7-0.8] Razoável
]0.6-0.7] Sofrível
]0.5-0.6] Mau, mas…
≤ 0.5 Inaceitável
 EstudoAPrático
or AFE
• Extracção de Factores Comuns
Há múltiplas combinações de pesos factoriais e factores específicos , por isso podemos
recorrer a vários métodos iterativos.
Método das Componentes Principais é o mais rápido e o mais antigo.

• Itens/Factores a reter?
• 5 critérios (em conjunto) para a escolha da retenção do número de itens/factores:
• - KMO > .80
• -comunalidades dos itens > .45
• - exclusão de itens com pesos factoriais > .40 em dois ou mais factores com uma
diferença inferior a .40
- eigenvalues superiores a 1 (1 porque é a variância de 1 item, sendo que habitualmente
fazem parte de um factor vários itens – ele pelo menos tem de ter a variância de 1
item)
- scree-plot – até o scree-plot começar a estabilizar, isto é, quando se chega ao cotovelo
da curva
- a soma dos eigenvalues deve ser superior a 50% da variância total ou cada factor
explicar pelo menos 5 a 10% da variância total
 EstudoAPrático
or AFE
• Rotação dos Factores
De todas as rotações a Varimax é a melhor do ponto de vista das boas
práticas, para que o item tenha um peso significativo num único factor, ou
seja, para que cada item sature num único factor. Na Rotação Varimax os
factores são ortogonais para que as correlações sejam baixas e a validade
discriminante seja alta. Os factores são ortogonais quando fazem um
ângulo de 90º e não estão correlacionados.

Direct Oblimin (outra forma de rotação ). Se os factores estiverem

correlacionados dá uma solução em que estão correlacionados. Se os
factores não estiverem correlacionados dá uma solução em que não estão
correlacionados. A matriz de correlação que aparece no final do output
quando se escolhe este método diz-nos a adequabilidade desta opção,
quando há alguma correlação igual ou superior ao limite de .32 (isto é,
maior que -.32 ou .32).
 A or
Estudo Prático AFE Validade Factorial
• Analyse
• Dimension Reduction
• Factor
• Selection Variable – serve para fazer a análise de acordo com uma variável, por exemplo, sexo
• Descriptives:
• Initial solution e KMO
• Extraction:
• Por defeito está seleccionado o Mét de Componentes Principais
• Seleccionar Scree-plot (deixando unrotated factor solution)
• Também podemos fixar o número de factores, mas a título exploratório é estranho
• 25 iterações são suficientes
• Rotation:
• Varimax (ou outro)
• Escolher Rotated Solution e Loading Plots
• Scores:
• Se marcar save as variables marca scores por item (está a regressão por defeito), mas isto não se faz nesta
fase, mas depois de ter os factores, marcar Anderson-Rubin e dysplay factor score
• Options:
• Missing values (se marcarmos exclude cases listwise – se houver algum missing o participante não conta;
se escolhermos pairwise – usa o participante quando existem valores que permitem e não o usa quando
não permitem)
• Sorted by size
• Suppress small coefficients e colocamos valores superior a 0.45 (nem sempre o devemos fazer para ver
como os itens se comportam)
Analyse > Dimension Reduction > Factor (Selection Variable – serve para
fazer a análise de acordo com uma variável, por exemplo, sexo) >
Descriptives >Initial solution e KMO
Extraction > Por defeito está seleccionado o Mét de Componentes
Principais > Seleccionar Scree-plot (deixando unrotated factor solution)
>Também podemos fixar o número de factores, mas a título exploratório é
estranho > 25 iterações são suficientes
Rotation > Varimax (ou outro) > Escolher Rotated Solution e
Loading Plots
Scores > Se marcar save as variables marca scores por item (está a
regressão por defeito), mas isto não se faz nesta fase, mas depois de ter
os factores > marcar Anderson-Rubin e dysplay factor score
Options > Missing values (se marcarmos exclude cases listwise – se houver algum
missing o participante não conta; se escolhermos pairwise – usa o participante
quando existem valores que permitem e não o usa quando não permitem) > Sorted
by size
 A or
Estudo Prático AFE Validade Factorial

Outputs
KMO e Bartletts’ Test (KMO > 0.8; Bartletts’ Test p < .01)
Communalities – fracção da variância explicada pelos factores comuns
(deve ser superior a 0.45)
Total Variance Explained – (factores com eigenvalues > 1; variância total
explicada)
Scree Plot (cotovelo)
Component Matrix (sem rotação); Rotated Component Matrix (com
rotação varimax, a que nos interessa)
 Boa adequação para AFE (KMO = .853)

Rejeita-se H0 no teste de
Esfericidade p < 0.001)

Quase todos os itens têm uma fracção da variância

explicada pelos factores comuns > 0.45
 os 3 factores retidos
explicam 62.8% da
3 factores com variância total
eigenvalues > 1

Pelo scree-plot
deviam reter-se 3
factores
Distribuição dos itens pelos
factores
 A or
Estudo Prático AFE Validade Factorial
Itens Factores h2
Relatório dos Resultados: O quadro 3 1 2 3
apresenta os pesos factoriais e a It1 .833 .707
comunalidade dos 15 itens nos 3 It2 .799 .645
factores retidos e a variância It3 .694 .570
explicada por cada factor. No total It4 .669 .568
os 3 factores explicam 62.8% da It5 .827 .715
variância total It6 .824 .749
It7 .796 .727
Quadro 3 – Pesos factoriais e It8 .852 .798
comunalidades dos itens que It9 .812 .692
definem os 3 factores da escala MBI- It10 .690 .486
It11 .778 .608
SS, usando a extracção por
It12 .749 .616
componentes principais com rotação It13 .606 .488
Varimax. Variância total explicada de It14 .518 .471
62.8% e KMO = 0.853. Por motivos It15 .739 .576
de clareza apresentam-se apenas os % 35.3 16.1 11.4
variânci
itens com pesos factoriais superiores a
a 0.45. explicad
a
 Estudo Prático AFEAValidade
or Convergente
Avalia-se a VEM de cada factor. Há validade convergente quando VEM > 0.5
Exemplo para factor 1:

0.8242 + 0.7962 + 0.8522 + 0.8122

VEMF1 = ----------------------------------------------------------------------------------
(0.8242 + 0.7962 + 0.8522 + 0.8122) + [(1 - 0.8242 ) + (1 - 0.7962) + (1 -
0.8522) + (1 - .8122)]
= 0.61 (0.67)

VEMF2 = 0.59; VEMF3 = 0.47

O factor 1 e 2 apresentam uma validade convergente aceitável. O factor 3
apresenta uma validade convergente um pouco mais baixa.
 Estudo Prático AFEAValidade
or Discriminante
A validade discriminante é demonstrada pela ausência de itens que saturem,
com pesos factoriais superiores a 0.45, em mais do que um factor.
Adicionalmente as VEM extraídas para cada par de factores devem ser
superiores ao quadrado da correlação entre os factores.

Exemplo. Cálculo para a validade discriminante entre F1 e F2:

Calcular os valores das sub-escalas como se fez para a sensibilidade (para F1 e
F2)
Transform > Compute Variable [F1 = Mean (It6, It7, It8, It9); F2 = Mean (It1,
It2, It3, It4, It5)]
Calcular correlação entre F1 e F2
Analyze > Correlate > Bivariate F1 e F2 (0.459)
Elevar ao quadrado (0.4592 = 0.21) e comparar com VEMF1 (0.61) e VEMF2
(0.59)
 A AFE
Estudo Prático or Conclusões
Validade Factorial. A AFE dos 15 itens da MBI-SS revelou um KMO de 0.853,
demonstrando a elevada correlação inter-itens da escala. A extracção de
factores pelo método das componentes principais com rotação varimax
revelou uma estrutura em três factores que explicou aprox. 63% da variância
dos itens. Nenhum dos itens revelou comunalidades inferiores a 0.45, sendo o
item 14 aquele que apresentou menor comunalidade (0.47).

Validade Convergente. A validade convergente dos 3 factores foi avaliada pela

VEM, tendo-se obtido VEMF1 = 0.61, VEMF2 = 0.59 e VEMF3 = 0.47, havendo
validade convergente para os factores 1 e 2, sendo esta um pouco mais baixa
para o factor 3.

Validade Discriminante. A validade discriminante dos 3 factores revelou que as

VEM extraídas para cada par de factores são superiores ao quadrado da
correlação entre factores (respectivamente 0.21, 0.14 e 0.05 para F1/F2, F1/F3
e F2/F3).
 A or
Fiabilidade

Uma medida para ser válida tem de ser fiável, ie, a medida tem de medir
da mesma forma um mesmo objecto nas mesmas condições. Mas uma
medida pode ser consistente e não ser válida. Deste modo, a fiabilidade é
condição necessária para ter validade, mas não é suficiente (quando o
erro é sistemático, a medida é fiável, mas não é válida).

Existem 4 medidas de fiabilidade:

• consistência interna
• split-half
• inter-avaliador
• teste-reteste
 A or
Fiabilidade

• Consistência Interna – Alfa de Cronbach

A consistência interna é a estimativa da fiabilidade baseada nas

correlações médias entre os itens que constituem a escala, ponderada
pelas respectivas variâncias.

A fiabilidade de uma escala pode ser aumentada pelo aumento do

número de itens, pois quanto maior o número de itens maior o alfa de
Cronbach.

Um alpha de Cronbach negativo significa que um dos pressupostos do

cálculo da fiabilidade não está a ser considerado. Itens pela negativa têm
de ser formulados na mesma direcção conceptual, invertidos, para se
poder fazer o alfa.
Fiabilidade –AAlfa
orde Cronbach

α de Cronbach Consistência Interna

≥ .90 Elevada
[.80-.90[ Boa
[.70-.80[ Baixa
< .50-.60 Inaceitável

Maroco & Garcia-Marques, 2006

 Estudo PráticoA– Alfa
or de Cronbach
• Analyse
• Scale
• Reliability Analysis
• Por defeito está seleccionado o alfa
• Statistics
• Na Estatística Descritiva seleccionar:
• Item
• Escala (alfa da sub-escala)
• Scale if item deleted (alfa da sub-escala se item for eliminado)
• Inter-item escolher correlações
• Variances
o alfa a
utilizar
 Se o It6 fosse
eliminado o alfa ficaria
0.86
 Fiabilidade –AAlfa
orde Cronbach
Outputs
Reliability Statistics (utilizar o alfa com base nos itens estandardizados)
Item - Total Statistics (Cronbach’s Alpha if Item Deleted: o alfa que ficará
se o item for eliminado)
Inter-item Correlation Matrix – permite verificar se há algum item que
deva ser eliminado com base nas correlações.

Quando uma escala apresenta mais do que um factor o α calculado para o

total da escala (ie para todos os itens) subestima a consistência interna da
escala.
 A or
Bibliografia

Maroco, J. (2011). Análise estatística com o spss statistics (5ª ed.). Report
Number. www.reportnumber.pt/ae

Maroco, J., & Garcia Marques, T. (2006). Qual a fiabilidade do alfa de

Cronbach? Questões antigas e soluções modernas. Laboratório de
Psicologia, 4 (1), 65-90.