RUNNING HEAD: “trabalho escrito de psicometria”

Universidade Lusófona de Humanidades e Tecnologia

Escola de Psicologia e Ciência da Vida

3º ano da Licenciatura de Psicologia

2021/2022

Unidade Curricular: Psicometria II

“Trabalho Escrito de Psicometria II”

Ana Mousinho nº 21901270

Beatriz Leal nº 21901920

Elisabete Alexandre nº 21901493

Marcos Valente nº 21902156

TD01PSI01

Nota de autor:

O presente trabalho foi elaborado no âmbito da unidade curricular de Psicometria II

coordenada pelos docentes Pedro J. Rosa (PhD) e Ana Cruz (PhD). A correspondência

relativa a este artigo deverá ser dirigida a: Ana Mousinho, Beatriz Leal, Elisabete

Alexandre, Inês Costa e Marcos Valente, alunos da Escola de Psicologia e Ciências da

Vida da Universidade Lusófona de Humanidades e tecnologias; Universidade Lusófona,

Campo Grande 376, 1749-024; Lisboa 2021. Correspondência de email:

anasofiamousinho@gmail.com, beatrizlealtrabalho@gmail.com,

elisabetefalexandre@gmail.com, valentemarcos13@hotmail.com
RUNNING HEAD: “trabalho escrito de psicometria”

1. Examine a validade de conteúdo dos potenciais itens para a extended life

orientation test (ELOT) através do índice de validade de conteúdo (IVC).

Refira quais seriam os itens que deveriam fazer parte da escala (utilize a bsae

de dados relativa à validade de conteúdo).

O índice de validade de conteúdo (IVC) é uma medida para avaliar a validade de

conteúdo dos potencias itens de uma determinada escala, analisado a proporção de

juízes/especialistas que estão em concordância sobre determinados aspetos dos

instrumentos e dos seus itens. Assim sendo, o IVC aplica um método estilo escala de

likert com quatro pontos (1- Nada representativo, 2- Pouco representativo, 3-

Representativo e 4- Muito representativo), onde os itens marcados com “3” e “4” pelos

especialistas, são utilizados para o cálculo do índice, uma vez que este é obtido através

da soma de concordância desses mesmos itens, dividida pelo numero total de respostas

dos especialistas; já os itens que receberam pontuação de “1” e “2” por parte dos

especialistas, devem ser revistos ou eliminados.

Deste modo, começamos por realizar uma codificação onde os pontos “1” (Nada

representativo) e “2” (Pouco representativo) da escala de likert passaram a ser “0” e o “3”

(Representativo) e o “4” (Muito representativo) passaram a ser “1”, de modo a dividir os

itens adequados dos itens desadequados ou que precisam de alterações.

Posto isto realizamos um somatório, de maneira a obter a soma de concordância de

cada item, para o cálculo do IVC de cada item, uma vez que existem 10 especialistas

todas as somas foram divididas por 10, à exceção do item ELOT4 que foi dividido por 9,

pois existia um missing na resposta do especialista 2. Depois de calcular o IVC de todos

os itens, calculamos o IVC da escala, segundo Polit e Beck (2006) ainda não existe

consenso de como avaliar o instrumento como um todo, dessa forma optámos pela soma

de todos os IVC calculados separadamente (SIVC=12.32) e dividimos pelo número de

RUNNING HEAD: “trabalho escrito de psicometria”

itens considerados na avaliação (20 itens), desta forma observamos que a escala extended

life orientation test (ELOT) não possuí concordância entre os especialistas (IVCescala=

12.32/20=.62), uma vez que é sugerido uma concordância mínima de 0,80 (Davis, 1992;

Grant, 1998;). Desta forma, para garantir que os itens representam uma amostra

representativa do domínio que a escala procura avaliar apenas devemos considerar os

seguintes itens: ELOT1 (IVC=1), ELOT3 (IVC=1), ELOT7 (IVC=1), ELOT8 (IVC=.90),

ELOT9 (IVC=1), ELOT11 (IVC=1), ELOT13 (IVC=.80), ELOT 15 (IVC=1) e ELOT19

(IVC=.90). Ao considerar as subescalas da extended life orientation test (ELOT),

observamos que apenas o item da subescala do pessimismo não possui concordância entre

os especialistas (IVCpessimismo=.30), pois nenhum dos seus itens possui IVC aceitável

(IVCelot2= .60; IVCelot4=.22; IVCelot5= .40; IVCelot10=.20; IVCelot12=.20;

IVCelot14= .10; IVCelot16=.40; IVCelot18=.50 e IVCelot20=.10).

Estatísticas Descritivas
N Sum
ELOT2 10 6
ELOT4 9 2
ELOT5 10 4
ELOT10 10 2
ELOT 12 10 2
ELOT14 10 1
ELOT16 10 4
ELOT18 10 5
ELOT20 10 1
Valid N (listwise) 9
Tabela 1 – descritivo pessimismo
RUNNING HEAD: “trabalho escrito de psicometria”

Estatísticas Descritivas
N Sum
ELOT3 10 10
ELOT6 10 3
ELOT8 10 9
ELOT11 10 10
ELOT 15 10 10
ELOT19 10 9
Valid N 10
(listwise)
Tabela 2 - descritivas do otimismo

Estatísticas Descritivas
N Sum
ELOT1 10 10
ELOT7 10 10
ELOT9 10 10
ELOT13 10 8
ELOT 17 10 7
Valid N 10
(listwise)
Tabela 3 - descritivo preenchimento

2. Avalie a validade de construto em toda a sua extensão, ou seja, a validade

fatorial, convergente e divergente (utilize a base de dados grupo)

Começamos por analisar a validade factorial de modo a perceber se os itens medem

o fator latente que se pretende medir, deste modo fomos realizar uma análise factorial

exploratória (AFE) para identificar a existência de fatores latentes.

A estrutural relacional dos itens da extended life orientation test (ELOT) é explicada

por 2 fatores latentes. A AFE revelou-se adequada aos dados. O critério KMO revelou-se

com uma adequação média (KMO=.792) e rejeitou-se o pressuposto de esfericidade (X2

(28)=409.417, p<0,001) no teste de Bartlett, indicando que as variáveis se encontram

correlacionadas de forma significativa.

Foi identificada uma estrutura com dois fatores (fator 1- item 2,4,6,8,18,19 e fator 2

- ,7) explicando um total de 57,36% de variância explicada.

RUNNING HEAD: “trabalho escrito de psicometria”

Para obter estes dados foram realizadas diversas AFE onde os ELOT 15, ELOT 16,

ELOT 17 e ELOT 20 foram eliminados uma vez que em diversas análises não saturaram

em nenhum dos fatores, por outro lado os ELOT 3, ELOT 5, ELOT 9, ELOT 10, ELOT

11, ELOT 12, ELOT 13, ELOT 14 foram considerados itens ambíguos, não cumprindo o

critério “aplicar a regra de 0.40,0.30,0.20 para identificar itens ambíguos. Esta regra

recomenda que as variareis (itens) satisfatórios saturem: (a) no fator primário acima de

0.40, (b) valor de saturação em fatores secundários abaixo de 0.30, e (c) demonstrar uma

diferença 0.20 entre os valores de saturação entre os fatores primários e secundários.

Quando isto não ocorrer, eliminar o item”.

Depois de analisar a validade fatorial, analisamos a validade convergente, com o

intuito de perceber se o instrumento esta correlacionado significativamente com outras

variáveis com as quais o construto deveria, de acordo com a teoria, encontrar-se

relacionado.

Assim sendo, realizamos uma correlação de Pearson onde observamos

correlações muito fortes (Franzblau, 1958) entre o score da subescala do otimismo com

o score da escala do otimismo de Flim (r = .937) e entre o score da subescala o péssimo

com o score da escala do péssimo de Bizner (r =.914), garantindo assim a presença de

validade convergente na nossa escala extended life orientation test (ELOT), uma vez

esta está garantida quando existe uma associação significativa e adequada (r > .40).

Por fim, analisamos a validade divergente que está garantida quando a

associação entre medidas não é significativa e baixa (p>.05), deste modo através da

correlação de Pearson não assumimos a presença de validade divergente pois todas as

correlações efetuadas foram significativas (score da subescala do otimismo com o score

da escala do péssimo de Bizner, (r =.440; p<.001) e score da subescala do pessimismo

com o score da escala do otimismo de Flim (r =.341; p<.001)).

 RUNNING HEAD: “trabalho escrito de psicometria”

Depois de analisar a validade fatorial, divergente e convergente concluímos que

não possuímos validade de construto.

KMO and Bartlett´s Test

Kaiser-Meyer-Olkin Measure of ,792
Sampling Adequacy
Bartlett´s Test of Approx. Chi- 409,417
Square
Sphericity

df 28

Sig. ,000

Tabela 4

Communalites
Initial Extraction
Rank of ELOT 2 ,186 ,298
Rank of ELOT 3 ,321 ,342
Rank of ELOT 4 ,449 ,548
Rank of ELOT 6 ,512 ,577
Rank of ELOT 7 ,208 ,574
Rank of ELOT 8 ,420 ,544
Rank of ELOT 18 ,454 ,544
Rank of ELOT 19 ,146 ,164
Extraction Method: Principal Axis factoring

Tabela 5

Total Variance Explained

Initial eigenvalues Extraction sums of squared Rotation sums of squared
loadings loadings
Total % of Cumulative Total % of Cumulative % Total % of Cumulative
Factor Variance % Variance Variance %
1 3,142 39,272 39,272 2,630 32,878 32,878 2,577 32,216 32,216
2 1,447 18,091 57,363 ,903 11,293 44,171 ,956 11,956 44,171
Extraction Method: Principal Axis Factoring

Tabela 6
RUNNING HEAD: “trabalho escrito de psicometria”

Figura 1

Factor Matrixa
Factor
1 2
Rank of ELOT 1 ,523
Rank of ELOT 2 ,552
Rank of ELOT 4 ,740
Rank of ELOT 6 ,760
Rank of ELOT 7 ,746
Rank of ELOT 8 -,689
Rank of ELOT 18 ,725
Rank of ELOT 19 -,397
Extraction Method: Unweighted Least Squares
a. 2 factors extracted. 4 iterations required
Tabela 7

Rotated Factor Matrix

Factor
1 2
Rank of ELOT 1 ,542
Rank of ELOT 2 ,577
Rank of ELOT 4 ,732
Rank of ELOT 6 ,749
Rank of ELOT 7 ,758
Rank of ELOT 8 -,660
Rank of ELOT 18 ,737
Rank of ELOT 19 -,405
 RUNNING HEAD: “trabalho escrito de psicometria”

Extration Method: Unweighted Least Squares

Rotation method: varimax with Kaiser normalization
a. Rotation converged in 3 iterations

Tabela 8

Correlations
Score_ Score_pe Score da escala de Score da escala de
otimis ssimismo otimismo de Flim pessimismo
mo de Bizner

Spearman´s Score_ Pearson 1 ,335** ,983** ,427**

rho otimis correlation
mo Sig (2- . ,000 ,000 ,000
tailed)
N 200 200 200 200
Score_ Pearson ,335** 1,000 ,325** ,978**
pessimi correlation
sm Sig (2- ,000 . ,000 ,000
tailed)
N 200 200 200 200
** correlation is significant at the 0.01 level (2-tailed).

Tabela 9

Figura 2
RUNNING HEAD: “trabalho escrito de psicometria”

Figura 3

3. Examine se o instrumento tem validade de critério. Os instrumentos foram

aplicados simultaneamente. Apresente toda a informação que achar

pertinente. (utilize a base de dados grupo 3).

A validade de critério divide-se em dois grupos: validade concorrente (ou

concomitante) e Validade Preditiva (ou prognóstica). Este tipo de validade foi

considerado durante muitos anos a única e mais importante medida de validação de um

instrumento, no entanto veio-se provar que é necessário muito que isso. Mas, validade de

critério é então uma medida que mede a relação entre determinada medida, com outra que

considera a medida padrão de um determinado construto.

Para aferir se tem validade de critério, vai passar à análise concorrente. A validade

concorrente é o grau com que um novo método se correlaciona com outro já existente e

tido como válido (gold standard). Sendo o nosso instrumento o ELOTpositive score,

ELOTnegative score e a nossa escala de referência – escala de esperança, escala de

depressão, respetivamente, vamos precede a analise das suas correlações para aferir a

validade concorrente. Utilização de correlação de Pearson. O ELOTpositive score

correlacionando com a nossa escala de referência (escala de esperança), revelou-nos que

RUNNING HEAD: “trabalho escrito de psicometria”

ambas se encontram positivamente correlacionadas (r=.0857), o que segundo Raykov &

Marcoulides (2011) e Schultz & Whitney (2005), é incomum obter coeficiente de

validade superior a .5/.6, no entanto, foi encontrado. No que toca ao ELOTnegative score

a nossa escala de referência (escala de depressão) verificamos uma inconsistência na

evidência de coeficiente de validade, pois embora não fosse o esperado foi encontrada

uma correlação negativa, o que não é pretendido para uma validade de critério,

nomeadamente concorrente (r=-.983).

Quanto à validade preditiva, tem como objetivo evidenciar a capacidade de

determinado instrumento predizer/prever algum resultado future. Deste modo assumimos

o ELOTpositive e o ELOTnegative como variáveis preditoras (VI) e a escala de esperança

e a escala de depressão como variáveis critério (VD). Após a análise da validade preditiva

entre o ELOTpositive score e a escala de referência (escala de esperança), a regressão

linear mostrou que 73% da escala de esperança consegue ser explicada pelo otimismo, ou

seja, o score da escala de esperança é explicado 73% pelo score do ELOTpositive

(R2=.734) e que existe 95% de confiança que o verdadeiro score do participante estará

entre um intervalo de ± 2x2.2 (4.4 pontos) na escala de esperança (EPE=2.20091). Após

a análise da validade preditiva entre o ELOTnegative score e a escala de referência (escala

de depressão), a regressão linear mostrou que 97% da escala de depressão consegue ser

explicada pelo pessimismo, ou seja, o score da escala de depressão é explicado 97% pelo

score do ELOTnegative (R2=.966 ) e que existe 95% de confiança que o verdadeiro score

do participante estará entre um intervalo ± 2x0.72 (1.44 pontos) na escala de depressão

(EPE=.71892).
RUNNING HEAD: “trabalho escrito de psicometria”

Correlations
Score_otimimismo Escala de
esperança
instrumento de
referência
Score_otimismo Pearson 1 ,857**
correlation
Sig (2-tailed) ,000
N 200 200
Escala de Pearson ,857** 1
esperança_instrumento Correlation
de referência Sig (2-tailed) ,000
N 200 200
**. Correlation is significant at the 0.01 level (2-tailed)

Tabela 10

Correlations
Score_otimimismo Escala de
esperança
instrumento de
referência
Score_pessimismo Pearson 1 -,983**
correlation
Sig (2-tailed) ,000
N 200 200
Escala de Pearson -,983** 1
esperança_instrumento Correlation
de referência Sig (2-tailed) ,000
N 200 200
**. Correlation is significant at the 0.01 level (2-tailed)

Tabela 11
RUNNING HEAD: “trabalho escrito de psicometria”

Figura 4

Figura 5

Model Summary
Adjusted R Std. Error of
Model R R Square Square the Estimate
1 ,857a ,735 ,734 2,20091
a. Predictors: (Constant), score_otimimismo
RUNNING HEAD: “trabalho escrito de psicometria”

Tabela 12

Model Summary
Adjusted R Std. Error of
Model R R Square Square the Estimate
a
1 ,983 ,966 ,966 ,71892
a. Predictors: (Constant), score_pessimismo
Tabela 13

4. Analise a fiabilidade do instrumento considerando dois fatores. Apresente

resultados para a consistência interna (utilize a base de dados grupo 3).

A Fiabilidade de um “instrumento determina de que modo o processo de medição

gera o mesmo resultado, independentemente da forma e altura em que é aplicado”

(Black, 1999). Através deste conceito, compreendemos a Estabilidade Temporal,

correspondente à estabilidade de resultados da mesma amostra e aplicados nas mesmas

condições, mas em momentos de preenchimento do instrumento distinta (esta é

estimada mediante um coeficiente de correlação; tal como a Consistência Interna, que se

trata da correlação entre o conjunto de itens que medem uma variável latente.

Para avaliar a Fiabilidade entre os fatores Pessimismo e Otimismo, centramo-nos na

Consistência Interna e, uma vez que estamos perante variáveis ordinais, recorremos ao

Alfa de Cronbach para efetuar o cálculo. Segundo Almeida & Freire (2008), este

procedimento estatístico permite identificar ameaças à viabilidade da medida em

análise.

Para cada fator foi, portanto, calculado o Alfa de Cronbach e a homogeneidade

(correlação média interitem, rmi). Pudemos aferir que, para a dimensão do Pessimismo,

existe uma consistência interna adequada (α = .825; r mi = .342), pois o valor de Alfa de

Cronbach e a homogeneidade apresentam valores aceitáveis (Nunnally, 1978; Clark &

Watson, 1995). Por sua vez, o fator Otimismo (α = -.027) não apresenta uma

consistência interna adequada, devido ao facto de o valor de Alfa de Cronbach ser

RUNNING HEAD: “trabalho escrito de psicometria”

inaceitável (Nunnally,1978). Para além disto, o valor do alfa de Cronbach pode querer

mostrar um erro sério na codificação dos pontos dos itens, onde a solução passaria por

uma recodificação (inversão) dos “pontos de forma a assegurar que todos os itens estão

codificados na mesma direção conceptual. Este valor pode também transmitir uma

mistura de itens de dimensões diferentes o que exige a reavaliação da base teórica que

motivou a construção da escala” (Marôco,2014).

Relibility Statistics
Cronbach´s Alpha Cronbach´s aplha based on N of items

standardized items

,825 ,824 9

Tabela 14

Item-Total Statistics
Scale mean Scale Correlacted Squared Cronbach´s

if item variance if item-total multiple alpha if item

deleted item deleted correlation correlation deleted

ELOT2 19,25 25,891 ,507 ,336 ,812

ELOT4 20,01 26,106 ,602 ,480 ,799

ELOT5 19,45 27,021 ,529 ,305 ,808

ELOT10 19,78 25,503 ,691 ,537 ,789

ELOT12 19,86 26,355 ,652 ,488 ,795

ELOT14 20,32 26,434 ,494 ,286 ,812

ELOT16 19,56 29,581 ,305 ,124 ,830

ELOT18 19,38 24,364 ,628 ,436 ,795

ELOT20 19,83 29,337 ,357 ,190 ,825

 RUNNING HEAD: “trabalho escrito de psicometria”

Tabela 15

Summary Item Statistic

mean minimum maximum range Maximum/ variance N of items

minimum

Inter-item ,342 ,133 ,628 ,496 4,731 ,017 9

correlations

Tabela 16

Reliability Statistcs
Cronbach´s Alpha Cronbach´s aplha based on N of items

standardized items

-,027 ,241 6

Tabela 17
RUNNING HEAD: “trabalho escrito de psicometria”

Referências bibliográficas

Alexandre, N. M. C., & Coluci, M. Z. O. (2011). Validade de conteúdo nos

processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde

Coletiva, 16, 3061-3068.

Franzblau, A. N. (1958). A primer of statistics for non-statisticians.

Freire, T., & S Almeida, L. (2008). Metodologia da investigação em psicologia e

educação.

Grant, J. S., & Davis, L. L. (1997). Selection and use of content experts for

instrument development. Research in nursing & health, 20(3), 269-274.

Marôco, J. (2014). Análise estatística com o SPSS Statistics (6a ed.). Perô

Pinheiro: Report Number

Peterson, R. A. (1994). A meta-analysis of Cronbach's coefficient alpha. Journal

of consumer research, 21(2), 381-391.

Polit, D. F., & Beck, C. T. (2006). The content validity index: are you sure you

know what's being reported? Critique and recommendations. Research in nursing &

health, 29(5), 489-497.

Raykov, T., & Marcoulides, G. A. (2011). Introduction to psychometric theory.

Routledge.