Universitatea din Bucureti, M.

Popa, 2009: Analiza de itemi din perspectiva teoriei clasice a testului

1/20
Actualizat la: 06.05.2014/13:28:17

Analiza de itemi din perspectiva teoriei clasice a testului

Marian Popa

Cuprins
1. Indicele de dificultate
Calcularea indicelui de dificultate cu SPSS
2. Indicele de discriminare
Calcularea indicelui de discriminare cu SPSS
3. Analiza de consisten intern: indicele Cronbach alfa
Valoarea recomandat pentru Cronbach alfa
Analiza de consisten intern cu SPSS
Estimarea numrului de itemi necesari pentru o scal
Efectul de atenuare a validitii
Reguli de baz pentru dezvoltarea itemilor
Recomandri privind utilizarea analizei de consisten intern

***

Primele elemente ale teoriei testelor psihologice dateaz nc din primii ani ai
secolului XX i se datoreaz lui Charles Spearman, dar iau o form structurat odat cu
lucrarea lui Gulliksen, Theory of mental tests, publicat n 1950 (apud Ellis & Mead, 2004).
Componenta cheie al acestei teorii, devenit cunoscut ntre timp drept Classical Test Theory
(CTT), const n estimarea unui atribut sau caracteristici psihologice pe baza unei combinaii
liniare a unui set de itemi. Conceptele ei de baz sunt: scorul observat (X), scorul adevrat
(true score) (T), i eroarea de msurare (E) (Bovaird & Embretson, 2008; Steyer, 2001;
Traub, 1997), a cror relaie este formalizat n expresia:

X=T+E

Scorul adevrat (T) se refer la ceea ce face obiectul declarat (ateptat) al msurrii, n
timp ce eroarea (E) se refer la o component neateptat, dar inevitabil, care modific ntr-
un sens sau altul valoarea observat. Presupunerile fundamentale pe care se bazeaz CTT sunt
urmtoarele:
(a) media erorilor de msurare la nivelul populaiei de subieci evaluai este zero
(altfel spus, erorile au un caracter aleatoriu);
(b) corelaia dintre scorul adevrat i eroarea de msurare la nivelul populaiei de
subieci este zero;
(c) corelaia dintre erorile a dou teste (E1 i E2), care pot fi teste diferite sau acelai
test aplicat de dou ori, este zero.

n mod obinuit, testele psihologice vizeaz constructe psihologice (de performan,
sau de personalitate) care nu pot fi observate n mod direct, ci prin intermediul unor itemi
(ntrebri sau sarcini specifice) care se refer la diferite aspecte caracteristice acelor
constructe. CTT presupune existena unei relaii liniare ntre rspunsul la itemii unui test i
scorul global construit pe seama lor. De exemplu, dac un subiect rezolv corect un item al
unui test de inteligen, ne ateptm s rezolve corect i ali itemi ai testului i, firete, s
obin un scor global ridicat la ntregul test. Aceeai presupunere este valabil i n cazul
msurrii unor atribute de personalitate.
Modul de elaborare a itemilor unui test i evaluarea msurii n care acetia ntrunesc
calitile psihometrice necesare unui instrument de msur psihologic fac obiectul combinat
al unei analize calitative i cantitative (Rzasa, 2003). Aceste direcii sunt complementare i
contribuie n egal msur la construcia unui test psihologic performant. n ceea ce ne
privete, aici ne vom axa doar pe componentele cantitative ale analizei de itemi.
M. Popa Analiza de itemi
2/20
Actualizat la: 06.05.2014 13:28
n conformitate cu elementele definitorii ale CTT, analiza de itemi reprezint o
colecie de proceduri statistice care permit descrierea relaiei dintre itemii unui test psihologic
i a relaiei dintre fiecare item i scorul global construit pe baza lor. Procedurile pe care se
bazeaz aceast analiz sunt (Ellis & Mead, 2004):
(1) evaluarea indicelui de dificultate a itemilor;
(2) evaluarea capacitii de discriminare a itemilor.
(3) evaluarea consistenei interne a instrumentului.

1. Indicele de dificultate

Multe dintre testele dezvoltate de psihologi vizeaz caracteristici psihice exprimate n
termeni de performan, n scopul clasificrii pentru selecie sau evalurii comparative
(aptitudini i abiliti diverse). n cazul acestui tip de scale, este de interes major evaluarea
capacitii de fiecrui item de a diferenia subiecii care au de cei care nu au atributul
(caracteristica) msurat. Indicele de dificultate semnific procentul de rspunsuri corecte
obinut de un item pe un anumit eantion de subieci.
(1)
Pentru testele de personalitate,
conceptul de corect sau greit se nlocuiete cu orientarea rspunsului spre semnificaia
scalei sau mpotriva acesteia (marcnd prezena sau absena trsturii vizate). Orice item la
care se obin numai rspunsuri corecte, sau la care nimeni nu rspunde corect, este lipsit de
relevan deoarece nu produce nici o difereniere ntre subieci.
Dac presupunem existena unei relaii perfecte dintre abilitatea subiectului (cea
msurat prin test) i rspunsul corect la un item, atunci un indice de dificultate de 50% va
diferenia ntre subiecii care se plaseaz n prima jumtate a scalei i cei care se plaseaz n
doua jumtate a scalei. n acelai timp, dac toi itemii unei scale ar avea un indice de
dificultate de 50%, atunci testul ar discrimina doar dou categorii de subieci, fapt care nu este
de natur s conduc la evaluri suficient de sensibile. n general, se consider c o scal este
suficient de discriminativ atunci cnd este compus din itemi al cror indice de dificultate
este moderat (30%-40%). ntr-un mod similar se pune problema i n cazul ntrebrilor la teste
de personalitate, la care rspunsurile sunt interpretate n funcie de prezena sau absena
trsturii psihice vizate.
Atunci cnd itemii sunt selectai pe baza indicelui de dificultate mai trebuie luai n
considerare doi factori suplimentari:
a. Dei un indice mediu de dificultate de 50% este suficient pentru a maximiza
variana total a scorului, aceast valoare trebuie s fie mai mare n cazul n care
avem de a face cu rspunsuri la un test cu alegeri multiple. Aceasta deoarece trebuie
s lum n considerare faptul c o parte a rspunsurilor corecte pot fi ghicite, date la
ntmplare.
b. Dac dorim ca scala s fie discriminativ i spre extremele ei, atunci vor trebui
inclui i itemi al cror indice de dificultate s se afle n apropierea extremelor,
adic mai mici sau mai mari de 50%.

n general, este considerat recomandabil un indice de dificultate mediu pe ntregul test
cuprins ntre 30% i 70% (sau, exprimat sub form de proporie, ntre 0.30 i 0.70).

Calcularea indicelui de dificultate cu SPSS
(2)


Aa cum l-am descris mai sus, indicele de dificultate se calculeaz ca procent de
rspunsuri corecte pentru fiecare item. Pentru evaluarea dificultii itemilor cu SPSS se va
utiliza procedura Frequencies din meniul Analyze/Descriptive Statistics. Mai jos avem

1
Uneori indicele de dificultate este calculat i ca procent al rspunsurilor greite, ceea ce nu modific
dect optica nu i raionamentele cu privire la acest indicator.
2
Referinele sunt la SPSS v22
M. Popa Analiza de itemi
3/20
Actualizat la: 06.05.2014 13:28
imaginea analizei de frecvene pentru un item oarecare, i_01, al unui test cu 22 de itemi, unde
valoarea 0 nseamn rspuns greit iar valoarea 1, rspuns corect.
(3)

Indicele de dificultate se citete pe coloana Percent, dac variabila nu are valori lips,
i pe coloana Valid Percent, dac exist valori lips. n cazul nostru, indicele de dificultate al
itemului 01 este de 81.8% (0.81).


2. Indicele de discriminare

Procentajul rspunsurilor corecte (indicele de dificultate) nu este o condiie suficient
pentru a judeca calitatea unui item. La fel de important este ca numrul rspunsurilor corecte
la un item s fie n legtur cu nivelul abilitii (sau trsturii, dac este un test de
personalitate) pe care intenionm s o msurm cu acel instrument. Acest aspect este surprins
de indicele de discriminare. Dac cei care rspund corect (sau n sensul trsturii, pentru un
test de personalitate), la un anumit item, au un nivel ridicat al abilitii (trsturii), n timp ce
cei care rspund greit au nivel sczut, sau dac ambele grupuri au acelai nivel al abilitii
(trsturii), atunci este clar c itemul respectiv este, fie formulat greit, fie msoar altceva
dect se presupune c msoar.
Un item care dispune de capacitate de discriminare are un procentaj al rspunsurilor
corecte mai mare pentru subiecii care obin rezultate mai mari la nivelul scorului global, i un
procentaj mai mic pentru subiecii care obin o valoare mai mic la scorul global. n absena
unui criteriu extern de validare a rspunsului, scorul global, obinut, s zicem, prin nsumarea
rspunsurilor corecte, este utilizat drept criteriu de discriminare. Pentru calcularea indicelui de
discriminare se procedeaz n felul urmtor:
se calculeaz scorul total;
se formeaz dou grupuri distincte, fiecare reprezentnd un anumit procent
din subiecii evaluai, aflai la extremele distribuiei. Procentul selectat este
arbitrar. Cu ct este mai mic, cu att indicele de discriminare este mai mare
dar, n acelai timp, mai puin sigur. De aceea, se recomand un selectarea
unui procent cuprins ntre 25% i 33%, care reprezint un compromis
rezonabil.
odat grupurile selecionate, se poate calcula un indice de discriminare,
simbolizat cu "D", dup urmtoarea formul:

L U
n
L
n
U
D

unde:
U=numrul subiecilor din grupul superior (Upper group) care au rspuns
corect la un item
nU=numrul subiecilor din grupul superior
L=numrul subiecilor din grupul inferior (Lower group) care au rspuns
corect la un item
nL=numrul subiecilor din grupul inferior

Dac numrul subiecilor din cele dou grupuri extreme este egal, atunci D=(U-L)/n.

3
Se utilizeaz datele din fiierul didactic alfa_tema.sav
M. Popa Analiza de itemi
4/20
Actualizat la: 06.05.2014 13:28
O valoare pozitiv va indica faptul c itemul discrimineaz corect, n concordan cu
constructul psihologic msurat. Cu ct mai mare este diferena, cu att mai mare este
capacitatea itemului de discriminare ntre subiecii buni i cei slabi sub aspectul acelui
construct. Pe de alt parte, o valoare negativ sugereaz o discriminare negativ ntre
grupurile extreme, fapt care este o dovad puternic a unei probleme n construcia acelui
item. Ebel (1965) sugereaz eliminarea sau revizuirea complet itemilor al cror indice de
discriminare este mai mic de 0.20 i revizuirea itemilor al cror indice este ntre 0.20 i 0.30.
Un indice de discriminare bun se plaseaz ntre 0.30-0.39, iar unul foarte bun, peste 0.40.

Calcularea indicelui de discriminare cu SPSS

Programul SPSS nu dispune de o procedur specific pentru analiza de discriminare a
itemilor. Cu toate acestea, dispune de suficiente posibiliti pentru realizarea acestui tip de
analiz. Vom prezenta mai jos un exemplu pentru itemul i_01, al crui nivel de dificultate a
fost calculat anterior. n acest scop, am procedat astfel:
a) Calculm scorul global al scalei, compus din 22 de itemi, din care face parte
itemul i_01, utiliznd procedura Transform/Compute, aa cum se vede mai jos:



b) Analizm variabila "scor" astfel obinut cu procedurile Explore i Frequencies,
din meniul Statistics, fixnd arbitrar dou grupe extreme de performan, compuse fiecare din
aproximativ 30% dintre subiecii examinai cu respectivul instrument, astfel:
grupul inferior, valorile 7-13 (NL=7)
grupul superior, valorile 18-22 (NU=11)



M. Popa Analiza de itemi
5/20
Actualizat la: 06.05.2014 13:28
c) Am creat o variabil nou, n care am definit apartenena subiecilor la grupurile
definite mai sus, pe care le-am codificat astfel, cu procedura Tranform/Recode/Into Different
Variables:
"1", grupul inferior
"2", grupul median
"3", grupul superior



i apoi, dup acionarea butonului Old and New Values: declarm valorile, aa cum se
vede n caseta de mai jos



n urma acestei operaii am obinut variabila "grup", ale crei valori, 1, 2 sau 3,
marcheaz apartenena subiecilor la unul dintre cele trei grupe valorice.

d) Declarm mprirea fiierului cu date n trei categorii de subieci, cu procedura
Data/Split File, aa cum se vede n imaginea de mai jos.


M. Popa Analiza de itemi
6/20
Actualizat la: 06.05.2014 13:28
Efectul acestei aciuni este acela c, orice prelucrare vom face cu SPSS n continuare,
aceasta va fi efectuat separat pentru fiecare din cele trei categorii separate prin valorile
variabilei "grup".

e) n fine, acum se poate rula procedura Frequencies din meniul Statistics, pentru
variabila i_01. Datorit efectului de mprire a bazei de date prin comanda Split file,
rezultatul va fi structurat pentru fiecare subgrup valoric n parte, aa cum se vede n imaginea
de mai jos:
i_01
3 42,9 42,9 42,9
4 57,1 57,1 100,0
7 100,0 100,0
4 100,0 100,0 100,0
1 9,1 9,1 9,1
10 90,9 90,9 100,0
11 100,0 100,0
0
1
Total
Valid
1 Valid
0
1
Total
Valid
grup
1,00
2,00
3,00
Frequency Percent Valid Percent
Cumulative
Percent

Tabelul din imaginea de mai sus prezint frecvena rspunsurilor corecte, citit pe
coloana Percent (sau pe coloana Valid Percent, dac exist valori lips). Aa cum se observ,
indicele de dificultate pentru grupul valoric inferior este mai mic (57.1%) dect pentru grupul
superior (90.9%).
Aplicnd manual formula, obinem indicele de discriminare cutat:

33 . 0
7
4
11
10
D

Rezultatul arat c itemul i_01 are un indice pozitiv de discriminare de 0.33 care, n
conformitate cu criteriile lui Ebel, indic o capacitate bun de discriminare. Chiar dac
obinem i unii indici de discriminare mai mici, dac dorim s avem o scal care are putere de
discriminare i la extremele sale, acetia pot fi pstrai.

Not: Se observ c se poate ajunge la o valoare similar, exprimat n procente,
prin simpla diferen a celor doi indici de dificultate "D=90.9-57.1=33.7)

Mai departe, ar trebui efectuat procedura Frequencies pentru toi cei 22 de itemi ai
testului i extragerea concluziilor care se impun.

Dei uor de calculat i utilizat, indicele D sufer de un mare neajuns: prin
compararea a doar dou grupuri extreme, selectate arbitrar din ansamblul subiecilor testai, o
parte din informaie este ignorat, deoarece subiecii care fac parte din grupul de performan
intermediar nu sunt luai n considerare. Soluia acestei probleme ar putea fi aceea de a
mpri ansamblul valorilor scalei n mai multe subgrupuri, n funcie de numrul subiecilor
i de fineea dorit a analizei. n acest fel, indicele de dificultate al fiecrui item ar putea fi
analizat prin raportare la fiecare subgrup valoric. n mod ideal, indicele de dificultate
(procentul rspunsurilor corecte) al unui item bine calibrat trebuie s fie mai mic pentru
subiecii din grupul valoric inferior i s creasc progresiv, pe msur ce este calculat pentru
grupurile cu performane mai mari la scorul global (Peladeau, 1995).

M. Popa Analiza de itemi
7/20
Actualizat la: 06.05.2014 13:28
Analiza grafic a capacitii de discriminare

O modalitate de evideniere grafic a capacitii de discriminare a itemilor este
sugerat de Garbin i Hoffman (2008). Practic, aceasta presupune urmtorii pai:
- calcularea scorului global
- mprirea distribuiei scorului global ntr-un numr convenabil de categorii, n
funcie de variabilitatea acestuia (de regul 3 sau 5 categorii)
- realizarea graficului mediei fiecrui item n raport categoriile anterior determinate

Pentru exemplificare, vom efectua analiza grafica a ctorva itemi din baza de date
alfa_tema.sav, urmnd etapele de mai jos:


Calculm scorul global, prin nsumarea
valorilor la toi itemii (dac testul ar viza
mai multe dimensiuni, am include numai
itemii afereni unei dimensiuni)

Aplicm procedura Frequencies pentru
variabila scor_global






n caseta secundar Statistics bifm Cut
points for: i setm 5 equal groups
n acest mod vom obine valorile care
mpart distribuia scorului global n cinci
grupuri egale ca numr de subieci.

Rezultatul operaiei de mai sus este afiat
n Output. Valorile 12, 15, 18 i 19
delimiteaz cele cinci grupuri egale.
M. Popa Analiza de itemi
8/20
Actualizat la: 06.05.2014 13:28

Utilizm procedura Transform/Recode into
Different Variables pentru a crea o
variabil care definete cele cinci grupuri
n funcie de valorile obinute mai sus.
Declarm valorile unei variabile noi
grup_valoric n caseta Old and New
Values, dup cum urmeaz:
0-12 1
13-14 2
16-17 3
18 4
19-val. max. 5



Utilizm procedura One-Way ANOVA din
meniul Analyze/Compare means pentru
itemul dorit n raport cu variabila
grup_valoric.

Din caseta Options alegem doar Means
plot.

Graficul itemului 01 indic o variaie
oscilant n raport cu scorul global, ceea ce
pune sub semnul ntrebrii utilitatea lui.
M. Popa Analiza de itemi
9/20
Actualizat la: 06.05.2014 13:28

Graficul itemului 05 indic o asociere
monoton pozitiv n raport cu scorul
global, caracteristic unui item bun.

Graficul itemului 18 indic absena unei
variaii n raport cu scorul global. Itemul nu
este bun.


3. Analiza de consisten intern - indicele Cronbach alfa
4


Avnd un instrument psihologic format din itemi diferii, o problem fundamental
care se pune este msura n care aceti itemi sunt unidimesionali, adic msoar una i
aceeai realitate psihologic. Numai dac aceast condiie este ndeplinit se poate construi un
scor unic (denumit n continuare scal). Dac avem n vedere un chestionar de personalitate
sau o scal de atitudine de tip Lickert, atunci ne ateptm c acest instrument este destinat
msurrii unui anumit aspect sau atribut psihic i, n mod ideal, numai aceluia. Cu alte
cuvinte, ntrebrile unui chestionar, la fel ca i cele ale unui test de performan, ar trebui s
fie astfel formulate nct s se refere la o singur realitate psihic, vizat prin obiectivul
instrumentului. Dac aceast condiie este ntrunit, atunci itemii ar trebui s aib o
variabilitate comun, adic o corelaie pozitiv unii cu alii, pe de o parte, dar i o corelaie
pozitiv cu scala, pe de alt parte. Aceast calitate a unui test se numete consisten intern i
este ntrunit atunci cnd fiecare dintre itemii care l compun este relevant n raport cu
dimensiunea psihic vizat de instrument. Corelaia dintre un anumit item i scorul global,
calculat fr acel item, poate fi considerat un indicator a relaiei mai sus amintite. O alt
faet a consistenei unui instrument psihologic este fidelitatea sa, care poate fi exprimat prin
stabilitatea scorului global atunci cnd acelai instrument, sau o form alternativ a acestuia,
este aplicat acelorai subieci.
Fr a fi singura procedur statistic utilizabil n astfel de situaii, coeficientul
Cronbach alfa () este de departe cel mai cunoscut dintre toate, fiind utilizat ca un indicator
al preciziei de msurare a unui test, al consistenei interne i fidelitii unui instrument
psihologic. El nu este un test statistic, ci un indice sau coeficient care msoar caracteristica

4
Acesta este un material didactic. Pentru informaii mai aprofundate se poate consulta articolul
Infidelitile coeficientului de fidelitate Cronbach alfa, la adresa:
http://www.mpopa.ro/miscellanea/Marian_Popa_Cronbach_alfa.pdf
M. Popa Analiza de itemi
10/20
Actualizat la: 06.05.2014 13:28
de consisten intern a unui instrument psihologic compus din mai muli itemi care sunt
nsumai ntr-un scor unic. Formula de calcul se bazeaz pe media coeficienilor de corelaie
dintre itemi i numrul itemilor:


m
m
r N
r N
* 1 1

unde:
N=numrul itemilor
rm=media coeficienilor de corelaie dintre itemi

Indicele Cronbach alfa tinde s fie este mai mare:
- Cu ct numrul itemilor este mai mare. Ca urmare, putem fi tentai s utilizm
chestionare cu un numr mai mare de ntrebri. Acest lucru poate genera cel puin
dou probleme pe care trebuie s le lum n considerare:
o din motive practice, testele mai scurte sunt de dorit, date fiind reducerea
costurilor de realizare i a duratei de aplicare;
o n cazul testelor cu numr mare de itemi pot exista ntrebri care, chiar
dac au o corelaie pozitiv cu scala, contribuie la reducerea indicelui
Cronbach alfa sau au o contribuie minor la consistena general a
scalei.
- Cu ct corelaia medie dintre itemi este mai mare sau numrul corelaiilor egale
dintre itemi este mai mare (vezi tabelul 1). Itemii care dau corelaii cu ali itemi
de 0.4 sau mai mari, contribuie ntr-o msur important la creterea valorii
indicelui Cronbach alfa.
- Cu ct volumul eantionului mai mare. n practic, cu ct corelaie dintre itemi
este mai redus, cu att volumul eantionului necesar pentru a atinge un nivel
acceptabil pentru Cronbach alfa este mai mare (vezi tabelul 2).
- Numrul variantelor de rspuns este mai mare. Proprietile psihometrice ale
scalelor sunt afectate de numrul alternativelor de rspuns. Cu ct subiecii pot
alege dintre mai multe variante, att indicele Cronbach alfa tinde s fie mai mare,
ct i validitatea scalei. Scalele cu 5 sau 7 variante de rspuns sunt preferabile. De
remarcat faptul c cel mai sczut nivel de consisten intern se obine pe scalele
cu trei niveluri de rspuns, chiar mai sczut dect pentru scalele cu dou variante
(Lozano, Garcia-Cueto, & Muniz, 2008).

Tabelul 1. Volumul eantionului n funcie de diferite valori Cronbach Alfa i media
coeficienilor de corelaie r (Zeller, 2001)
r
mediu
Cronbach alfa
0.7 0.8 0.9
0.1 21 36 81
0.2 10 16 36
0.3 6 10 21
0.4 4 6 14
0.5 3 4 9
0.6 2 3 6
0.7 1 2 4
0.8 1 1 3

Dac analizm datele din tabelul 1 observm c cu ct itemii coreleaz mai puternic
cu att este nevoie de mai puini subieci pentru a se atinge niveluri ridicate ale indicelui
Cronbach alfa. Mai departe, datele din tabelul 2 ne arat c numrul necesar de itemi pentru
aceeai valoare a indicelui Cronbach alfa este mai mic pe msur ce numrul de itemi crete
i corelaia medie dintre acetia crete i ea.

M. Popa Analiza de itemi
11/20
Actualizat la: 06.05.2014 13:28


Tabelul 2. Valoarea indicelui Cronbach Alfa n funcie de numrul de itemi i de corelaia
medie dintre acetia (Zeller, 2001)
r
mediu
Numr de itemi
5 10 20 30 50
0.1 .37 .53 .69 .77 .850
0.2 .56 .71 .83 .88 .930
0.3 .68 .81 .90 .93 .960
0.4 .77 .87 .93 .95 .970
0.5 .83 .91 .95 .97 .980
0.6 .88 .94 .97 .98 .990
0.7 .92 .96 .98 .99 .990
0.8 .95 .98 .987 .992 .995
0.9 .98 .99 .994 .996 .998

Valoarea recomandat pentru Cronbach alfa

Plaja teoretic normal de variaie pentru indicele Cronbach alfa este ntre 0 i 1.
Uneori este posibil obinerea unei valori negative, dar acest lucru apare numai n contextul
unei configuraii viciate a datelor, care este semnalat de programul de calcul.
O scal, pentru a fi considerat consistent, trebuie s ating o valoare a indicelui
Cronbach alfa ct mai aproape de 1, nivelul de 0.70 fiind n general acceptat, prin convenie,
ca prag minim. Oricum pentru ca un test s fie consistent valoarea lui Cronbach alfa nu poate
fi mai mic de 0.60, iar o valoare ct mai mare este ntotdeauna de dorit. Unii autori consider
drept acceptabil o valoare de 0.50 a indicelui Cronbach alfa n cazul scalelor cu un numr
mic de itemi (10-15), n timp ce pentru scalele mai mari de 50 de itemi se recomand valori
ale lui Cronbach alfa de cel puin de 0.80.
Nivelul recomandat pentru Cronbach alfa difer i n funcie de utilizarea pe care o
are scala. Dac pentru scopuri de cercetare se accept i valori mai mici de 0.70, pentru
scopuri de decizie, cum ar fi cele de selecie psihologic a personalului, se impun valori mai
mari de 0.70.
Avnd n vedere faptul c indicele Cronbach alfa, calculat pe un eantion, este doar o
estimare a valorii sale reale, atunci o recomandare mai bun este ca limita inferioar a
intervalului de ncredere a acestuia s fie de cel puin 0.70. Modul n care pot fi obinute
limitele intervalului de ncredere va fi prezentat mai jos.

Analiza de consisten intern cu SPSS

Procedura de analiz a consistenei interne are un caracter recursiv, cu evaluri
succesive ale relaiilor dintre itemi, dintre itemi i scorul global, i cu operarea seleciei
itemilor n funcie de relaia lor cu acesta. Criteriul de baz pentru aceast operaie este
valoarea indicelui Cronbach alfa.
Procedura se lanseaz din meniul Analyze/Scale-Reliability Analysis..., care deschide
urmtoarea caset de dialog:

M. Popa Analiza de itemi
12/20
Actualizat la: 06.05.2014 13:28
Variabilele care conin valorile itemilor de analizat vor fi trecute n lista Items.
(5)


Atenie, variabilele trebuie s conin valori care exprim semnificaia rspunsului n
raport cu scala global i nu rspunsul efectiv al subiectului. De exemplu, dac variantele de
rspuns sunt codificate cu 1, respectiv 2, pot exista ntrebri pentru care varianta 1
aduce un punct la scal iar varianta 2 aduce zero puncte la scal. ntr-o asemenea situaie,
pentru analiza de itemi valorile codificate de rspuns vor fi transformate n valori
corespunztoare (0 i 1). n acelai mod se va opera i pentru itemii care au mai multe
variante de rspuns, cum este cazul scalelor de tip Lickert. Codurile convenionale ale
variantelor de rspuns vor fi transformate n valori, n funcie de semnificaia contribuiei lor
la construirea scorului global.
n lista Model se poate alege unul dintre urmtoarele modele de analiz:
Alpha. Calculeaz Cronbach alfa care pentru date dihotomice este echivalent cu
coeficientul Kuder-Richardson 20 (KR20)
Split-half. Pentru corelaia dintre forme paralele, coeficientul de fidelitate
Guttman, coeficientul Spearman-Brown, coeficientul alfa pentru fiecare
jumtate.
Modele Gutman. Coeficienii lambda, de la 1 la 6 (lambda 3 este identic cu
Cronbach alfa)
Modele paralele i strict paralele. Testele pentru gradul de coresponden
(goodness-of-fit), variana comun i alte caracteristici ale raporturilor dintre
itemi.

Pentru analiza de consisten intern se alege modelul Alfa.

n continuare, se fac setri de analiz prin deschiderea casetei Statistics:


n zona Descriptives se vor bifa opiunile:
o Item (analiza fiecrui item separat);
o Scale (analiza scorului global)
o Scale if item deleted (analiza scorului fr contribuia unui anumit item)
n zona Inter-item se va bifa Corelations, pentru a obine matricea de corelaii dintre
itemi.
Pentru obinerea limitelor intervalului de ncredere, se va utiliza opiunea Intraclass
correlation coefficient, cu setrile suplimentare Two-Way Random i Consistency.


5
Se utilizeaz fiierul didactic saq_10_itemi.sav
M. Popa Analiza de itemi
13/20
Actualizat la: 06.05.2014 13:28
n practic, bifarea opiunilor marcate pe caseta din imaginea de mai sus ofer
informaiile cele mai importante pentru analiza itemilor unui test. Celelalte opiuni sunt
explicitate n Help-ul casetei i pot fi utilizate pentru o analiz mai rafinat a datelor.
n continuare vom analiza un set de 10 itemi ipotetici, alei doar n scop didactic.
Pentru o scal real acest numr ar fi cu totul insuficient. Ca regul general, numrul itemilor
din faza de dezvoltare a unui astfel de instrument ar trebui s aib cel puin dublul numrului
de itemi pe care l preconizm la final. Acest lucru se impune deoarece analiza de itemi este
un proces selectiv care are drept scop alegerea itemilor adecvai pentru constituirea unei scale
cu cel mai ridicat nivel de consisten intern posibil.

Rularea procedurii, cu setrile de mai sus ne ofer mai multe categorii de informaii:

Valoarea lui Cronbach alfa, n cazul nostru .458, care este o valoare foarte sczut
6
:

Aceeai valoare, dar nsoit de limitele intervalului de ncredere, o regsim n tabelul
Intraclass Correlation Coefficient, pe linia Average Measures:



Avem de asemenea, un tabel cu indicatori descriptivi, media i abaterea standard a
itemilor. Analiza valorilor permite evidenierea tendinei centrale i a mprtierii
rspunsurilor pentru fiecare item n parte:




6
SPSS raporteaz valoarea lui Cronbach alfa cu trei zecimale, dar n lucrri se va raporta doar cu dou
zecimale.
M. Popa Analiza de itemi
14/20
Actualizat la: 06.05.2014 13:28
Este afiat matricea corelaiilor dintre itemi, care ofer o imagine a gradului de asociere
dintre acetia:


Valorile sunt utile, pe de o parte, pentru a sesiza itemii care tind s aib relaii
negative cu ceilali, fiind un semn al unei posibile probleme de construire respectivilor itemi.
Din tabelul de mai sus rezult c itemii i_02 i i_03 tind s se asocieze negativ cu majoritatea
celorlali itemi. Pe de alt parte, valori extrem de ridicate ale unor corelaii, aproape de 1, ar
putea sugera c itemii respectivi prezint un grad excesiv de similitudine care nu justific
utilizarea lor n aceeai scal (ar putea fi, de exemplu itemi formulai extrem de asemntor).

n fine, cea mai important dintre categoriile de informaii, tabelul Item-Total
Statistics, care descrie relaia dintre itemi i scorul global.
Coninutul fiecrei coloane este urmtorul:
- Scale mean if item Deleted media scorului la scal, fr itemul respectiv;
- Scale variance if item Deleted variana scorului scalei, fr itemul respectiv
- Corected Item-Total Correlation - corelaia dintre item i scorul global construit
fr participarea itemului respectiv
- Squared Multiple Correlation coeficientul de regresie multipl, pentru itemul
respectiv n calitate de criteriu i toi ceilali itemi n calitate de predictori.
- Cronbachs Alpha if Item Deleted - valoarea lui Cronbach alfa, dac respectivul
item ar fi eliminat).


Coeficienii de corelaie sunt afiai fr nivelul de semnificaie, lundu-se n
considerare doar mrimea lor. In general, se consider c o corelaie minim pentru un item
acceptabil ar trebui s fie de 0.20, dar valorile recomandabile sunt ntre 0.30 i 0.70.
Dac privim coloana Corected Item-Total Correlation observm c doi dintre itemi
(i_03 i i_09) au corelaii negative cu scorul global. Cu alte cuvinte, ei nu aduc informaie
util n raport cu atributul msurat ci, dimpotriv, merg ntr-o alt direcie dect acesta. n
primul rnd trebuie s verificm dac valorile itemilor respectivi au fost corect codificate.
M. Popa Analiza de itemi
15/20
Actualizat la: 06.05.2014 13:28
Dac da, atunci singura soluie posibil este eliminarea itemilor n cauz. Observm, de
asemenea, c itemul i_02 are o corelaie extrem de mic cu scorul global (0.017). Contribuia
sa la scorul global este nerelevant. Cu alte cuvinte, nici nu stric, dar nici nu ajut.
Valoare lui Cronbach alfa, care este de 0.45, poate fi crescut prin eliminarea itemilor
nepotrivii, n primul rnd a celor care coreleaz negativ cu scorul global. Ca urmare, se va
relua analiza, cu eliminarea itemilor negativi. n general, nu este recomandabil eliminarea
mai multor itemi simultan, dar itemii negativi pot fi scoi fr reineri. Iat care este rezultatul
obinut dup reluarea analizei cu eliminarea itemilor 3 i 9. Valoarea lui Cronbach alfa i
limitele de ncredere pot fi citite din tabelul de mai jos:



Aa cum se observ, nivelul lui Cronbach alfa a crescut la 0.68, ceea ce este aproape
de limita valorii minime recomandate.
Dac analizm din nou tabelul Item-Total Statistics, vom vedea c itemul i_02, care
anterior avea o corelaie pozitiv, dar extrem de mic, a dobndit o corelaie negativ cu scala.
Aa cum se observ pe ultima coloan a tabelului, eliminarea acestui item ar conduce la
creterea valorii lui Cronbach alfa la 0.75.



n principiu, chiar i itemii pozitivi, care au corelaii cu scala mai mici de 0.1, nu
trebuie pstrai, pentru simplul motiv c nu contribuie la constructul psihologic vizat, fiind
doar consumatoare de timp n aplicarea instrumentului. n realitate, atunci cnd construim o
scal i avem un numr suficieni de itemi, i putem pstra doar pe cei care au corelaii cu
scala mai mari de 0.3 sau 0.4.
Refacem analiza fr itemul i_02 i se obine urmtoarea configuraie de rezultate:


De data aceasta avem o valoare acceptabil pentru Cronbach alfa (0.757). Mai mult,
limita inferioar a intervalului de ncredere este i ea mai mare de 0.70, ceea ce este cu att
mai bine. S nu uitm c dac indicele Cronbach alfa ar avea valoarea 0.70, asta nseamn c
valoarea sa real ar putea fi, cu o probabilitate de 0.95 mai mic dect 0.70.
n plus, dac privim coloana Alfa if Item Deleted din tabelul Item-Total Statistics,
vedem c prin eliminarea oricrui item dintre cei rmai nu am obine o valoare mai ridicat
dect cea obinut. n acest moment analiza poate fi oprit, itemii selecionai putnd fi
constituii ntr-un instrument de msurare psihologic. n practic, autorul unui test psihologic
poate fi nevoit sau interesat s reduc numrul itemilor, fr a afecta consistena intern a
M. Popa Analiza de itemi
16/20
Actualizat la: 06.05.2014 13:28
scalei. n acest scop, valoarea Cronbach alfa n cazul eliminrii itemului (Alpha if item
deleted) este un indicator foarte util. Eliminnd succesiv itemii a cror prezen contribuie la
reducerea valorii Cronbach alfa, sau au o contribuie redus la aceasta, se poate ajunge la un
numr suficient de mic de itemi n condiiile obinerii unei valori mai mari pentru Cronbach
alfa.
n concluzie, cu ocazia iteraiilor succesive se vor elimina, n ordine:
itemii care au o corelaie negativ cu scorul global
itemii cu corelaii mici, nerelevante
Cu ct avem mai muli itemi n aceast faz, cu att avem posibilitatea s pstrm
itemi care coreleaz mai intens cu scala i, deci, s atingem un nivel mai ridicat de consisten
intern. Este de la sine neles c n cazul n care construim un instrument ale crui ntrebri
se adreseaz unor scale diferite, consistena intern se va evalua separat pentru setul de
ntrebri corespunztor fiecrei scale.
O scal care este consistent intern ne ofer garania c itemii instrumentului nostru
merg mpreun, msoar acelai construct psihologic. Atenie ns, acest lucru nu nseamn
c avem de a face cu un construct unidimensional i nici c instrumentul analizat msoar
exact ceea ce n-am propus s msoare. Aceast problem va fi rezolvat ulterior, prin studii
de validare.

Estimarea numrului de itemi necesari pentru o scal

n procesul de construcie al unei scale de msurare psihologic pot apare unele
dificulti, pe care statistica ne ajut s le surmontm. De exemplu, ne putem afla n situaia n
care itemii elaborai nu ating nivelul minim acceptabil de consisten intern i trebuie s
adugm noi itemi. Ct de muli itemi ar trebui s mai elaborm pentru a atinge un indice
Cronbach alfa acceptabil? Numrul itemilor necesari pentru a completa o scal care nu a atins
valoarea acceptabil a indicelui Cronbach alfa, poate fi estimat cu ajutorul formulei
Spearman-Brown:





unde:
x este valoarea curent a lui Cronbach alfa
k este nivelul dorit al lui Cronbach alfa
k este factorul de multiplicare a scalei pentru a se obine k

ntr-un mod similar se poate estima valoarea lui Cronbach alfa (k) care ar fi atins
pornind de la un anumit nivel calculat al acestuia x i un anumit factor de multiplicare al
numrului de itemi (k):





Exemplu:
Avem o scal cu 20 de itemi i x=0.50
Ci itemi ar trebui adugai pentru a atinge un nivel de 0.70?





) 1 ( *
) 1 ( *
k x
x k
k

) * ) 1 (( 1
*
x
x
k
k
k

33 . 2
) 70 . 1 ( * 50 .
) 50 . 1 ( * 70 .
) 1 ( *
) 1 ( *

k x
x k
k


M. Popa Analiza de itemi
17/20
Actualizat la: 06.05.2014 13:28
Deci, pentru a atinge un de 0.70 va trebui s avem o scal de 20*2.3347 itemi,
ceea ce nseamn c ne vor mai trebui 27 de itemi pe lng cei 20 deja existeni (estimare
valabil pentru situaia n care noii itemi ar avea aceeai corelaie inter-itemi cu cei deja
existeni).

Pentru acelai caz, cu ct ar crete dac am aduga 30 de itemi:

k=(nr. itemi iniiali+nr. itemi noi)/nr. itemi noi=(20+30)/20=2.5





Desigur, se presupune c noii itemi adugai vor fi la fel de buni ca i cei deja
utilizai. De aceea este posibil ca rezultatul formulei s fie o estimare uor optimist, dar nu
mai puin util.
O soluie convenabil pentru rezolvarea problemei numrului de itemi este utilizarea
programului Alpha-Validity Prophesing Computator (Garbin & Hoffman, 2007):


Chenarul 1: Estimarea numrului necesar
de itemi pentru a atinge un nivel dorit al
lui alfa.
Dac am obinut un alfa=0.50 i vizm o
valoare de 0.80, trebuie s multiplicm cu
4 (valoarea K) numrul itemilor pe care i
avem deja.



Chenarul 2: Estimarea valorii alfa, dac
adugm sau reducem numrul de itemi.
Pentru o valoare alfa=0.50, o modificare
a numrului de itemi care d un raport
K=1.5 (conform formulei din chenar), se
estimeaz o valoare a lui alfa=0.6.

Efectul de atenuare a validitii

Indicele Cronbach alfa este, de asemenea, un indicator al preciziei scalei i poate fi
vzut prin prisma valorii teoretice maxime pe care o poate lua corelaia acestei scale cu alte
variabile psihologice. Altfel spus, corelaia dintre dou variabile psihologice este diminuat
prin de nivelul de consisten intern a scalelor prin care acestea au fost msurate. Acesta este
ceea ce se numete efectul atenurii de fidelitate al validitii, care a fost observat nc de
Spearman (1904, apud Carretta & Ree, 2001; Schwab, 2005). Din acest motiv, atunci cnd
studiem relaia dintre anumite variabile psihologice trebuie s ne punem problema fidelitii
cu care acestea au fost msurate, deoarece mrimea corelaiei posibile dintre ele este fixat de
precizia msurrii fiecreia. Soluia acestei probleme const, fie n ameliorarea consistenei
interne a scalelor utilizate, fie n aplicarea coreciei de atenuare.
Pentru calcularea coreciei de atenuare de fidelitate se poate fi folosit acelai program
Alpha-Validity prezentat mai sus, a crui utilizare extrem de simpl o ilustrm n imaginea de
mai jos:
71 . 0
) 50 . * ) 1 5 . 2 (( 1
50 . * 5 . 2
) * ) 1 (( 1
*

x
x
k
k
k

M. Popa Analiza de itemi

18/20
Actualizat la: 06.05.2014 13:28



Zona de calcul pentru corecia de
atenuare este cea din chenar.
Am presupus c am obinut o
corelaie ntre dou variabile
(predictor/criteriu) r=0.30
Am introdus indicele Cronbach alfa
real i cel dorit pentru criteriu (0.60,
respectiv 0.80)
Am introdus indicele Cronbach alfa
real i cel dorit pentru predictor (0.65,
respectiv 0.80).
Dup acionarea butonului Estimate
Corrected Validity am obinut
valoarea corectat r=0.38.


Dar corecia poate fi efectuat i manual, utiliznd formula:
' ' ' '
' '
*
q q p p
q p
pq
r r
r
r

unde
rpq = coeficientul de corelaie corectat dintre p i q
rpq= coeficientul de corelaie necorectat dintre p i q
rpp= coeficientul de fidelitate al variabilei p
rqq= coeficientul de fidelitate al variabilei q

De exemplu, o corelaie calculat r=0.50, ntre dou variabile al cror coeficient
Cronbach alfa este de 0.70, devine prin corecie 0.71.

71 , 0
70 , 0 * 70 , 0
50 , 0

pq
r
Atunci cnd nu cunoatem valoarea coeficientului Cronbach alfa pentru ambele
variabile, putem face corecia pentru o singura variabil, introducnd sub radical doar
valoarea cunoscut.

Reguli de baz pentru dezvoltarea itemilor
1. Itemii a cror corelaie cu scala (scorul global) este negativ, sunt eliminai (dup
ce se verific n prealabil dac au fost valorizai corect).
2. Itemii a cror corelaie cu scala (scorul global) este mai mic de 0.15, ar trebui
probabil revizuii, deoarece nu sunt ncrcai n suficient msur cu atributul
vizat de test, sau de subscala cruia i aparine. n orice caz, itemii cu corelaii sub
0.1 nu sunt utilizabili. n principiu, un test este cu att mai bun cu ct itemii sunt
mai omogeni i dau corelaii ntre ei mai apropiate.
3. n cazul itemilor cu variante de rspuns, variantele greite (distractori) care nu
sunt alese de nici un subiect, ar trebui reformulate sau eliminate, deoarece nu
M. Popa Analiza de itemi
19/20
Actualizat la: 06.05.2014 13:28
contribuie la discriminarea ntre subiecii cu performan slab i cei cu
performan bun. Faptul c variantele greite nu sunt alese cu aceeai frecven
nu reprezint, ns, o problem. De asemenea, un item la care majoritatea
rspunsurilor sunt greite nu trebuie n mod necesar eliminat, dar o analiz atent
a acestuia se impune.
4. Corectitudinea unui item la care frecvena de alegere a unei variante distractor
este mai mare dect a variantei corecte, trebuie analizat cu atenie, mai ales
atunci cnd corelaia cu scorul global este pozitiv.
5. Itemii la care se obin (aproape) numai rspunsuri corecte sunt inutili i ar trebui
eliminai sau nlocuii.

Recomandri privind utilizarea analizei de consisten intern

Atunci cnd un test este compus din mai multe scale (trsturi de personalitate, de
exemplu), indicele Cronbach alfa se calculeaz n mod distinct pentru fiecare scal n parte.
Coeficientul de consisten intern se calculeaz numai pentru instrumente compuse
din itemi care sunt utilizai prin construirea unui scor unic. Chestionarele compuse din
ntrebri ale cror rspunsuri sunt utilizate ca atare, fr nsumarea lor ntr-un scor unic, nu
reclam analiz de consisten intern.
Procedurile analizei de itemi sunt indispensabile pentru asigurarea calitii
instrumentelor de evaluare n psihologie. Situaiile n care este necesar utilizarea lor sunt
urmtoarele:
n faza de construcie a unui test psihologic, fie de personalitate, fie de
performan. Analiza de itemi este, n acest caz, o condiie obligatorie pentru
acceptarea acestuia ca instrument de msur n psihologie.
La adaptarea unui test psihologic, prin traducerea dintr-o limb strin. ntr-o
astfel de situaie, chiar dac versiunea original beneficiaz de documentaia
complet din punct de vedere psihometric, traducerea itemilor poate aduce
modificri substaniale care s modifice comportamentul statistic al acestora n
noul mediu cultural.
Atunci cnd se obine un test aflat n uz, dar despre care nu exist o documentaie
adecvat sub aspectul caracteristicilor psihometrice.
Atunci cnd se schimb destinaia (populaia) pe care este utilizat un test, chiar
dac exist o documentaie complet cu privire la caracteristicile psihometrice ale
acestuia pentru utilizarea iniial.
Dup trecerea unei perioade ndelungate (de ordinul anilor) de la efectuarea unei
analize de itemi, pentru evaluarea diminurii poteniale a caracteristicilor sale
psihometrice. Acest lucru se poate ntmpla, de exemplu, ca urmare a modificrii
lente a unor caracteristici ale populaiei pe care este aplicat.

O valoare sczut a lui Cronbach alfa poate sugera faptul c itemii sunt
multidimensionali, adic se grupeaz pe dou sau mai multe dimensiuni, care nu coreleaz
sau coreleaz puin ntre ele. De exemplu, itemii chestionarului Cattell 16 PF se grupeaz pe
un numr de 16 dimensiuni (factori) distinci. n situaii de acest gen, coeficientul de
consisten intern, calculat pe toi itemii chestionarului, va avea o valoare mic, dar calculat
pe grupe de itemi, va avea o valoare mare. Problema este cum identificm grupele de itemi
atunci cnd nu tim dac acetia sunt sau nu multidimensionali? Soluia se afl n aplicarea
unei analize factoriale
(7)
pe valorile itemilor, care ne va spune n ce msur acetia tind s se
grupeze, i care sunt itemii afereni fiecrui grup (dimensiune). n final, dac se accept
gruparea itemilor n conformitate cu rezultatele analizei factoriale, se va calcula coeficientul
Cronbach alfa pentru fiecare grup de itemi separat.


7
Procedur statistic de grupare a variabilelor. Prezentarea ei face obiectul cursurilor avansate de
statistic.
M. Popa Analiza de itemi
20/20
Actualizat la: 06.05.2014 13:28
Exist i situaii n care analiza de consisten intern nu este adecvat. De
exemplu, atunci cnd o scal este utilizat pentru evaluarea cunotinelor cu privire la un
anumit subiect sau tem educaional, pentru alte scopuri dect cele de selecie sau
discriminare, unele dintre tehnicile de analiza de itemi nu sunt adecvate pentru selectarea
itemilor. Acest lucru este adevrat deoarece ne aflm ntr-o situaie de nvare i dorim s
evalum performana elevilor ca urmare a unui proces de instruire, i nu ca trstur inerent
a fiecruia. Dac aplicm un test nainte de parcurgerea materiei respective vom obine un
procentaj foarte sczut de rspunsuri corecte i o corelaie item-total aproape de zero, fapt
care reflect necunoaterea de ctre elevi a materiei respective (rspunsuri greite, rspunsuri
la ntmplare, etc.). n acest caz soluia nu const n eliminarea sau refacerea itemilor, ci n
instruirea elevilor. Dac aplicm testul respectiv dup parcurgerea perioadei de instruire, vom
obine procentaje mari de rspunsuri corecte, ceea ce ar fi interpretabil drept redus capacitate
discriminativ a itemilor. n realitate, eliminarea acestor itemi ar fi de asemenea o eroare,
deoarece am elimina tocmai itemii care pun n eviden succesul nvrii, ceea ce este exact
obiectivul msurrii.
n astfel de situaii, utilizarea indicelui de consisten intern Cronbach alfa este
inadecvat. Cu toate acestea, indicii de dificultate i de discriminare pot fi utilizai ca
modalitate de identificare a itemilor greit formulai, a celor nerelevani sau, pur i simplu,
pentru a scoate n eviden erorile tipice pe care le fac subiecii la anumite ntrebri.

Referine bibliografice

Bovaird, J. A., & Embretson, S. E. (2008). Modern Measurement in the Social Science. In P.
Alasuutari, L. Bickman & J. Brannen (Eds.), The SAGE Handbook of Social Research
Methods (pp. 269-289): SAGE Publications.
Carretta, T. R., & Ree, M. J. (2001). Pitfalls of Ability Research. International Journal of
Selection and Assessment, 9(4), 325-335.
Ebel, R. L. (1965). Measuring educational achievement. Englewood Cliffs, NJ: Prentice Hall.
Ellis, B. B., & Mead, A. D. (2004). Item Analysis: Theory and Practice Using Classical and
Modern Theory. In S. G. Rogelberg (Ed.), Handbook of Research Methods in
Industrial and Organizational Psychology (pp. 324-343): Blackwell Publishing.
Garbin, C. P., & Hoffman, L. (2007). Alpha-Validity Prophesing Computator
(http://psych.unl.edu/psycrs/451/e3/).
Garbin, C. P., & Hoffman, L. (2008). Item Analysis for Summative Scales. Retrieved
14.07.2008, from http://psych.unl.edu/psycrs/
Lozano, L. M., Garcia-Cueto, E., & Muniz, J. (2008). Effect of the Number of Responses
Categories on the Reliability and Validity of Rating Scales. Methodology: European
Journal of Research Methods for the Behavioral and Social Sciences, 4(2), 73-79.
Peladeau, N. (1995). STATITEM 1.0. Retrieved 8.09.2002, from
http://www.kovcomp.co.uk/
Rzasa, S. E. (2003). Item analysis on a developmental rating scale using both statistical and
qualitative methods. Paper presented at the Annual meeting of the American
Educational Research Association (April 21-25).
Schwab, D. P. (2005). Research methods for organizational studies (2nd ed.): Lawrence
Erlbaum Associates.
Steyer, R. (2001). Classical (Psychometric) Test Theory. In C. Ragin & T. Cook (Eds.),
International Encyclopedia of the Social and Behavioural Sciences. Logic Inquiry
and Research Design (pp. 1955-1962). Oxford: Pergamon.
Traub, R. E. (1997). Classical Test Theory in Historical Perspective. Educational
Measurement: Issues and Practice, 16(4), 8-14.
Zeller, R. A. (Ed.) (2001) Encyclopedia of Sociology (Second ed., Vols. 4). Macmillan
Reference USA.