Escolar Documentos
Profissional Documentos
Cultura Documentos
2007 - Validade Dos Testes Psicológicos PDF
2007 - Validade Dos Testes Psicológicos PDF
The Validity of the Psychological Tests: Is It Possible to Find the Way Again?
ABSTRACT Since the work of Cronbach and Meehl of mid last century, the concept of validity of the tests in Psychology
and Education has been loosing its original meaning. Despite the intention of the authors to precisely save this concept, the
introduction of the model of the nomological network, conceived within the framework of the logical positivism, was in fact
decisive to destroy the concept of validity as originally conceived by Kelly in the 1920s and later on by Cattell. The concept of
validity was nally completely mischaracterized with the denition given by the great psychometrist Samuel Messick in 1989.
It seems to be fundamental that this concept is rediscovered in order to save the bases of Psychometry. The present article will
try to show the confusion that the nomological network model brought to Psychometry and also to try to recuperate the real
meaning of validity within the context of the measures in psychosocial sciences, especially in Psychology and Education.
Key words: validity; nomological network; psychometry.
considerado o modo moderno de entender validade, inclusive assumido pela American Psychological Association
(APA, 1985), tornou o tema um verdadeiro zoolgico. Na
verdade, voc vai encontrar na literatura tradicional e atual
sobre o tema, especialmente a norte-americana, um elenco
sem m de expresses ou tipos de validades que um teste
pode ter. Vejamos alguns deles:
1) Validade de construto (construct validity): o teste
mede um atributo ou qualidade que no operacionalmente
denido; (Cronbach & Meehl, 1955).
2) Validade de contedo (content validity): o teste constitui uma amostra representativa de um universo de contedo
(Cronbach & Meehl, 1955; Haynes, Richard, & Kubany,
1995), alm de ser relevante (Messick, 1989).
3) Validade de critrio (criterion-oriented validity): o teste
prediz um critrio externo (Cronbach & Meehl, 1955).
4) Validade preditiva (predictive validity): variedade
da validade de critrio, em que este medido temporariamente depois de obtidos os dados do teste (Cronbach
& Meehl, 1955).
5) Validade concorrente (concorrent validity): variedade
da validade de critrio, em que este medido simultaneamente coleta dos dados do teste (Cronbach & Meehl, 1955).
6) Validade aparente (face validity): consiste em se ter
peritos revendo os contedos de um teste para ver se eles
so apropriados em sua cara (Mosier, 1947, 1951).
99
L. Pasquali
7) Validade generalizvel (validity generalization): a
informao dos escores do teste deve ser generalizvel sobre
populaes e tempo (Mosier, 1947, 1951; Messick, 1989).
8) Validade discriminante (discriminant validity): um
teste tem validade discriminante se mostrar correlao nula
com um teste que mede um trao independente de personalidade (Campbell & Fiske, 1959).
9) Validade convergente (convergent validity): um teste
tem validade convergente se mostrar correlao alta com um
teste que mede um trao de personalidade teoricamente relacionado ao que o teste mede (Campbell & Fiske, 1959);
10) Validade incremental (incremental validity): a questo
de se uma medida particular aporta poder explicativo sobre
e alm de outra media para predizer um critrio relevante
(Bryant, 2000).
11) Validade fatorial (factorial validity): um tipo de
validade de construto em que testes so submetidos
anlise fatorial para vericar se possuem varincia comum
(caso em que se diz que esto cobrindo o mesmo construto)
(Guilford, 1946).
12) Validade lgica (logical validity): um teste julgado
vlido por peritos (Cronbach, 1949).
13) Validade emprica (empirical validity): Cronbach (1949).
14) Validade conseqencial (consequential validity): os
aspectos sociais dos escores dos testes devem ser levados em
conta (Messick, 1989).
15) Validade intrnseca (Intrinsic validity): Gulliksen (1950).
16) Validade substantiva (Substantive validity): validade
baseada em bases racionais ou tericas (Messick, 1989).
17) Validade estrutural (structural validity): as respostas
devem ser internamente consistentes sobre diferentes partes
do teste (Messick, 1989).
18) Validade externa (external validity): os escores do
teste devem se correlacionar com outras medidas ou variveis
de fundo (Messick, 1989) ou a medida pode ser generalizada atravs de vrias situaes (Emory, 1985; Lnnqvist &
Hannula, s/d ).
19) Validade interna (internal validity): so as validades
de critrio, de contedo e de construto (Emory, 1985; Lnnqvist & Hannula, s/d ).
20) Validade de hiptese (hypothesis validity): uma medida tem validade de hiptese se, em relao a outras variveis,
ela se comporta como dela se espera (Weber, 1990).
21) Validade indireta (indirect validity): o mesmo que
validade de hiptese (Janis, 1965).
22) Validade posditiva (posdictive validity): o oposto de
validade preditiva (Haynes & cols., 1995).
23) Validade curricular (curricular validity): constitui
uma extenso da validade de contedo e consiste em vericar
o aumento da aprendizagem (se se descobre que h aumento
de aprendizagem em dois testes com validade de contedo,
ento se verica validade curricular).
24) Validade diferencial (differential validity): validade
de uma bateria de testes avaliada pela capacidade de predizer
diferenas no desempenho em dois ou mais critrios.
25) Validade cruzada (cross validity): conrmar a validade dos resultados a partir de um novo exame com estudo
emprico feito com uma segunda amostra independente.
26) Validade de grupos mistos (mixed-group validity):
duas amostras com formatos diferentes no trao ou diferen-
100
A rede nomolgica
Para melhor enquadrar a problemtica dos testes psicolgicos, vamos vericar o que exatamente signica esta
histria da rede nomolgica, inventada por Cronbach e Meehl
(1955), e que domina hoje o campo da validade dos testes
psicolgicos. Esses autores tambm introduziram o conceito
de validade de construto no contexto dos testes psicolgicos.
Inclusive, eles armaram que esse tipo de validade exige um
novo enfoque cientco. De fato, dizem eles, que a compreenso do que seja tal conceito est ligada ao que chamaram
de rede nomolgica (nomological network). Para introduzir
essa problemtica, os autores estabeleceram seis princpios
fundamentais, quais sejam:
1) Falando cienticamente, para tornar claro o que algo
seja signica estabelecer as leis em que ele ocorre. Chamaremos a esse sistema interlaceado de leis que constitui a
teoria, de rede nomolgica.
2) As leis numa rede nomolgica podem relacionar a)
propriedades ou quantidades observveis entre elas mesmas;
ou b) construtos tericos a observveis; ou c) diferentes
construtos tericos entre eles mesmos. Essas leis podem
ser estatsticas ou determinsticas.
3) Uma condio necessria para se admitir cienticamente um construto consiste em que ele deve ocorrer numa
rede nomolgica, onde, pelo menos, algumas de suas leis
envolvem observveis. Construtos admissveis podem estar
bem longe da observao, i., uma derivao longa pode
intervir entre os nomolgicos que denem implicitamente
o construto, e os (derivados) nomolgicos de tipo a. Estas
ltimas proposies permitem predies sobre eventos.
O construto no reduzido s observaes, mas apenas
combinado com outros construtos na rede para se fazerem
predies sobre observveis.
4) Aprender mais sobre um construto terico uma
questo de elaborar a rede nomolgica na qual ele ocorre,
ou de aumentar a preciso dos componentes. Pelo menos na
histria inicial do construto, a rede ser limitada e o construto
ter ainda poucas conexes.
5) Um enriquecimento da rede, tais como acrescentar
um construto ou uma relao teoria, justicado se tal
gerar nomolgicos que so conrmados pela observao
ou se ele reduz o nmero de nomolgicos exigidos para
predizer as mesmas observaes. Quando observaes no
se enquadram na rede como ela se apresenta no momento,
o cientista tem certa liberdade em escolher onde modicar
a rede. Isto , pode haver construtos alternativos ou formas
diferentes de organizar a rede que, por enquanto, so igualmente defensveis.
6) Podemos dizer que operaes que so qualitativamente muito diferentes sobrepem-se ou medem a
mesma coisa, se as suas posies na rede nomolgica as
Psic.: Teor. e Pesq., Braslia, 2007, Vol. 23 n. especial, pp. 099-107
Construto
A
Construto
B
Observvel
a
Observvel
b
101
L. Pasquali
rede terica (lado esquerdo da Figura), tendo como espelho
as respectivas medidas empricas (lado direito da Figura).
c
b
B
A
Fatores
Medidas
Rede nomolgica
Relaes empricas
102
rede nomolgica entenderia construto unicamente no contexto epistemolgico, no mximo, quando no o entende como
puro rtulo sem nenhuma consistncia de realidade. Ele est
ali unicamente para dar signicado relao que existe entre
os observveis. Dessa forma, se entendido como realidade
epistemolgica, o construto no se constitui apenas como um
rtulo sem concretude prpria, mas uma realidade, somente
que se expressa como uma representao e, portanto, totalmente dependente do seu observvel. Mas, nesse caso, a seta
que vai do construto para o observvel, como na Figura 1,
injusticvel, porque ela deveria ser direcionada ao contrrio,
porque no o construto que causa o observvel e, sim, o
observvel que causa o construto. S para adiantar, esse modo
de pensar se contrape frontalmente viso da psicometria
atual da Teoria de Resposta ao Item, por exemplo, que arma
exatamente o oposto dessa concepo assim entendida de
rede nomolgica (veja tambm Da Silva, 2005).
Ento, o que signica agora dizer que o teste vlido se de
fato mede aquilo para o qual ele foi feito para medir? Claro,
ele mede o construto; mas o construto foi inventado a partir
do observvel (do escore do teste) e, assim, bvio que ser
medido por este. Parece uma tautologia, que soa quase como
uma safadeza. O conceito ou a percepo do gato corresponde
ao gato fsico. Certo! Mas, o gato percepo que justica,
valida o gato fsico ou ser este que valida sua percepo?
Num contexto epistemolgico, bvio que o gato fsico que
valida a percepo do gato, porque esta simplesmente uma
representao mental do gato fsico e ela deve corresponder
a este gato fsico para ser legtima. Mas, os construtos de
que fala a Psicometria e a Psicologia em geral sero tambm
apenas representaes mentais ou sero eles processos ou
realidades em si, sem serem puras representaes? a eterna
briga entre a viso materialista e dualista do ser humano, que
sorrateiramente surge de novo nessa viso da rede nomolgica.
Infelizmente, a soluo desse problema constitui uma questo
losca e no emprica. E, dessa forma, ela vai continuar a
ser um problema enquanto houver pesquisadores que pensam
de forma diferentes sobre o tema.
Sintetizando: O conceito construto pode ser entendido
de trs formas, ou seja:
1) Construto um rtulo, que representa uma classe de
comportamentos (como, inteligncia representando ou resumindo todos os comportamentos chamados de inteligentes),
sem nenhuma consistncia de realidade.
2) Construto um conceito, que representa alguma realidade observvel (comportamento). Assim, ele uma realidade
epistemolgica, dependente de uma realidade observvel.
3) Construto uma realidade psquica, independente e
preliminar ao observvel que o representa; assim, construto
uma realidade ontolgica e, conseqentemente, deve ser
entendido em si mesmo e no em referncia a observveis.
No caso dos testes psicolgicos, poder-se-ia aduzir a balbrdia
do conceito de validade a que levou a viso positivista, materialista, subentendida na rede nomolgica, para desacreditar essa
viso, que se tornaria uma tentativa frustrada. Contudo, no caso
da viso dualista, em que existem os processos psquicos independentes, ca o grave problema de saber o que eles so e quais
so as leis que regem esses processos, isto , a teoria psicolgica.
E esta est longe de ser uma realidade minimamente consensual
em seus detalhes entre os psiclogos. Ento, parece que estamos
Carmines e Zeller (1979, p. 23) explicam: Fundamentalmente, a validade de construto diz respeito ao tanto que uma
dada medida se relaciona com outras medidas consistentes
com hipteses teoricamente derivadas com respeito aos conceitos (ou construtos) que esto sendo medidos. Isso parece
signicar que a validade de construto diz respeito ao quanto
relao existente (vista, observada: a correlao) entre
duas medidas (de observveis) consistente com hipteses
teoricamente deduzidas sobre os construtos sendo medidos
por elas. Ou seja, se tenho duas medidas (a e b; veja Figura
1) que se apresentam relacionadas (na verdade, s isso que
tenho como dado emprico), ento elas so consistentes se
puder supor que os dois construtos (A e B) que elas medem
foram denidos como correlacionados.
Vamos procurar entender melhor essa histria, utilizando o
dilema da validade de construto de Brown e Burrows (1992),
adaptado de McGraw (1982) e analisado na Figura 3.
Outros fatores
afetando o
construto A
5
1
Construto A
Construto B
2
Observvel a
Observvel b
4
6
Outros fatores
afetando o
observvel b
103
L. Pasquali
1) A medida no tem validade de construto. Nesse caso,
a medida simplesmente falsa e deve ser abandonada como
medida do construto de interesse.
2) A rede nomolgica que serviu para gerar as predies
empricas est incorreta. Nesse caso, a rede terica est errada
e preciso rev-la.
3) O procedimento para testar as hipteses teoricamente
derivadas est incorreto. Nesse caso, ou a medida (o teste)
foi mal construda ou as anlises estatsticas foram mal
feitas. Assim, tanto a medida quanto as anlises tm que
ser revistas.
4) Falta de validade de construto ou de preciso de
alguma(s) outra(s) varivel(eis) na anlise. Isto , um dado
construto vem sempre associado a outros construtos. Nesse
caso, foi feita uma relao entre construtos que, de fato, no
se relacionam. H, portanto, falha na parte terica da rede
nomolgica.
Isso muito bonito. Mas, duas coisas: primeiro, os estudos que vo dando resultados positivos, isto , apoiando
a hiptese de validade de construto, vo aumentando a
probabilidade de certeza dessa validade. Agora, acontece
que, aps ter aumentado essa probabilidade, um resultado
negativo ocorre. O que acontece com essa probabilidade?
Ela diminuiu ou acabou? Se o resultado negativo resulta
de uma pesquisa bem conduzida, esse resultado constitui a
morte da hiptese, porque uma regra bsica, de qualquer
pesquisa cientca, que um nico resultado negativo torna
a hiptese invlida, por mais resultados positivos que tenha
tido anteriormente. Trata-se da regra da conrmao emprica (Pasquali, 2005a). Em segundo lugar, mesmo que esse
proposto processo funcionasse, tratar-se-ia de validao
de um teste e no de validade do teste. Validade constitui
uma propriedade de algo, enquanto validao constitui uma
atividade do cientista para vericar tal propriedade. Esta se
insere num processo epistemolgico, de conhecimento, enquanto aquela se insere num campo ontolgico, da realidade
da propriedade e do algo em questo. As duas coisas so
importantes; mas, uma no a outra, porque uma fala do
que se trata, enquanto a outra fala do como fazer. A validade parece ser um conceito bastante simples, se entendida
como a propriedade de um teste estar de fato se referindo a
(representando) um construto, enquanto que validao j se
apresenta bastante mais complexa, porque se trata de provar
cienticamente a validade do instrumento. Neste ltimo
contexto, uma teoria como a da rede nomolgica til, sobretudo quando operacionalizada como zeram Campbell e
Fiske (1959) com a sua validade convergente-discriminante.
Apenas que os construtos em jogo no so conceituados pela
rede nomolgica; eles so preliminares e denidos em termos
da teoria substantiva psicolgica e, ento, entrosados numa
rede nomolgica.
b) A validade da relao se 2 e 1 e 4, ento 3
rAB = 0,70
rab = 0,70
b
B
rbB = 0,70
b
Figura 4. Correlaes entre construtos e observveis.
raA = 0,70
A
B
raA = 0,00
a
Figura 5. Correlao entre a medida a e o construto A.
O modelo de validao de construto arma que se as relaes 1, 2 e 4 forem verdadeiras, ento segue que a relao
3 tambm o . Entretanto, todas essas relaes postuladas
no modelo da rede nomolgica so expressas como correlaes, isto , em termos de covarincia. Agora, acontece que
104
Mesmo salvando todas as correlaes postuladas, a correlao entre a e o construto A tanto pode ser alta (parte A
da Figura) quanto nula (parte B da Figura). Dessa forma, o
silogismo que argumenta em prol da validade de construto
105
L. Pasquali
psiclogo deve entender o seu referente, o processo psquico,
que se constitui como causa do comportamento, para satisfazer o ditado dos romanos de scire est per causas scire
(conhecer se faz conhecendo as causas). O fato de que esses
processos psquicos sejam minimamente conhecidos (isto ,
praticamente desconhecidos) no invalidam sua presena,
muito menos sua utilidade cientca.
Dessa forma, se um teste a mede um construto A, ento
ele deve se referir a este construto especicamente e no
porque o teste se correlaciona com outro teste b que mede o
construto B que, por sua vez, se correlaciona com o construto
A. Assim, a validade de um teste deve ser entendida como
ilustrado na Figura 6.
Referncias
O construto (trao latente, teta) se posiciona como o objeto que o teste quer medir, isto , ele o aquilo que o teste
pretende medir. Ento, ele o referente, em funo do qual
a qualidade do teste deve ser avaliada. Conseqentemente,
as respostas ao teste (o escore no teste, o observvel, o tau)
no criam o construto, antes, pelo contrrio, o escore no
teste que depende do construto. Quando se diz que um
teste valido, estamos assumindo uma posio ontolgica
de que o atributo sendo medido existe e afeta o resultado do
procedimento de medida (Borsboom & cols., 2004). Assim,
o construto o referencial para os resultados de um teste.
Se estes so reais, ento o referencial tambm deve ser real.
Do contrrio ca estranho se dizer, por exemplo: o teste X
mede inteligncia, mas inteligncia no existe. As duas armaes no podem ser simultaneamente verdadeiras. Uma
delas falsa. Como os resultados do teste X so reais, ento
o construto medido existe.
Comentrio Final
Validade diz respeito ao instrumento e no ao uso que se
faz dos seus escores. Assim, no faz sentido dizer que um
teste com validade de construto vlido numa situao, e
no o em outra. Esse modo de falar faz sentido somente
no contexto da teoria clssica dos testes, em que imperava a
validao dos testes via critrio, em que a validade do teste
realmente dependia da estabilidade do critrio. Assim, se o
critrio mudasse de status, o teste que o predizia perdia a
validade. No caso da validade de construto, no existe esta
histria de validade condicionada do teste, porque o critrio
aqui o teta. Assim, o teste no prediz um teta, ele representa
ou modela comportamentalmente o trao latente. Como se
supe que o trao latente no mude de uma situao para outra
como muda um critrio, ento o teste que afere validamente
o tal teta, o far assim em qualquer situao. O problema da
validade condicionada com respeito a testes com validade
106
107