IV - Critrios para Avaliao dos Testes Psicolgicos

Ricardo Primi, Regina Sonia Gattas F. do Nascimento e Audrey Setton de Souza

Para a realizao do processo de avaliao dos Testes Psicolgicos, foram utilizados os principais fundamentos psicomtricos, alm de uma srie de critrios mnimos descritos a seguir.

Avaliao Psicolgica
A Avaliao Psicolgica constitui-se na busca sistemtica de conhecimento a respeito do funcionamento psicolgico das pessoas, de forma a poder orientar aes e decises futuras. Esse conhecimento sempre gerado em situaes especcas, envolvendo questes e problemas tambm especcos. Na clnica, por exemplo, o prossional pode fazer uma Avaliao Psicolgica para entender melhor os problemas vivenciados por uma pessoa e pensar quais so as melhores formas de ajud-la a superar tais problemas, ou, na escola, pode procurar entender porque uma criana tem diculdades para aprender ou como estimular seu desenvolvimento, ou, na rea forense, em que necessrio entender quais razes levaram uma pessoa a cometer um crime ou se ela pode ser considerada responsvel pelos seus atos, ou, ainda, no trabalho, em que o prossional procura identicar qual pessoa poderia ser selecionada para um determinado cargo. Est implcito na Avaliao Psicolgica que o objetivo ltimo, ainda que idealmente, sempre ser beneciar as pessoas envolvidas.

Testes Psicolgicos
Os Testes Psicolgicos so procedimentos sistemticos de coleta de informaes que municiam o processo amplo e complexo de Avaliao Psicolgica com dados teis e conveis. Existem vrias formas de se obter informaes, tais como a observao direta, as entrevistas, a anlise de documentos e a aplicao de testes propriamente dita. Fica claro, ento, que os Testes Psicolgicos so uma das formas possveis de se obter informaes sobre as pessoas durante a Avaliao Psicolgica. Em geral, os Testes Psicolgicos propem tarefas especcas s pessoas como meio para observar a manifestao do comportamento e, por meio dessas manifestaes, inferir caractersticas psicolgicas. Partindo-se da maneira como as pessoas se comportam nessas tarefas, os prossionais inferem caractersticas psicolgicas associadas. As tarefas podem constituir-se em problemas de raciocnio, frases autodescritivas, tarefas de expresso, como desenhar, contar histrias, perceber guras em manchas de tinta e outros. Uma questo importante que se faz em relao aos testes refere-se legitimidade das inferncias feitas. A fundamentao slida, para elas, construda, gradativamente, por

21

IV - Critrios para Avaliao dos Testes Psicolgicos

uma srie de estudos buscando evidncias de validade, preciso e informaes normativas, quando for o caso. A Resoluo do CFP n 002/2003 estabelece os requisitos mnimos necessrios aos testes disponibilizados para uso prossional nos termos desses parmetros, amparada em documentos internacionais que denem, em detalhes, tais caractersticas. (International Test Commission, 2000; American Educational Research Association, American Psychological Association & National Council on Measurement in Education, 1999; Canadian Psychological Association, 1996) A seguir, sero denidas, sucintamente, cada uma dessas caractersticas e, ao nal, quais foram os critrios mnimos exigidos para que o teste recebesse um parecer favorvel em funo do tipo de teste em considerao.

Validade
O ponto crtico dos Testes Psicolgicos a validade das interpretaes feitas das respostas dadas na testagem, e, por isso, a validade uma caracterstica fundamental dos instrumentos de avaliao. Refere-se legitimidade das interpretaes dadas a partir dos indicadores observados na aplicao de testes, analisados com base nos comportamentos caractersticos que a pessoa apresentou na realizao da tarefa proposta pelo teste. Uma questo fundamental que precisa ser respondida indaga sobre quais evidncias empricas justicam essas interpretaes, isto , quais dados existem indicando que essas interpretaes sejam coerentes e legtimas, ou seja, resultante de pesquisas delineadas para testar os pressupostos de tais interpretaes. O estudo de validade traz o embasamento cientco aos instrumentos de avaliao. Os mtodos de validar um teste no diferem muito daqueles usados para validar teorias psicolgicas (Muniz, 2004); portanto, esto associados ao conjunto de evidncias empricas favorveis ao signicado que se est atribuindo aos indicadores. As pesquisas de validade sustentam cienticamente e justicam as associaes propostas entre os indicadores e as caractersticas psicolgicas. Elaborando-se um pouco mais esse conceito, deve car claro que, como armam Anastasi e Urbina (2000), [...] a validade de um teste no pode ser relatada em termos gerais. No podemos dizer que um teste tem alta ou baixa validade em termos abstratos. Sua validade precisa ser estabelecida com referncia ao uso especco para o qual o teste est sendo considerado (p.107). Nesse sentido, cada armao sobre alguma caracterstica psicolgica diferente observada a partir de algum indicador no teste deve ser validada. A pesquisa de validade, portanto, composta de vrias sub-pesquisas, cada uma testando algum aspecto interpretativo do teste. Exner (1993), por exemplo, realizou centenas de estudos de validade das interpretaes das respostas ao teste Rorschach. Uma delas refere-se s respostas de reexo, ocorrendo quando uma parte da mancha referida como sendo o reexo da outra. Respostas desse tipo, em nmero elevado, indicam um foco de ateno voltado mais para si do que para os

22

IV - Critrios para Avaliao dos Testes Psicolgicos

outros, uma tendncia a superestimar o prprio valor e assinala a presena de caractersticas narcsicas na personalidade. Essas respostas fazem parte do ndice de Egocentrismo. Um dos primeiros estudos de validade desse ndice envolveu 21 pessoas que passavam por um processo seletivo. Na entrevista, o examinando cava espera do entrevistador, que chegava sempre 10 minutos depois de o sujeito ter entrado na sala. Nesta, havia um espelho e uma cmera escondida atrs do espelho, lmando o sujeito. A partir das gravaes, os pesquisadores contaram o tempo que o sujeito passou olhando-se no espelho. Alm disso, contaram o nmero de vezes que o sujeito usou os pronomes pessoais eu e meu durante a entrevista. Essas variveis estavam associadas, signicativamente, ao nmero de respostas de reexo, apoiando a interpretao de que respostas desse tipo indicam um funcionamento mais egocntrico. Em outro estudo envolvendo 40 pessoas, Exner (1993) calculou a diferena entre autodescries com adjetivos sobre como sou em contraposio a autodescries sobre como gostaria de ser . Os sujeitos com menor nmero de discrepncias entre as descries reais-ideais apresentavam maior nmero de respostas de reexo, apoiando a interpretao de auto-estima mais inada associada s respostas de reexo. Como evidenciado acima, o trabalho de validao de um teste muito complexo. Na verdade, ele dinmico e praticamente interminvel. Os vrios estudos podem ser vistos como pequenas provas que vo acumulando-se sobre o que e como se deve interpretar os indicadores obtidos em um teste. Existem vrias formas de se buscar evidenciar a validade das interpretaes do teste, dentre as quais aquelas baseadas na anlise do contedo dos itens do teste, nas relaes com outras variveis, no processo de resposta, na estrutura interna dos itens ou nas conseqncias da aplicao de testes (AERA, APA, NCME, 1999). Todas essas formas consistem em procedimentos diferentes de coleta de informaes sobre validade e respondem a questes diferentes, cada uma com maior pertinncia em razo dos propsitos e contextos em que se pretende utilizar o instrumento de avaliao. Dessa forma, a Resoluo CFP n. 002/2003 utiliza a terminologia proposta por Prieto e Muniz (2000), que subdivide as pesquisas para validao de um Teste Psicolgico em trs maneiras: validade de contedo, validade de constructo e validade de critrio, que, por sua vez, so subdivididas da seguinte forma: Validade de contedo: qualidade da representao do contedo ou domnio; consulta a especialistas; Validade de constructo: correlao com outros testes ou validade convergente-discriminante, diferenas entre grupos, matriz multitrao-multimtodo, consistncia interna ou anlise fatorial (exploratria ou conrmatria) e delineamentos experimentais;

23

IV - Critrios para Avaliao dos Testes Psicolgicos

Validade de critrio: concorrente e preditiva.

Mais informaes sobre esses mtodos podem ser obtidas a partir da literatura especializada indicada no nal do relatrio.

Validade das Tcnicas Projetivas

As tcnicas projetivas so instrumentos utilizados predominantemente na clnica, dentro de um processo mais amplo de Avaliao Psicolgica, sempre usando como fundamentao um referencial terico que promove a compreenso dinmica da personalidade. O fato de serem utilizados na clnica levava falsa premissa de que poderiam ser validados na prpria clnica, prescindindo de estudos psicomtricos, e que esse tipo de estudo poderia levar a um empobrecimento e categorizao que contrariam os procedimentos de avaliao clnica. Esse risco de empobrecimento decorrente da categorizao necessria para a validao fez com que os psiclogos caminhassem para o outro extremo, que era a recusa dos critrios da Psicometria necessrios a avanos nas pesquisas da rea. Tal perspectiva criava uma situao dicotmica: por um lado, os que trabalhavam com essas tcnicas tinham plena conana nelas, sem se preocupar em divulgar seus conhecimentos, resultados de suas experincias, nem em transform-los em estudos mais sistemticos que permitissem alguma validao dos mtodos utilizados; enquanto os psiclogos de viso contrria criticavam os mtodos projetivos pelo fato de no possurem critrios sistemticos de avaliao. Podemos armar que se trata de um equvoco, pois os instrumentos de Avaliao Psicolgica, mesmo que subjetivos, no prescindem de um rigor metodolgico e, no sentido inverso, esse rigor no invalida a interpretao clnica. Para compreender a dinmica individual de uma pessoa em uma Avaliao Psicolgica, devemos integrar os dados das entrevistas, das observaes, do vnculo estabelecido com a pessoa, com a considerao relativa situao para a qual estamos realizando aquela avaliao. Se, a esses dados, o prossional tiver referncia de resultados de Testes Psicolgicos utilizados como um dos itens da avaliao, a margem de segurana ser maior, especialmente se os instrumentos forem padronizados e evidenciarem bons resultados psicomtricos (validade, preciso). O problema que se discute atualmente como realizar estudos psicomtricos com instrumentos clnicos, pois estes, devido a sua complexidade caracterstica e natureza ambgua, aliadas ao carter idiossincrtico no modo de responder ao instrumento, mostram-se mais difceis de quanticar e padronizar e, portanto, mais resistentes para satisfazer os critrios de mensurao do que os testes objetivos, que, por sua vez, trabalham com um nmero mais reduzido de variveis e com resultados mais objetivos, o que acarreta maior facilidade de quanticao.

24

IV - Critrios para Avaliao dos Testes Psicolgicos

A diculdade de validao dessas tcnicas, pelo fato de serem instrumentos que demandam mais habilidade e conhecimentos do psiclogo, um tempo maior de aplicao e uma diculdade de constituir amostras signicativas para pesquisa, aliadas a conceituaes tericas que as criticavam, levaram a uma reduo na quantidade de investigaes na rea. Essa diculdade reete-se no ensino e na utilizao das tcnicas menos objetivas por psiclogos iniciantes, que, antes de construrem um referencial mais seguro para a utilizao desses instrumentos, poderiam incorrer em erros devido falta de parmetros sistematizados para as suas interpretaes. Tais foram as razes que levaram a Comisso Consultiva em Avaliao Psicolgica a defender a necessidade de requisitos mnimos em Psicometria para a aprovao das tcnicas projetivas. Os requisitos utilizados para a aprovao dessas tcnicas, no entanto, foram diferentes dos necessrios para as tcnicas objetivas referenciadas norma, apropriando os critrios a cada tipo de instrumento, visto que os testes projetivos e objetivos possuem caractersticas distintas, conforme artigos 4 e 5 da Resoluo CFP n 002/2003. Contudo, ressalta-se que a utilizao das tcnicas projetivas no se reduz aos estudos psicomtricos, na medida em que continua sendo preponderante a gura do psiclogo e seu raciocnio clnico, que insere os dados obtidos a partir do teste num quadro global e dinmico, dentro da Avaliao Psicolgica. Contudo, a incluso do julgamento do psiclogo deve sempre ser fundamentada em pressupostos tericos e metodolgicos, coerentes com a situao, que enriquecem e do sentido aos resultados dos instrumentos utilizados. Essa caracterstica especca dos instrumentos projetivos leva, portanto, a um excelente resultado, que torna os mtodos projetivos de anlise da personalidade instrumentos dedignos e consistentes, ao mesmo tempo que, com seu uso, podemos alcanar uma compreenso bastante profunda das pessoas, o que confere aos instrumentos legitimidade, com ampla aceitao pela comunidade cientca e usurios dos instrumentos. Vale lembrar que a Psicometria no foi desenvolvida para interpretar dados, mas para fornecer resultados mais conveis, e, para isso, sempre haver a necessidade de um psiclogo bem preparado para interpretar e fazer do Teste Psicolgico um instrumento convel a partir de sua utilizao. Lembrando Kaufman (1982), o valor do teste instrumental e tudo depende da competncia de quem usa, e esse algum tem que ser melhor que os testes que usa.

25

IV - Critrios para Avaliao dos Testes Psicolgicos

Preciso
Outra caracterstica ligada aos fundamentos cientcos dos instrumentos a preciso. Como toda avaliao vulnervel ao erro, uma questo de ordem prtica saber o tamanho do erro que geralmente ocorre nas avaliaes. Os estudos de preciso criam uma nova oportunidade de avaliao, procurando garantir que, na segunda oportunidade, o atributo avaliado no tenha mudado, buscando-se, com isso, vericar as utuaes dos escores de um teste em condies nas quais deveriam permanecer constantes. So, portanto, maneiras sistemticas de se estudar os erros de medida. A preciso, ou dedignidade, como s vezes chamada, refere-se ao quanto os escores de um teste so imunes s utuaes geradas por fatores indesejveis, isto , os fatores incontrolveis que inevitavelmente interferem nos escores, mas que no possuem nenhuma relevncia para o que avaliado. Esses fatores so chamados fontes de erro. Vrias fontes de erro podem interferir na avaliao, produzindo rudos ou erros nos escores dos testes, dentre elas a subjetividade no processo de correo, utuaes entre diferentes situaes de avaliao ou problemas no contedo das tarefas usadas na avaliao. As medidas psicolgicas sempre estaro vulnerveis ao erro, sendo que a questo de ordem prtica colocada pelos estudos de preciso que a magnitude de erro tolervel antes que a medida se torne intil. Delineamentos de estudo da preciso dos instrumentos tentam estimar a magnitude das utuaes dos escores de um teste em condies nas quais deveriam permanecer constantes, separando, portanto, a variabilidade, que pode ser considerada real , isto , associada s caractersticas de interesse da variao de erro , ou seja, associada a fatores irrelevantes. Nesse sentido, a Resoluo CFP n 002/2003 considera como estudos de preciso a utilizao dos seguintes delineamentos: equivalncia (formas paralelas), consistncia interna, estabilidade (teste-reteste) e preciso de avaliadores. No obstante, tambm analisado se os coecientes decorrentes desses estudos so calculados para diferentes grupos de sujeitos.

Preciso X Validade
A preciso uma caracterstica necessria, mas no suciente para a validade de um instrumento. Testes com baixa preciso sofrem muita inuncia de fontes de erro, de tal forma que h incerteza se as variaes nos escores esto associadas s caractersticas de interesse ou aos fatores irrelevantes. Nessa situao, os escores so pouco conveis e comprometem a validade das interpretaes que seriam feitas. Dessa forma, a baixa preciso compromete a validade. Por outro lado, a alta preciso, ainda que indique pouca vulnerabilidade s fontes de erro, no constitui evidncia suciente de que as interpretaes associadas aos escores sejam legtimas. Alta preciso o primeiro passo e indica que algo consistente foi captado pelos escores do teste. Entretanto, estudos de validade so neces-

26

IV - Critrios para Avaliao dos Testes Psicolgicos

srios para provar que esse algo captado realmente aquilo que o instrumento se propunha a avaliar. Portanto, a alta preciso no garante validade.

Padronizao
Outro aspecto importante dos instrumentos refere-se ao sistema de interpretao dos escores ou indicadores obtidos no teste. Muitos instrumentos utilizam expectativas normativas como referncias para interpretar os escores. A denio do que esperado e, inversamente, do que muito incomum ou diferente, feita comparando-se os resultados obtidos pelas pessoas com os resultados obtidos por grupos de referncia. O Inventrio de Depresso de Beck, por exemplo, avalia depresso por meio de armaes ligadas aos sintomas da depresso, tais como Estou sempre triste e no consigo sair disso , No encontro um prazer real em mais nada etc. A denio do que normal feita pelo escore mdio obtido por pessoas funcionalmente normais que nunca se queixaram de depresso. Os resultados do grupo de referncia servem como base para que as respostas de uma pessoa possam ser comparadas e contextualizadas. Os estudos normativos procuram estabelecer as expectativas para os escores do teste de tal forma a possibilitar a comparao de casos individuais com essas tendncias grupais. De fato, muitas vezes, os indicadores do teste so comparados com grupos normativos e grupos especcos que foram usados em pesquisas de validade de critrio. No Inventrio de Depresso de Beck BDI, por exemplo, possvel comparar o escore das pessoas com grupos sem depresso (grupo normativo) e tambm com grupos que apresentam transtorno depressivo (grupo critrio). A partir dessa informao, o prossional pode inferir com qual grupo as respostas da pessoa avaliada se assemelham. Uma das crticas mais comuns aos Testes Psicolgicos a ausncia de estudos normativos no Brasil. Entretanto, a resoluo isolada desse problema no garante a qualidade de um instrumento, sendo necessrios, tambm, os estudos mais fundamentais de validade e preciso.

Requisitos Mnimos
As caractersticas descritas acima so importantes porque, se um instrumento no possui evidncias de validade, no h segurana de que as interpretaes sobre as caractersticas psicolgicas das pessoas sugeridas pelas respostas sejam legtimas. No se sabe o que o instrumento avalia realmente. Se um instrumento no possui evidncias de preciso, no se tem idia da magnitude do erro cometido nas avaliaes, isto , no se pode estimar quanto os resultados mudariam se fossem dadas novas oportunidades de avaliao, tais como outro prossional avaliando o mesmo sujeito, empregando o mesmo mtodo, ou outro instrumento e/ou oportunidade com os mesmos objetivos. Ainda, a inexistncia de

27

IV - Critrios para Avaliao dos Testes Psicolgicos

padronizao brasileira pode trazer diculdades nas interpretaes dos resultados, j que as pessoas sero comparadas com expectativas inapropriadas a nossa realidade. Considerando esses parmetros, a Resoluo CFP n 002/2003 prope que, para serem considerados favorveis para uso prossional, os instrumentos devem possuir: (a) um manual detalhando a fundamentao terica; (b) as evidncias empricas de validade e preciso com amostras brasileiras; (c) o sistema de correo e interpretao dos escores; (d) os procedimentos de aplicao e correo, bem como as condies nas quais o teste deve ser aplicado; e (e) a literatura cientca relacionada ao instrumento. Para evitar mal-entendidos, deve-se ressaltar que esses requisitos dizem respeito ao uso prossional, e no pesquisa. Dessa forma, o parecer desfavorvel impede que o Teste Psicolgico possa ser usado para prestar servios prossionais, mas no impede, em absoluto, o uso do teste como objeto de estudo numa pesquisa. Ao contrrio, a inteno dessa medida estimular a pesquisa, especialmente com os testes considerados desfavorveis, para que um dia sua utilidade possa ser demonstrada e eles possam gurar entre os Testes Psicolgicos em condies de uso prossional. Evidentemente, as denies acima, contidas na Resoluo, no fornecem detalhes sucientes para que os pareceristas ad hoc e a Comisso Consultiva em Avaliao Psicolgica possam fazer um julgamento preciso de tais requisitos. Diante disso, a Comisso discutiu e indicou, com a aprovao do CFP, quais seriam os critrios mnimos exigidos para se conceder um parecer favorvel. Cabe ressaltar que esses requisitos estabelecem o mnimo necessrio, e no o desejvel, e, portanto, no podem ser, necessariamente, considerados indicadores de excelncia. A Tabela1 apresenta o que se requereu em relao aos itens listados acima. Para isso, foram considerados dois atributos dos testes analisados: (a) se eles eram projetivos ou no- projetivos; e (b) se, por um lado, eram de origem estrangeira, com uma slida base de pesquisas no exterior, ou, por outro, eram testes estrangeiros com pouco ou nenhum estudo de validade, preciso e padronizao, quando fosse o caso, ou teste nacional. Conforme descrito na Tabela 1, para os testes projetivos com uma slida base de pesquisas no exterior e com a preciso de avaliadores demonstrada, foi requerido, como requisito mnimo, somente um estudo de validade no Brasil. Por outro lado, para testes projetivos que no tivessem uma base consolidada, foram considerados estudos brasileiros de preciso e de validade para as principais interpretaes.

28

IV - Critrios para Avaliao dos Testes Psicolgicos

Para os testes no-projetivos que contavam com uma base convel, foi requerido um estudo de preciso e um estudo de validade realizados no Brasil. Foram considerados, tambm, estudos ou referncias a estudos das propriedades psicomtricas dos itens. Se o teste no possua uma base slida de estudos, foram requeridos estudos brasileiros de preciso, anlise de itens e validade para as principais interpretaes. Para anlise desses requisitos, utilizou-se a adaptao de um questionrio elaborado por Prieto e Muniz (2000), criado para avaliar a qualidade dos Testes Psicolgicos espanhis. Esse questionrio detalha os requisitos psicomtricos, por exemplo, e os diferentes tipos de estudo de validade e preciso. Alm disso, caracteriza uma srie de informaes gerais do instrumento, como rea de aplicao, constructo medido, tamanho das amostras, dentre outras. O leitor interessado pode ver uma cpia desse questionrio de avaliao no Anexo 1 da Resoluo CFP n 002/2003. Para cada Teste Psicolgico, esse questionrio de avaliao foi preenchido de tal forma que se pde produzir um banco de dados com informaes detalhadas sobre os testes analisados. Adiante, nesse relatrio, apresentaremos uma anlise dos itens mais importantes desse formulrio, de tal forma que ser possvel caracterizar os instrumentos favorveis e desfavorveis em funo das caractersticas analisadas, especialmente quais caractersticas os testes desfavorveis no atenderam.

29

IV - Critrios para Avaliao dos Testes Psicolgicos

Tabela 1: Operacionalizao dos requisitos mnimos C1. Manual Manual contendo tcnicas e prticas Teste estrangeiro com pouco Teste estrangeiro com estudos ou nenhum estudo de precisucientes de preciso, validaso, validade e padronizao de e padronizao no pas de no pas de origem, ou teste origem nos ltimos 20 anos. criado no Brasil.

C3. Validade ( preciso fazer uma avaliao global, considerando as duas situaes indicadas ao lado, para tomada de deciso neste requisito)

Algum estudo de validade no Brasil, replicando as evidncias observadas no pas de origem.

Estudos de validade das principais interpretaes pretendidas.

No-projetivos Algum estudo no Brasil, com evidncias positivas de preciso. Projetivos Algum estudo no Brasil, reC4. Preciso / Fide- plicando evidncias positivas dignidade de preciso, quando esta estabelecida pelos mtodos de estabilidade e/ou consistncia interna ou evidncias positivas de preciso no pas de origem, quando esta estabelecida pelo mtodo de concordncia de avaliadores. C5. Anlise de itens Algum estudo no Brasil sobre (somente para tes- as propriedades psicomtricas tes no-projetivos) dos itens. Se o teste usa o sistema de referncia norma, um estuC6. Sistema de cor- do de padronizao no Brasil. reo e interpreta- Caso empregue outro sistema, o dos resultados considerar se os estudos de validade apiam as interpretaes.

No-projetivos Estudo no Brasil, com evidncias positivas de preciso. Projetivos Estudo no Brasil com evidncias positivas de preciso.

Algum estudo no Brasil sobre as propriedades psicomtricas dos itens. Se o teste usa o sistema de referncia norma, um estudo de padronizao no Brasil. Caso empregue outro sistema, considerar se os estudos de validade apiam as interpretaes.

30