Você está na página 1de 62

EDIO ESPECIAL / NOVEMBRO 2004

Conselho Federal de Psicologia


Conselhos Regionais de Psicologia

O XII Plenrio

Diretoria Odair Furtado Presidente Ana Luza de Souza Castro Vice-Presidente Miguel Angel Cal Gonzlez Secretrio Francisco Jos Machado Viana Tesoureiro Conselheiros Efetivos Snia Cristina Arias Bahia Secretria da Regio Norte Aluzio Lopes de Brito Secretrio da Regio Nordeste e Secretrio de Orientao e tica Deusdet do Carmo Martins Secretria da Regio Centro-oeste Ricardo Figueiredo Moretzsohn Secretrio da Regio Sudeste e Secretrio de Comunicao Social Analice de Lima Palombini Secretria da Regio Sul Conselheiros Suplentes Eleun Antnio de Andrade Melo Francisco de Assis Nobre Souto Gislene Maia de Macedo Marcus Adams de Azevedo Pinheiro Margarete de Paiva Simes Ferreira Mariana M. Gomes Freire Rebeca Litvin Rosemeire Aparecida da Silva Sandra Maria Francisco de Amorim Psiclogos Convidados Adriana Marcondes Machado Diva Lcia Gautrio Conde Marilene Proena Rebello de Souza Paulo Roberto Martins Maldos

Crditos

Coordenao Gislene Maia de Macedo Ricardo Figueiredo Moretzsohn Assessoria Tcnica Rodrigo Barroso Vasconcelos Apoio Tcnico Coordenadora Tcnica Cleide Maria de Sousa Assessores Tcnicos Ana Flvia Borges Moreira Juliana Oliveira Lima Juliana de Melo Borges Maurcio Miranda Sarmet Rodrigo Barroso Vasconcelos Assistente Administrativo Rafael Antnio Oliveira Estagiria de Psicologia Andreza Aretakis Pareceristas Ad hoc Alcia Maria Hernandez Munhoz Ana Paula Porto Noronha ngela Vieira Pinheiro Anna Elisa de Villemor Amaral Blanca Werlang Carlos Henrique Sancineto da Silva Nunes Carmen Elvira Flores-Mendonza Ceres Alves Arajo Ccero Emidio Vaz Cilio Ziviani Cludio Hutz Denise Bandeira Eda Marconi Custdio Eliana Herzberg Eliane Gerk Elisa Medici Pizo Yoshida Elizabeth do Nascimento Evely Boruchovitch Fernando C. Capovilla Guenia Bunchaft Ira Cristina Boccato Alves Jos Maurcio Haas Bueno Latife Yazigi

Crditos

Lvia de Oliveira Borges Marcelo Tavares Maria Abigail de Souza Maria Cecilia Vilhena Maria Cristina Ferreira Maria Cristina Petroucic Rosenthal Marina de Bittencourt Bandeira Mariza Tavares Lima Solange Muglia Wechsler Snia Regina Loureiro Snia Regina Pasian Vera L. M. de Figueiredo Wilma Maria Guimares Lopes Comisso Consultiva em Avaliao Psicolgica lvaro Jos Lel Audrey Setton de Souza Jose Carlos Tourinho e Silva Regina Sonia Gattas Fernandes do Nascimento Ricardo Primi Organizao Comisso Consultiva em Avaliao Psicolgica Gislene Maia de Macedo Ricardo Figueiredo Moretzsohn Rodrigo Barroso Vasconcelos Coordenao Editorial Gislene Maia de Macedo Rodrigo Barroso Vasconcelos Reviso de Texto Maria Inez Dora da Silva Diagramao Ad People Comunicao

Sumrio

I. Apresentao........................................................................................................................................7 II. Introduo ............................................................................................................................................9 III. O Sistema de Avaliao .............................................................................................................. 17 Satepsi.................................................................................................................................................... 20 IV. Critrios para Avaliao dos Testes Psicolgicos........................................................... 21 Avaliao Psicolgica........................................................................................................................ 21 Testes Psicolgicos ............................................................................................................................ 21 Validade................................................................................................................................................. 22 Validade das Tcnicas Projetivas .................................................................................................. 24 Preciso.................................................................................................................................................. 26 Preciso x Validade ............................................................................................................................ 26 Padronizao ....................................................................................................................................... 27 Requisitos Mnimos ........................................................................................................................... 27 V. Resultados ......................................................................................................................................... 31 Descrio Geral dos Testes Psicolgicos.................................................................................... 31 Publicao dos Manuais no Brasil ................................................................................................ 33 Classicao das Variveis que os Testes Psicolgicos pretendem medir..................... 34 reas de Aplicao ............................................................................................................................ 35 Caractersticas Gerais do Manual ................................................................................................. 36 Requisitos Tcnicos ........................................................................................................................... 38 Fundamentao Terica .................................................................................................................. 38 Estudos de Validade e Preciso..................................................................................................... 39 Estudos de Padronizao ................................................................................................................ 44 Estudos de Validade, Preciso e Padronizao por Perodos.............................................. 48 Anlise de Consistncia Interna do Formulrio de Avaliao dos Testes....................... 50 Nota Global de Qualidade dos Testes Avaliados..................................................................... 54 VI. Consideraes Finais................................................................................................................... 55 VII. Referncias..................................................................................................................................... 57 VIII. Leituras Recomendadas ......................................................................................................... 58 IX. Anexo.................................................................................................................................................. 59

Lista de ilustraes

Figuras
Fluxograma 1: Processo de anlise dos Testes Psicolgicos .........................................................19 Grco 1: Classicao das variveis que o teste pretende medir, de acordo com a avaliao nal do CFP.......................................................................................................................34

Tabelas
Tabela 1: Operacionalizao dos requisitos mnimos ......................................................................30 Tabela 2: Quantidade dos testes favorveis e desfavorveis, de acordo com a natureza do teste............................................................................................................................................31 Tabela 3: Distribuio dos 106 Testes Psicolgicos analisados, por requerente, neste relatrio .................................................................................................................................................32 Tabela 4: Data da ltima publicao do manual no Brasil..............................................................33 Tabela 5: Relao entre a avaliao nal dos Testes Psicolgicos e suas respectivas reas de aplicao ..................................................................................................................35 Tabela 6: Caractersticas gerais do manual ..........................................................................................36 Tabela 7: Apresentao da Qualidade da Fundamentao Terica, considerando a avaliao nal para testes projetivos e no-projetivos .................................................................38 Tabela 8: Quantidade de estudos de preciso e validade relacionados com a avaliao nal e a natureza do Teste Psicolgico ............................................................................39 Tabela 9: Qualidade dos estudos de validade.....................................................................................42 Tabela 10: Qualidade dos estudos de preciso ..................................................................................43 Tabela 11: Sistema de correo e interpretao dos escores obtidos nos estudos referenciados norma ou em outros sistemas...................................................................44 Tabela 12: Nmero de sujeitos dos estudos de padronizao pela natureza do teste........47 Tabela 13: Perodos de execuo dos estudos de validade por tipo de teste.........................49 Tabela 14: Perodos de execuo dos estudos de preciso por tipo de teste .........................49 Tabela 15: Perodos de execuo dos estudos de padronizao pela natureza do teste ..50 Tabela 16: Indicadores do formulrio, selecionados para anlise de consistncia interna, e estatsticas descritivas para os 106 testes analisados....................................................51 Tabela 17: Matriz de correlao entre os indicadores......................................................................52 Tabela 18: Correlao item-total dos indicadores do instrumento.............................................53 Tabela 19: Estatsticas descritivas da Nota Global de Qualidade dos testes............................54

Anexos
Anexo 1: Relao dos Testes Psicolgicos utilizadas na amostra .................................................59

I - Apresentao

Gislene Maia de Macedo Discutir sobre as muitas questes que envolvem os Testes Psicolgicos no Brasil , de certa forma, discutir o eixo estrutural da Psicologia como cincia e prosso. Ao longo dos anos, a Psicologia foi-se legitimando como cincia em funo da sua capacidade de descrever, prever e explicar comportamentos. A Psicologia no se resume a esse tipo de constructo. Sua episteme muito mais complexa e diversicada. No entanto, no curso da histria do conhecimento, a criao de instrumentos para avaliar os aspectos psicolgicos de um sujeito veio corroborar essa viso de cincia comprobatria e abrir espao e credibilidade para a Psicologia em suas intervenes. A Avaliao Psicolgica para candidatos obteno da Carteira Nacional de Habilitao (CNH), a Avaliao Psicolgica em concursos pblicos e na rea jurdica so exemplos de como a sociedade vem requisitando da Psicologia servios dessa natureza. A utilizao de Testes Psicolgicos parte integrante dos processos de Avaliao Psicolgica, que tm, em sua denio, segundo a Resoluo 007/2003, o seguinte: A Avaliao Psicolgica entendida como o processo tcnico-cientco de coleta de dados, estudos e interpretao de informaes a respeito dos fenmenos psicolgicos, que so resultantes da relao do indivduo com a sociedade, utilizando-se, para tanto, de estratgias psicolgicas mtodos, tcnicas e instrumentos. Os resultados das avaliaes devem considerar e analisar os condicionantes histricos e sociais e seus efeitos no psiquismo, com a nalidade de servirem como instrumentos para atuar no somente sobre o indivduo, mas na modicao desses condicionantes, que operam desde a formulao da demanda at a concluso do processo de Avaliao Psicolgica. Dada a abrangncia da denio de Avaliao Psicolgica e a amplitude da aplicao dos Testes Psicolgicos no desenvolvimento do ofcio da Psicologia, o CFP, historicamente, tem-se preocupado com isso e vem publicando resolues que procuram garantir a qualidade dos servios prestados populao. Todas as aes empreendidas possuem, em seu bojo, a inteno de subsidiar e orientar o psiclogo e de fornecer sociedade referncias e maior credibilidade ao trabalho realizado pela categoria. Apesar de os Testes Psicolgicos estarem de acordo com o pressuposto de sustentao da Psicologia em seu lugar de cincia, no Brasil, esses instrumentos passaram a ser questionados em diversas instncias. O Poder Judicirio e a populao comearam a indagar sobre a validade dos resultados da aplicao dos Testes Psicolgicos. Candidatos a empregos na iniciativa privada e em concursos pblicos foram dando-se conta de que sua possvel insero no mercado de trabalho, por vezes, estava condicionada aos relatrios decorrentes da Avaliao Psicolgica. A Psicologia, no uso desses instrumentos, passou a ser criticada e apontada como desprovida de mtodos precisos de avaliao. Segundo esses crticos, seus resultados seriam imprecisos em funo da sua forte tnica subjetiva, sujeita a anlises

I - Apresentao

diferenciadas, dependendo e variando em funo daquele que avalia, e no de uma fundamentao terica e metodolgica estruturada. Era necessrio, ento, buscar formas de se legitimar a prtica psicolgica que se utilizava de mtodos psicomtricos para a realizao do seu trabalho. Era fundamental cuidar dos critrios que atestam a qualidade de aferio dos instrumentos, avaliar as condies mnimas em que esses instrumentos se encontram e fornecer ao psiclogo uma referncia para a escolha dos procedimentos mais apropriados realizao de Avaliaes Psicolgicas. A Resoluo CFP n 002/2003 foi pensada para atender a essas expectativas e tambm necessidade de se iniciar um trabalho pioneiro no Brasil e no mundo: criar condies de avaliao dos Testes Psicolgicos em uso. Essa ao j havia sido indicada nos encaminhamentos do I Frum Nacional de Avaliao Psicolgica (2000) e nas deliberaes do IV Congresso Nacional de Psicologia (2001). A prpria categoria j ansiava por aes que atestassem a validade dos Testes Psicolgicos. Apesar da existncia de pesquisas e da reconhecida competncia da comunidade cientca, ainda faltava avaliar, reunir dados e sistematizar todo o processo de avaliao dos Testes Psicolgicos. O CFP, como rgo mximo de representao da categoria, reunia tambm condies legais e objetivas para a realizao desse trabalho. Restava, ento, fazer. Em 2002, iniciaram-se os trabalhos com o grupo, que, mais tarde, foi denominado Comisso Consultiva em Avaliao Psicolgica. A Resoluo CFP n 002/2003 foi elaborada e publicada em 26 de maro de 2003, e o processo de avaliao dos Testes Psicolgicos foi deagrado. Este relatrio discorre sobre todo o processo histrico e poltico que levou o CFP a tomar essa e outras medidas em relao aos Testes Psicolgicos e Avaliao Psicolgica, alm de detalhar sobre o sistema e os critrios de avaliao, os resultados e os impactos que essa medida teve para a Psicologia. No perodo de maro de 2003 a maio de 2004, foram avaliados 106 Testes Psicolgicos. Todo o processo de avaliao foi transformado num banco de dados que gerou a criao do Sistema de Avaliao dos Testes Psicolgicos Satepsi, permitindo que esses dados fossem convertidos para o Statistical Package for Social Science (SPSS) e renados numa anlise que culminou neste relatrio.

II - Introduo

Jos Carlos Tourinho e Silva, Gislene Maia de Macedo, Ricardo Moretzsohn, Rodrigo Barroso Vasconcelos e Cleide Maria de Sousa

A Avaliao Psicolgica realizada por meio de testes a atividade do psiclogo mais conhecida pela populao. Pode-se armar que quase todos os sujeitos adultos, especialmente das regies urbanas, tiveram a experincia de responder a Testes Psicolgicos para diversos propsitos. Para a maioria dessas pessoas, essa atividade se constitui na nica referncia da prosso. Esse fato, por si s, reveste os testes de importncia signicativa, considerando que os mritos e demritos dessa atividade afetam, na mesma direo, a imagem da prosso junto a essa mesma populao. Fatos recentes, como a incluso da Avaliao Psicolgica obrigatria para o porte de armas, para a prtica de artes marciais, dentre outras atividades, indicam que a sociedade necessita desse servio e continua acreditando que o psiclogo tenha condies de atender adequadamente a essa demanda. Entre os psiclogos, por motivos diversos, a crena na importncia e na eccia dos testes oscilou ou sofreu alteraes desde o momento de institucionalizao da Psicologia no Brasil at os dias atuais. No incio, nas dcadas de 40 a 60, os testes foram muito valorizados, ocorrendo muitas tradues e adaptaes. Nesse perodo, havia poucos psiclogos no Pas, e o controle de qualidade, nos diversos momentos necessrios a essa prtica, era tarefa fcil. Tradutores, autores brasileiros, editores, professores e muitos dos prossionais usurios mantinham relao prxima, o que facilitava ajustes e equilbrio entre os diversos segmentos envolvidos na atividade. O aumento signicativo do nmero de prossionais, aliado a mudanas provenientes da prpria dinmica social, produziu mudanas signicativas no fazer e na prpria identidade da prosso, mudanas que repercutiram tambm na rea de Avaliao Psicolgica e nos testes. A diversicao das reas de atuao e de prticas prossionais, a organizao e a mobilizao poltica da categoria, o aprofundamento da anlise a respeito do papel social da prosso e a proliferao de novos cursos de graduao, dentre outros fatos, modicaram o quadro inicial, ocorrendo o afastamento dos diversos segmentos, reduzindo a interao e o necessrio e espontneo controle que ocorria anteriormente. Com esse afastamento ou desarticulao, tanto os problemas quanto os avanos ocorriam de forma setorizada, e, portanto, no eram compartilhados pelos demais segmentos. Dessa forma, as eventuais diculdades dos editores na realizao de estudos para atualizao de seus testes no eram compartilhadas com os laboratrios ou estudantes de cursos de ps-graduao, que, por sua vez, dedicaram seu trabalho ao estudo ou elaborao de novas escalas que, freqentemente, cavam nos arquivos dos cursos, sem utilizao na prtica prossional. Com a proliferao de novos cursos, muitos professores foram contratados

II - Introduo

sem a qualicao adequada, o que resultaria na formao deciente de novos prossionais. Enquanto isso, grupos de pesquisa aprofundavam estudos e realizavam trabalhos de qualidade na rea, mas esses trabalhos no alimentavam ou no contribuam para qualicar ou minorar os problemas do ensino na maioria dos cursos, alm de muitos outros exemplos de desarticulao que poderiam ser citados. Por outro lado, uma signicativa parcela da categoria passou a apresentar crticas e preocupaes com referncia a vrios aspectos dos testes. Uma das crticas, de natureza ideolgica e tica, refere-se ao seu aspecto tecnicista, atomista, por pretender, de um lado, mensurar caractersticas psicolgicas isoladas, de uma subjetividade cada vez mais compreendida como um processo integrado e global, e, de outro, por desconsiderar os determinantes histricos e sociais dessa subjetividade. Outra crtica aponta para a insuciente fundamentao terica da maioria dos instrumentos, construda principalmente a partir de procedimentos estatsticos, sem o necessrio e suciente conhecimento a respeito dos constructos que pretende mensurar. Uma outra crtica ataca a prpria possibilidade de se medir a atividade psicolgica ou parte dela, considerando as diferenas entre a natureza dos nmeros e a natureza dos constructos psicolgicos. Em decorrncia dessas crticas, ocorreu um desinteresse progressivo pelos testes em parcela signicativa da categoria, que passou a desenvolver outros procedimentos de avaliao. Nesse contexto, vrios problemas assumiram propores incmodas, repercutindo negativamente tanto dentro da categoria quanto na sociedade. Dentre esses problemas, pode-se destacar a utilizao inadequada dos testes por prossionais mal preparados, a reedio e a comercializao de testes, ao longo de dcadas, sem qualquer estudo de reviso de suas propriedades psicomtricas, a banalizao de diversos instrumentos, com a venda em estabelecimentos imprprios e para qualquer interessado, as denncias e agrantes de irregularidades, como a aplicao simplicada, realizada em auditrios lotados, e laudos com informaes estranhas s possibilidades dos testes. Esse quadro provocou a reao de diversos prossionais e de usurios, resultando em diversos processos ticos e nmero maior de denncias e contestaes judiciais de laudos psicolgicos. Diante disso, em 1980, os conselhos de Psicologia, alm de aes localizadas de scalizao e promoo de eventos, constituram uma comisso com a nalidade de sistematizar informaes a respeito do problema. Os resultados dos estudos conrmaram a existncia dos problemas citados e indicaram a necessidade de aes para qualicao tcnica e tica da rea. Nos anos seguintes, continuaram as aes regionais de scalizao e promoo de eventos, que no produziram os efeitos necessrios. Entendendo que as propostas mais adequadas para a soluo dos problemas seriam construdas pelos prprios segmentos envolvidos, em 1997, o CFP props a criao de um frum que reunisse representantes desses segmentos, que, em conjunto, discutiriam os problemas e apresentariam propostas para serem implementadas. Como resultado dessas

10

II - Introduo

discusses, um documento propositivo foi produzido e encaminhado para prossionais, entidades e outros, a m de compor a representao de editores, laboratrios de pesquisa, professores, prossionais usurios, entidades de classe, de pesquisa e de normatizao e scalizao. Esse frum, de adeso voluntria e sem relao de dependncia com as entidades que o integravam, foi denominado Cmara Interinstitucional de Avaliao Psicolgica. Obtida a aceitao da proposta, o CFP colocou disposio a infra-estrutura fsica e o apoio de alguns funcionrios para a realizao das reunies e garantiu recursos nanceiros para viabilizar a participao de alguns segmentos, como o de professores. Dessa forma, a Cmara foi instalada no dia 09 de outubro de 1997, com a participao de 16 pessoas, representando sete segmentos. Nessa primeira reunio, foram explicitados a natureza e os objetivos da Cmara e realizado o planejamento estratgico de suas aes. A Cmara reuniu-se com freqncia semestral, mas no produziu os resultados signicativos esperados. Durante esse perodo, elaborou-se um manual para a Avaliao Psicolgica de candidatos CNH e condutores de veculos automotores, que foi editado pelo CFP (Resoluo CFP no 012/2000). No ano 2000, o CFP resolveu retirar-se da Cmara e realizar o I Frum Nacional de Avaliao Psicolgica, na forma como foi proposto e aprovado no II Congresso Nacional da Psicologia, realizado de 28 de agosto a 1 de setembro de 1996, na cidade de Belo Horizonte. O I Frum de Avaliao Psicolgica foi realizado em dezembro de 2000, e, dentre as propostas aprovadas, podem ser destacadas as seguintes: Que o Sistema Conselhos busque parceria com entidades para a elaborao de estudos tcnicos que embasem resolues e portarias para normatizar e orientar a prtica da Avaliao Psicolgica. Que o CFP e CRPs, junto s agncias formadoras, ABEP, ANPEPP e agncias nanciadoras, busquem incentivar e fomentar pesquisas que promovam a construo de novos instrumentos, e validao, normatizao e padronizao dos instrumentos j existentes no Brasil. Que os Conselhos Regionais e Federal divulguem pesquisas e estudos atualizados sobre a Avaliao Psicolgica junto categoria por meio de seus sites e outros veculos de comunicao, bem como os problemas inerentes utilizao dos testes cujos parmetros de validao e elaborao no sejam adequados. Que o CFP elabore a relao de instrumentos publicados no Brasil a partir de listas encaminhadas pelas editoras.

11

II - Introduo

Que os CRPs estabeleam parceria com entidades ligadas s questes de Avaliao Psicolgica, visando elaborao de um manual que conceitue e divulgue os parmetros tcnicos do exame psicolgico do Brasil, voltados para as diversas reas (concurso pblico, seleo etc.) de aplicao da Avaliao Psicolgica. As empresas que editam e comercializam Testes Psicolgicos devem ser responsveis pela atualizao dos mesmos, assim como pela sua validao e normatizao para a realidade brasileira, conforme critrios denidos e estabelecidos pelo CFP. O CFP deve recomendar s editoras a reviso peridica de seus instrumentos, mantendo-os atualizados. Que o CFP constitua uma comisso de especialistas visando elaborao de um guia de orientao contendo as informaes necessrias para que os instrumentos possam ser comercializados, tais como: fundamentao terica, processo de construo do teste, preciso/dedignidade, normas, amostras de padronizao, de validade (preditiva, concorrente, constructo/conceito) e outros elementos julgados necessrios, estabelecendo um prazo de quatro anos para que essas informaes estejam contempladas nos manuais dos testes pelas editoras e que, ultrapassando esse perodo de quatro anos, na falta desses dados, o CFP no recomendaria a utilizao desses testes pelos psiclogos. Resoluo do CFP normatizando a incluso das condies e dos critrios da realizao do processo de Avaliao Picolgica em concursos, na publicao dos editais. O CRP deve atuar, por intermdio da COF (Comisso de Orientao e Fiscalizao), na scalizao mais rigorosa e mais freqente, inclusive quanto aos aspectos relacionados Avaliao Psicolgica. O CFP e os CRPs devem estabelecer estratgias e normas que assegurem a scalizao da edio e comercializao dos Testes Psicolgicos visando ao aprimoramento tico nos servios. Os CRPs devem promover meio para conscientizao da categoria sobre as tcnicas de avaliao utilizadas, implementando reexes acerca de suas conseqncias, contextualizao e modo correto de elaborao de relatrios, pareceres, laudos etc. Reformulao do Cdigo de tica para que seja includo captulo especco sobre Avaliao Psicolgica. A partir das propostas encaminhadas pelo Frum e de estudos realizados pela sua Secretaria de Orientao e tica, o CFP deu incio ao planejamento e execuo de vrias medidas para dar conta dos problemas j referidos. Com relao aos Testes Psicolgicos,

12

II - Introduo

decidiu-se pela edio de uma Resoluo que estabelecesse normas para elaborao, publicao, comercializao e uso. Para isso, convidou especialistas que colaboraram na elaborao da minuta, com a denio dos critrios e parmetros mnimos de qualidade para instrumentos dessa natureza. Em reunio com as editoras de testes, a minuta da Resoluo foi apresentada, seus objetivos e exigncias esclarecidos e suas eventuais inconsistncias, corrigidas. Aps todos esses procedimentos, foi editada a Resoluo CFP no 025/01, em novembro de 2001. Com isso, iniciou-se o processo de controle de qualidade dos testes no Brasil, estabelecendo-se as condies mnimas para elaborao, comercializao e uso desses instrumentos e instituindo-se um prazo de trs meses para que os responsveis pelos testes remetessem exemplares dos Testes Psicolgicos para anlise. No mesmo perodo, foram editadas as resolues no 001/2002, que regulamenta a Avaliao Psicolgica em concursos pblicos, e a 17/2002, que institui o manual de elaborao de documentos escritos decorrentes de Avaliao Psicolgica. A primeira Resoluo estabelece a necessidade de atendimento a direitos fundamentais dos candidatos inscritos em concursos, como o conhecimento dos critrios de avaliao, a devolutiva dos resultados e a possibilidade da contra-prova, alm de estabelecer os procedimentos para esses e outros casos. Essa Resoluo foi elaborada considerando a premissa de que as liminares judiciais concedidas a candidatos reprovados em concursos se fundamentam no fato de os editais de concurso no informarem os critrios da avaliao, o direito ao contraditrio e outros direitos constitucionais. A segunda Resoluo dene a natureza, os objetivos, o formato e o contedo dos documentos mais utilizados na prtica prossional, padronizando esses documentos com o propsito de minimizar o risco da emisso de documentos com contedos inadequados, o que era constatado em inmeros processos ticos. Essas resolues, junto CFP no 011/2000, que disciplina a oferta de produtos e servios ao pblico, e CFP no 012/2000, que institui o manual para Avaliao Psicolgica a candidatos CNH, renem um conjunto que pretende dar conta das diversas fases do processo, regulamentando procedimentos referentes s questes mais freqentemente levantadas nos diversos fruns da prosso a respeito da Avaliao Psicolgica. Por ocasio da publicao da Resoluo CFP n 025/2001, 111 testes foram encaminhados ao CFP para anlise. Mais adiante, foram convidados cinco psiclogos com reconhecida competncia na rea para constituir uma Comisso com o objetivo de organizar os trabalhos de avaliao dos testes, planejando os procedimentos e as etapas, detalhando os critrios denidos na Resoluo, dentre outros aspectos, e encaminhando suas sugestes ao Plenrio do CFP. Aps algumas reunies, a Comisso apresentou um conjunto de propostas que inclua um formulrio para registro das caractersticas de cada instrumento, a participao de pareceristas ad hoc para a primeira anlise dos instrumentos, os prazos

13

II - Introduo

para cada fase do processo, inclusive para recurso, e a caracterizao do procedimento como um processo contnuo, dentre outras. As propostas foram acatadas pelo Plenrio do CFP, que deliberou pela edio de nova Resoluo, reunindo as normas da 025/2001 e os novos itens propostos. Assim, em maro de 2003, foi editada a Resoluo CFP n 02/2003. O processo de construo e elaborao da Resoluo CFP n 02/2003 considerou cuidadosamente todos os possveis impactos que tal normatizao pudesse ter sobre a atuao prossional dos psiclogos. Tal construo foi marcada por um processo de escuta junto aos Conselhos Regionais e aos prossionais da rea, caracterizando-se como um processo democrtico e transparente. Isso se evidenciou pelo longo processo de discusso dentro do Sistema Conselhos de Psicologia, envolvendo Conselho Federal e Regionais de Psicologia, e dos CRPs com a categoria em geral. Esse processo passou pelas seguintes etapas: Inmeras reunies telefnicas e presenciais da Comisso Consultiva em Avaliao Psicolgica, encontros esses que deniram o texto que deveria constar da nova Resoluo. As discusses da Comisso tiveram como principal parmetro as omisses da Resoluo CFP n 025/2001; Uma vez fechado o texto da nova Resoluo, este passou por exaustivas anlises e discusses pelo Plenrio do Conselho Federal; Quando o texto alcanou o consenso no Conselho Federal de Psicologia, foi submetido apreciao e deliberao da Assemblia das Polticas Administrativas e Financeiras APAF, uma das mais altas instncias da prosso no Pas, caracterizando-se pela reunio de delegados do Conselho Federal e de todos os Conselhos Regionais de Psicologia; Por deliberao da APAF, o texto seguiu para cuidadosa apreciao de todos os Conselhos Regionais de Psicologia e de suas comisses de Avaliao Psicolgica, que, no perodo acordado, puderam opinar sobre todos os artigos propostos na minuta da Resoluo, bem como sobre seu anexo, o formulrio intitulado Critrios de Avaliao da Qualidade de Testes Psicolgicos; As sugestes apresentadas pelos Conselhos Regionais foram criteriosamente sistematizadas e apreciadas pela Comisso Consultiva em Avaliao Psicolgica, constituindo uma nova minuta de Resoluo; A minuta, com as sugestes dos Conselhos Regionais incorporadas, foi objeto de anlise e deliberao de uma reunio de presidentes do Sistema Conselhos de Psicologia. Essa reunio de presidentes deliberou revogar a Resoluo CFP n 025/2001, passando o tema a ser regulamentado por uma norma somente, ou seja, a nova Resoluo;

14

II - Introduo

Finalmente, a minuta foi submetida ao Plenrio do Conselho Federal para que este cumprisse o rito de aprovao e publicao da nova Resoluo, que foi editada sob o nmero 02/2003. Faz-se notar que, durante todas essas etapas de construo da Resoluo, foi contnuo e permanente o acompanhamento jurdico das questes tratadas pela norma, sendo este mais um zelo para que o CFP no extrapolasse a sua competncia como regulador do exerccio prossional do psiclogo. Ressalta-se, ainda, que, no processo de elaborao da referida Resoluo, o CFP compartilhou as concluses dessa discusso com o Frum de Entidades Nacionais da Psicologia Brasileira FENPB, instncia que congrega 16 entidades representantes da Psicologia no Pas, nos mais diversos segmentos, dentre elas o Instituto Brasileiro de Avaliao Psicolgica IBAP e a Sociedade Brasileira de Rorschach e Outros Mtodos Projetivos SBRo. Uma vez publicada a Resoluo CFP n 02/2003, iniciaram-se os esforos para execuo propriamente dita do processo de avaliao dos instrumentos encaminhados pelas editoras. Com o desenvolvimento dos trabalhos, foi identicada a necessidade de se desenvolver, em paralelo, uma atividade especialmente destinada preparao da comunidade de prossionais, divulgando ostensivamente o trabalho que estava se desenvolvendo, esforando-se o Sistema Conselhos, continuamente, no sentido de preparar os psiclogos para a ao e, conseqentemente, para a divulgao do primeiro edital sobre o processo de avaliao dos Testes Psicolgicos que tornou pblicas a lista e a condio dos Testes Psicolgicos que, naquele momento, se encontravam sob a avaliao pelo CFP. Esse cuidado teve como objetivo minimizar os impactos que tal ao teria na atuao e no trabalho dos prossionais. Uma estratgia que evidencia a preocupao do CFP com a preparao dos prossionais pode ser ilustrada com a realizao, nos dias 25 e 26 de abril de 2003, em Braslia/DF, de uma reunio ampliada, com todos os Conselhos Regionais de Psicologia, destinada a unicar as estratgias para o lanamento do primeiro edital. Foi acordo dessa reunio ampliada que todos os Conselhos Regionais promoveriam ampla comunicao sobre a ao em suas bases e que promoveriam fruns de discusses, dirigidos categoria e comunidade, identicando possveis diculdades, favorecendo esclarecimentos e troca de informaes. Esse processo ainda tinha como objetivo favorecer a reexo e a denio de novas e possveis estratgias para a implementao da ao desenvolvida pelo Sistema Conselhos de Psicologia em mbito nacional. Alm disso, ainda foram desenvolvidas aes especcas de comunicao categoria, o que cou marcado pelas inseres do assunto em todas as edies do Jornal do Federal, dos jornais dos Conselhos Regionais e pela elaborao de um folder especialmente criado para distribuio no III Congresso Norte-Nordeste de Psicologia, realizado entre os dias 27

15

II - Introduo

e 31 de maio de 2003, em Joo Pessoa PB, evento este que, naquele ano, constituiu-se em um dos maiores e mais importantes eventos da prosso, tendo reunido, aproximadamente, cinco mil participantes. Em julho de 2003, o CFP divulgou o primeiro edital referente ao processo de avaliao dos Testes Psicolgicos, que relacionava a etapa de anlise de cada Teste Psicolgico encaminhado para avaliao. A partir da publicao do segundo edital, no dia 6 de novembro de 2003, o site POL www.pol.org.br do Conselho Federal de Psicologia, passou a ocupar um lugar de referncia para a sociedade e para os prossionais, indicando os Testes Psicolgicos que estavam sob avaliao da entidade, bem como o resultado dessa avaliao, evidenciando quais Testes Psicolgicos possuam as condies tcnico-cientcas mnimas para serem utilizados prossionalmente. Nessa data, foi tambm institudo o Sistema de Avaliao dos Testes Psicolgicos Satepsi, hospedado no site POL, que facilitou e legitimou a comunicao com toda a categoria a respeito da condio dos Testes Psicolgicos utilizados e comercializados no Brasil. Aps o dia 6 de novembro de 2003, o CFP e os CRPs tinham como uma de suas prioridades esclarecer todas as questes referentes ao. Para isso, novas matrias foram publicadas nos jornais do CFP e CRPs, boletins eletrnicos foram enviados, uma relao de perguntas e respostas foi divulgada no site POL e todos os convites para que o CFP apresentasse e debatesse essa ao em encontros e congressos foram aceitos. O ano de 2004 foi marcado pelo envio de novos Testes Psicolgicos para avaliao e encaminhamento de estudos, que passaram a incorporar os manuais dos testes. Nesse momento, podemos dizer que a primeira etapa dessa grande ao do Conselho Federal se concretizou. Este relatrio mais um dos passos para tornar pblico todo o esforo de construo dessa poltica, que teve como objetivo ltimo qualicar o trabalho do psiclogo brasileiro e oferecer sociedade um trabalho respaldado do ponto de vista tico e cientco.

16

III - O Sistema de Avaliao

lvaro Jos Lel, Audrey Setton de Souza, Rodrigo Barroso Vasconcelos e Gislene Maia de Macedo

Ao planejar a avaliao dos Testes Psicolgicos, o CFP preocupou-se em desenvolver um processo que garantisse uma anlise neutra e qualicada dos instrumentos de Avaliao Psicolgica. A avaliao deveria ser realizada com tal clareza e preciso que permitisse a qualquer cidado compreender e conhecer as informaes das etapas de avaliao e seus resultados, assegurando, assim, transparncia das aes. Para garantir a cienticidade do processo de avaliao, foi elaborado um formulrio padronizado para anlise de Testes Psicolgicos, adaptado de Prieto e Muiz1 (2000), que tem por objetivo operacionalizar os requisitos mnimos denidos na Resoluo CFP n 02/ 2003, em seus artigos 3, 4, 5 e 6. A partir desse formulrio, possvel apreciar o conjunto de propriedades bsicas que os instrumentos devem possuir, de acordo com parmetros internacionalmente denidos, para que sejam reconhecidos pela comunidade cientca e prossional. Dessa forma, foi possvel desenvolver um sistema de avaliao tecnicamente qualicado, dinmico, neutro e transparente, visto que: Todo Teste Psicolgico enviado ao CFP para anlise submetido, no mnimo, a duas avaliaes tcnicas realizadas por um parecerista ad hoc e pela Comisso Consultiva em Avaliao Psicolgica (CCAP). No caso de divergncia de parecer, o Teste Psicolgico encaminhado a um outro parecerista ad hoc, sem que este conhea os resultados anteriores. A Comisso aprecia as avaliaes dos pareceristas ad hoc e emite um parecer nal. Aps a anlise da CCAP, o teste ainda submetido avaliao do Plenrio do CFP, que poder referendar ou no esse parecer. Os autores, editores, laboratrios ou responsveis tcnicos podem, a qualquer momento, submeter um Teste Psicolgico avaliao do CFP. A avaliao dos Testes Psicolgicos permite que os responsveis pelo teste possam apresentar informaes complementares que, aps analisadas, possibilitem a aprovao do instrumento. No processo de anlise, quando os manuais contm informaes que necessitam de mais esclarecimentos (datas, citaes de pesquisas, caractersticas das amostras, dentre outros), o CFP solicita ao responsvel pelo envio do Teste Psicolgico que os encaminhe para anlise a m de poder concluir a avaliao.

17

III - O Sistema de Avaliao

Quando o manual de um Teste Psicolgico no contempla todas as informaes necessrias para sua aprovao, e caso estas j estejam publicadas em artigos cientcos, dissertaes e/ou outras publicaes no citadas no manual, elas podem ser acrescentadas, temporariamente, em um anexo ao manual, at que uma prxima edio seja publicada contendo as informaes necessrias para a correta utilizao do instrumento. Os pareceres favorveis ou desfavorveis so encaminhados para as editoras. Algumas vezes, mesmo um Teste Psicolgico com parecer favorvel pode receber recomendaes tcnicas que indiquem melhoria na sua qualidade, mas que no invalidam sua utilizao. medida que os requerentes informam estarem desenvolvendo pesquisa sobre seus Testes Psicolgicos, o CFP divulga essas informaes na relao de testes do Satepsi - Sistema de Avaliao de Testes Psicolgicos. Todo o processo de avaliao constitudo por diversas etapas, segundo os arts. 9 e 12 da Resoluo CFP n 002/2003, detalhadas no Fluxograma 1 (pg. 19).

Prieto, G. & Muiz, J. Un Modelo Para Evaluar la Calidad de los Tests Utilizados en Espaa. http: //www.cop.es/tests/modelo.htm, acessado em 04/12/00.

18

III - O Sistema de Avaliao

Fluxograma 1: Processo de anlise dos Testes Psicolgicos.

Processo de anlise dos Testes Psicolgicos


RECEPO Prazo mx.: 30 dias teis ANLISE Prazo mx.: 60 dias teis ANLISE Prazo mx.: 30 dias teis ANLISE Prazo mx.: 40 dias teis ANLISE Prazo mx.: 30 dias teis AVALIAO Sem especificao de prazo

CCAP concorda com o parecer favorvel e emite novo parecer Parecer favorvel CCAP analisa o teste e o parecer do parecerista ad hoc

Recepo do teste pelo CFP e envio para parecerista ad hoc

CCAP discorda do parecer favorvel emitido pelo parecerista ad hoc

Parecer favorvel 2 parecerista ad hoc analisa e emite parecer favorvel ou desfavorvel CCAP analisa e emite parecer favorvel ou desfavorvel

Insero do teste na lista de Testes Psicolgicos

Parecerista ad hoc analisa e emite parecer favorvel ou desfavorvel CCAP discorda do parecer desfavorvel emitido pelo parecerista ad hoc CCAP concorda com o parecer desfavorvel e emite novo parecer

Plenrio CFP julga parecer da Comisso Perodo de recurso para o requerente. Prazo: 30 dias teis

Parecer desfavorvel

Parecer desfavorvel LEGENDA: CCAP = Comisso Consultiva em Avaliao Psicolgica

CCAP analisa o teste e o parecer do parecerista ad hoc

19

III - O Sistema de Avaliao

Satepsi Sistema de Avaliao de Testes Psicolgicos


O Sistema de Avaliao de Testes Psicolgicos Satepsi, foi criado para sistematizar um banco de dados atualizado de todas as avaliaes de Testes Psicolgicos realizadas, historiando o processo desde o recebimento at a sua etapa nal, conforme o art. 9 da Resoluo CFP n 002/2003. Alm disso, a possibilidade de seu acesso pela internet permite que qualquer usurio realize diversos tipos de consultas. O banco de dados rene informaes detalhadas dos Critrios de Avaliao da Qualidade dos Testes Psicolgicos de forma organizada, facilitando a compreenso sobre os Testes Psicolgicos e possibilitando a emisso de relatrios de pesquisa referentes aos seus mais diversos tipos de contedo. O Satepsi congura-se como um aglutinador de todo o histrico, com informaes, editais e atualizaes na lista mantida a partir do trabalho de avaliao dos Testes Psicolgicos. Dessa forma, o Satepsi caracteriza-se como uma ferramenta pela qual qualquer pessoa poder cadastrar seu Teste Psicolgico, constituindo uma relao de Testes Psicolgicos utilizados e/ou existentes no Brasil. Atravs dele, possvel ter acesso, por meio eletrnico, ao formulrio para anlise dos Testes Psicolgicos utilizado pelo CFP (Anexo 1 da Resoluo CFP n 002/2003), proporcionando ao parecerista ad hoc a possibilidade do preenchimento desse formulrio pela internet. O preenchimento do formulrio caracteriza a avaliao propriamente dita. o procedimento que analisa se o Teste Psicolgico possui as condies de uso atravs dos critrios mnimos estabelecidos pela Resoluo. Tais critrios sero detalhados a seguir.

20

IV - Critrios para Avaliao dos Testes Psicolgicos

Ricardo Primi, Regina Sonia Gattas F. do Nascimento e Audrey Setton de Souza

Para a realizao do processo de avaliao dos Testes Psicolgicos, foram utilizados os principais fundamentos psicomtricos, alm de uma srie de critrios mnimos descritos a seguir.

Avaliao Psicolgica
A Avaliao Psicolgica constitui-se na busca sistemtica de conhecimento a respeito do funcionamento psicolgico das pessoas, de forma a poder orientar aes e decises futuras. Esse conhecimento sempre gerado em situaes especcas, envolvendo questes e problemas tambm especcos. Na clnica, por exemplo, o prossional pode fazer uma Avaliao Psicolgica para entender melhor os problemas vivenciados por uma pessoa e pensar quais so as melhores formas de ajud-la a superar tais problemas, ou, na escola, pode procurar entender porque uma criana tem diculdades para aprender ou como estimular seu desenvolvimento, ou, na rea forense, em que necessrio entender quais razes levaram uma pessoa a cometer um crime ou se ela pode ser considerada responsvel pelos seus atos, ou, ainda, no trabalho, em que o prossional procura identicar qual pessoa poderia ser selecionada para um determinado cargo. Est implcito na Avaliao Psicolgica que o objetivo ltimo, ainda que idealmente, sempre ser beneciar as pessoas envolvidas.

Testes Psicolgicos
Os Testes Psicolgicos so procedimentos sistemticos de coleta de informaes que municiam o processo amplo e complexo de Avaliao Psicolgica com dados teis e conveis. Existem vrias formas de se obter informaes, tais como a observao direta, as entrevistas, a anlise de documentos e a aplicao de testes propriamente dita. Fica claro, ento, que os Testes Psicolgicos so uma das formas possveis de se obter informaes sobre as pessoas durante a Avaliao Psicolgica. Em geral, os Testes Psicolgicos propem tarefas especcas s pessoas como meio para observar a manifestao do comportamento e, por meio dessas manifestaes, inferir caractersticas psicolgicas. Partindo-se da maneira como as pessoas se comportam nessas tarefas, os prossionais inferem caractersticas psicolgicas associadas. As tarefas podem constituir-se em problemas de raciocnio, frases autodescritivas, tarefas de expresso, como desenhar, contar histrias, perceber guras em manchas de tinta e outros. Uma questo importante que se faz em relao aos testes refere-se legitimidade das inferncias feitas. A fundamentao slida, para elas, construda, gradativamente, por

21

IV - Critrios para Avaliao dos Testes Psicolgicos

uma srie de estudos buscando evidncias de validade, preciso e informaes normativas, quando for o caso. A Resoluo do CFP n 002/2003 estabelece os requisitos mnimos necessrios aos testes disponibilizados para uso prossional nos termos desses parmetros, amparada em documentos internacionais que denem, em detalhes, tais caractersticas. (International Test Commission, 2000; American Educational Research Association, American Psychological Association & National Council on Measurement in Education, 1999; Canadian Psychological Association, 1996) A seguir, sero denidas, sucintamente, cada uma dessas caractersticas e, ao nal, quais foram os critrios mnimos exigidos para que o teste recebesse um parecer favorvel em funo do tipo de teste em considerao.

Validade
O ponto crtico dos Testes Psicolgicos a validade das interpretaes feitas das respostas dadas na testagem, e, por isso, a validade uma caracterstica fundamental dos instrumentos de avaliao. Refere-se legitimidade das interpretaes dadas a partir dos indicadores observados na aplicao de testes, analisados com base nos comportamentos caractersticos que a pessoa apresentou na realizao da tarefa proposta pelo teste. Uma questo fundamental que precisa ser respondida indaga sobre quais evidncias empricas justicam essas interpretaes, isto , quais dados existem indicando que essas interpretaes sejam coerentes e legtimas, ou seja, resultante de pesquisas delineadas para testar os pressupostos de tais interpretaes. O estudo de validade traz o embasamento cientco aos instrumentos de avaliao. Os mtodos de validar um teste no diferem muito daqueles usados para validar teorias psicolgicas (Muniz, 2004); portanto, esto associados ao conjunto de evidncias empricas favorveis ao signicado que se est atribuindo aos indicadores. As pesquisas de validade sustentam cienticamente e justicam as associaes propostas entre os indicadores e as caractersticas psicolgicas. Elaborando-se um pouco mais esse conceito, deve car claro que, como armam Anastasi e Urbina (2000), [...] a validade de um teste no pode ser relatada em termos gerais. No podemos dizer que um teste tem alta ou baixa validade em termos abstratos. Sua validade precisa ser estabelecida com referncia ao uso especco para o qual o teste est sendo considerado (p.107). Nesse sentido, cada armao sobre alguma caracterstica psicolgica diferente observada a partir de algum indicador no teste deve ser validada. A pesquisa de validade, portanto, composta de vrias sub-pesquisas, cada uma testando algum aspecto interpretativo do teste. Exner (1993), por exemplo, realizou centenas de estudos de validade das interpretaes das respostas ao teste Rorschach. Uma delas refere-se s respostas de reexo, ocorrendo quando uma parte da mancha referida como sendo o reexo da outra. Respostas desse tipo, em nmero elevado, indicam um foco de ateno voltado mais para si do que para os

22

IV - Critrios para Avaliao dos Testes Psicolgicos

outros, uma tendncia a superestimar o prprio valor e assinala a presena de caractersticas narcsicas na personalidade. Essas respostas fazem parte do ndice de Egocentrismo. Um dos primeiros estudos de validade desse ndice envolveu 21 pessoas que passavam por um processo seletivo. Na entrevista, o examinando cava espera do entrevistador, que chegava sempre 10 minutos depois de o sujeito ter entrado na sala. Nesta, havia um espelho e uma cmera escondida atrs do espelho, lmando o sujeito. A partir das gravaes, os pesquisadores contaram o tempo que o sujeito passou olhando-se no espelho. Alm disso, contaram o nmero de vezes que o sujeito usou os pronomes pessoais eu e meu durante a entrevista. Essas variveis estavam associadas, signicativamente, ao nmero de respostas de reexo, apoiando a interpretao de que respostas desse tipo indicam um funcionamento mais egocntrico. Em outro estudo envolvendo 40 pessoas, Exner (1993) calculou a diferena entre autodescries com adjetivos sobre como sou em contraposio a autodescries sobre como gostaria de ser Os sujeitos com menor nmero de discrepncias entre as descries . reais-ideais apresentavam maior nmero de respostas de reexo, apoiando a interpretao de auto-estima mais inada associada s respostas de reexo. Como evidenciado acima, o trabalho de validao de um teste muito complexo. Na verdade, ele dinmico e praticamente interminvel. Os vrios estudos podem ser vistos como pequenas provas que vo acumulando-se sobre o que e como se deve interpretar os indicadores obtidos em um teste. Existem vrias formas de se buscar evidenciar a validade das interpretaes do teste, dentre as quais aquelas baseadas na anlise do contedo dos itens do teste, nas relaes com outras variveis, no processo de resposta, na estrutura interna dos itens ou nas conseqncias da aplicao de testes (AERA, APA, NCME, 1999). Todas essas formas consistem em procedimentos diferentes de coleta de informaes sobre validade e respondem a questes diferentes, cada uma com maior pertinncia em razo dos propsitos e contextos em que se pretende utilizar o instrumento de avaliao. Dessa forma, a Resoluo CFP n. 002/2003 utiliza a terminologia proposta por Prieto e Muniz (2000), que subdivide as pesquisas para validao de um Teste Psicolgico em trs maneiras: validade de contedo, validade de constructo e validade de critrio, que, por sua vez, so subdivididas da seguinte forma: Validade de contedo: qualidade da representao do contedo ou domnio; consulta a especialistas; Validade de constructo: correlao com outros testes ou validade convergente-discriminante, diferenas entre grupos, matriz multitrao-multimtodo, consistncia interna ou anlise fatorial (exploratria ou conrmatria) e delineamentos experimentais;

23

IV - Critrios para Avaliao dos Testes Psicolgicos

Validade de critrio: concorrente e preditiva.

Mais informaes sobre esses mtodos podem ser obtidas a partir da literatura especializada indicada no nal do relatrio.

Validade das Tcnicas Projetivas


As tcnicas projetivas so instrumentos utilizados predominantemente na clnica, dentro de um processo mais amplo de Avaliao Psicolgica, sempre usando como fundamentao um referencial terico que promove a compreenso dinmica da personalidade. O fato de serem utilizados na clnica levava falsa premissa de que poderiam ser validados na prpria clnica, prescindindo de estudos psicomtricos, e que esse tipo de estudo poderia levar a um empobrecimento e categorizao que contrariam os procedimentos de avaliao clnica. Esse risco de empobrecimento decorrente da categorizao necessria para a validao fez com que os psiclogos caminhassem para o outro extremo, que era a recusa dos critrios da Psicometria necessrios a avanos nas pesquisas da rea. Tal perspectiva criava uma situao dicotmica: por um lado, os que trabalhavam com essas tcnicas tinham plena conana nelas, sem se preocupar em divulgar seus conhecimentos, resultados de suas experincias, nem em transform-los em estudos mais sistemticos que permitissem alguma validao dos mtodos utilizados; enquanto os psiclogos de viso contrria criticavam os mtodos projetivos pelo fato de no possurem critrios sistemticos de avaliao. Podemos armar que se trata de um equvoco, pois os instrumentos de Avaliao Psicolgica, mesmo que subjetivos, no prescindem de um rigor metodolgico e, no sentido inverso, esse rigor no invalida a interpretao clnica. Para compreender a dinmica individual de uma pessoa em uma Avaliao Psicolgica, devemos integrar os dados das entrevistas, das observaes, do vnculo estabelecido com a pessoa, com a considerao relativa situao para a qual estamos realizando aquela avaliao. Se, a esses dados, o prossional tiver referncia de resultados de Testes Psicolgicos utilizados como um dos itens da avaliao, a margem de segurana ser maior, especialmente se os instrumentos forem padronizados e evidenciarem bons resultados psicomtricos (validade, preciso). O problema que se discute atualmente como realizar estudos psicomtricos com instrumentos clnicos, pois estes, devido a sua complexidade caracterstica e natureza ambgua, aliadas ao carter idiossincrtico no modo de responder ao instrumento, mostram-se mais difceis de quanticar e padronizar e, portanto, mais resistentes para satisfazer os critrios de mensurao do que os testes objetivos, que, por sua vez, trabalham com um nmero mais reduzido de variveis e com resultados mais objetivos, o que acarreta maior facilidade de quanticao.

24

IV - Critrios para Avaliao dos Testes Psicolgicos

A diculdade de validao dessas tcnicas, pelo fato de serem instrumentos que demandam mais habilidade e conhecimentos do psiclogo, um tempo maior de aplicao e uma diculdade de constituir amostras signicativas para pesquisa, aliadas a conceituaes tericas que as criticavam, levaram a uma reduo na quantidade de investigaes na rea. Essa diculdade reete-se no ensino e na utilizao das tcnicas menos objetivas por psiclogos iniciantes, que, antes de construrem um referencial mais seguro para a utilizao desses instrumentos, poderiam incorrer em erros devido falta de parmetros sistematizados para as suas interpretaes. Tais foram as razes que levaram a Comisso Consultiva em Avaliao Psicolgica a defender a necessidade de requisitos mnimos em Psicometria para a aprovao das tcnicas projetivas. Os requisitos utilizados para a aprovao dessas tcnicas, no entanto, foram diferentes dos necessrios para as tcnicas objetivas referenciadas norma, apropriando os critrios a cada tipo de instrumento, visto que os testes projetivos e objetivos possuem caractersticas distintas, conforme artigos 4 e 5 da Resoluo CFP n 002/2003. Contudo, ressalta-se que a utilizao das tcnicas projetivas no se reduz aos estudos psicomtricos, na medida em que continua sendo preponderante a gura do psiclogo e seu raciocnio clnico, que insere os dados obtidos a partir do teste num quadro global e dinmico, dentro da Avaliao Psicolgica. Contudo, a incluso do julgamento do psiclogo deve sempre ser fundamentada em pressupostos tericos e metodolgicos, coerentes com a situao, que enriquecem e do sentido aos resultados dos instrumentos utilizados. Essa caracterstica especca dos instrumentos projetivos leva, portanto, a um excelente resultado, que torna os mtodos projetivos de anlise da personalidade instrumentos dedignos e consistentes, ao mesmo tempo que, com seu uso, podemos alcanar uma compreenso bastante profunda das pessoas, o que confere aos instrumentos legitimidade, com ampla aceitao pela comunidade cientca e usurios dos instrumentos. Vale lembrar que a Psicometria no foi desenvolvida para interpretar dados, mas para fornecer resultados mais conveis, e, para isso, sempre haver a necessidade de um psiclogo bem preparado para interpretar e fazer do Teste Psicolgico um instrumento convel a partir de sua utilizao. Lembrando Kaufman (1982), o valor do teste instrumental e tudo depende da competncia de quem usa, e esse algum tem que ser melhor que os testes que usa.

25

IV - Critrios para Avaliao dos Testes Psicolgicos

Preciso
Outra caracterstica ligada aos fundamentos cientcos dos instrumentos a preciso. Como toda avaliao vulnervel ao erro, uma questo de ordem prtica saber o tamanho do erro que geralmente ocorre nas avaliaes. Os estudos de preciso criam uma nova oportunidade de avaliao, procurando garantir que, na segunda oportunidade, o atributo avaliado no tenha mudado, buscando-se, com isso, vericar as utuaes dos escores de um teste em condies nas quais deveriam permanecer constantes. So, portanto, maneiras sistemticas de se estudar os erros de medida. A preciso, ou dedignidade, como s vezes chamada, refere-se ao quanto os escores de um teste so imunes s utuaes geradas por fatores indesejveis, isto , os fatores incontrolveis que inevitavelmente interferem nos escores, mas que no possuem nenhuma relevncia para o que avaliado. Esses fatores so chamados fontes de erro. Vrias fontes de erro podem interferir na avaliao, produzindo rudos ou erros nos escores dos testes, dentre elas a subjetividade no processo de correo, utuaes entre diferentes situaes de avaliao ou problemas no contedo das tarefas usadas na avaliao. As medidas psicolgicas sempre estaro vulnerveis ao erro, sendo que a questo de ordem prtica colocada pelos estudos de preciso que a magnitude de erro tolervel antes que a medida se torne intil. Delineamentos de estudo da preciso dos instrumentos tentam estimar a magnitude das utuaes dos escores de um teste em condies nas quais deveriam permanecer constantes, separando, portanto, a variabilidade, que pode ser considerada real isto , associada s caractersticas de interesse da variao de erro ou seja, associada , , a fatores irrelevantes. Nesse sentido, a Resoluo CFP n 002/2003 considera como estudos de preciso a utilizao dos seguintes delineamentos: equivalncia (formas paralelas), consistncia interna, estabilidade (teste-reteste) e preciso de avaliadores. No obstante, tambm analisado se os coecientes decorrentes desses estudos so calculados para diferentes grupos de sujeitos.

Preciso X Validade
A preciso uma caracterstica necessria, mas no suciente para a validade de um instrumento. Testes com baixa preciso sofrem muita inuncia de fontes de erro, de tal forma que h incerteza se as variaes nos escores esto associadas s caractersticas de interesse ou aos fatores irrelevantes. Nessa situao, os escores so pouco conveis e comprometem a validade das interpretaes que seriam feitas. Dessa forma, a baixa preciso compromete a validade. Por outro lado, a alta preciso, ainda que indique pouca vulnerabilidade s fontes de erro, no constitui evidncia suciente de que as interpretaes associadas aos escores sejam legtimas. Alta preciso o primeiro passo e indica que algo consistente foi captado pelos escores do teste. Entretanto, estudos de validade so neces-

26

IV - Critrios para Avaliao dos Testes Psicolgicos

srios para provar que esse algo captado realmente aquilo que o instrumento se propunha a avaliar. Portanto, a alta preciso no garante validade.

Padronizao
Outro aspecto importante dos instrumentos refere-se ao sistema de interpretao dos escores ou indicadores obtidos no teste. Muitos instrumentos utilizam expectativas normativas como referncias para interpretar os escores. A denio do que esperado e, inversamente, do que muito incomum ou diferente, feita comparando-se os resultados obtidos pelas pessoas com os resultados obtidos por grupos de referncia. O Inventrio de Depresso de Beck, por exemplo, avalia depresso por meio de armaes ligadas aos sintomas da depresso, tais como Estou sempre triste e no consigo sair dissoNo encon, tro um prazer real em mais nada etc. A denio do que normal feita pelo escore mdio obtido por pessoas funcionalmente normais que nunca se queixaram de depresso. Os resultados do grupo de referncia servem como base para que as respostas de uma pessoa possam ser comparadas e contextualizadas. Os estudos normativos procuram estabelecer as expectativas para os escores do teste de tal forma a possibilitar a comparao de casos individuais com essas tendncias grupais. De fato, muitas vezes, os indicadores do teste so comparados com grupos normativos e grupos especcos que foram usados em pesquisas de validade de critrio. No Inventrio de Depresso de Beck BDI, por exemplo, possvel comparar o escore das pessoas com grupos sem depresso (grupo normativo) e tambm com grupos que apresentam transtorno depressivo (grupo critrio). A partir dessa informao, o prossional pode inferir com qual grupo as respostas da pessoa avaliada se assemelham. Uma das crticas mais comuns aos Testes Psicolgicos a ausncia de estudos normativos no Brasil. Entretanto, a resoluo isolada desse problema no garante a qualidade de um instrumento, sendo necessrios, tambm, os estudos mais fundamentais de validade e preciso.

Requisitos Mnimos
As caractersticas descritas acima so importantes porque, se um instrumento no possui evidncias de validade, no h segurana de que as interpretaes sobre as caractersticas psicolgicas das pessoas sugeridas pelas respostas sejam legtimas. No se sabe o que o instrumento avalia realmente. Se um instrumento no possui evidncias de preciso, no se tem idia da magnitude do erro cometido nas avaliaes, isto , no se pode estimar quanto os resultados mudariam se fossem dadas novas oportunidades de avaliao, tais como outro prossional avaliando o mesmo sujeito, empregando o mesmo mtodo, ou outro instrumento e/ou oportunidade com os mesmos objetivos. Ainda, a inexistncia de

27

IV - Critrios para Avaliao dos Testes Psicolgicos

padronizao brasileira pode trazer diculdades nas interpretaes dos resultados, j que as pessoas sero comparadas com expectativas inapropriadas a nossa realidade. Considerando esses parmetros, a Resoluo CFP n 002/2003 prope que, para serem considerados favorveis para uso prossional, os instrumentos devem possuir: (a) um manual detalhando a fundamentao terica; (b) as evidncias empricas de validade e preciso com amostras brasileiras; (c) o sistema de correo e interpretao dos escores; (d) os procedimentos de aplicao e correo, bem como as condies nas quais o teste deve ser aplicado; e (e) a literatura cientca relacionada ao instrumento. Para evitar mal-entendidos, deve-se ressaltar que esses requisitos dizem respeito ao uso prossional, e no pesquisa. Dessa forma, o parecer desfavorvel impede que o Teste Psicolgico possa ser usado para prestar servios prossionais, mas no impede, em absoluto, o uso do teste como objeto de estudo numa pesquisa. Ao contrrio, a inteno dessa medida estimular a pesquisa, especialmente com os testes considerados desfavorveis, para que um dia sua utilidade possa ser demonstrada e eles possam gurar entre os Testes Psicolgicos em condies de uso prossional. Evidentemente, as denies acima, contidas na Resoluo, no fornecem detalhes sucientes para que os pareceristas ad hoc e a Comisso Consultiva em Avaliao Psicolgica possam fazer um julgamento preciso de tais requisitos. Diante disso, a Comisso discutiu e indicou, com a aprovao do CFP, quais seriam os critrios mnimos exigidos para se conceder um parecer favorvel. Cabe ressaltar que esses requisitos estabelecem o mnimo necessrio, e no o desejvel, e, portanto, no podem ser, necessariamente, considerados indicadores de excelncia. A Tabela1 apresenta o que se requereu em relao aos itens listados acima. Para isso, foram considerados dois atributos dos testes analisados: (a) se eles eram projetivos ou no- projetivos; e (b) se, por um lado, eram de origem estrangeira, com uma slida base de pesquisas no exterior, ou, por outro, eram testes estrangeiros com pouco ou nenhum estudo de validade, preciso e padronizao, quando fosse o caso, ou teste nacional. Conforme descrito na Tabela 1, para os testes projetivos com uma slida base de pesquisas no exterior e com a preciso de avaliadores demonstrada, foi requerido, como requisito mnimo, somente um estudo de validade no Brasil. Por outro lado, para testes projetivos que no tivessem uma base consolidada, foram considerados estudos brasileiros de preciso e de validade para as principais interpretaes.

28

IV - Critrios para Avaliao dos Testes Psicolgicos

Para os testes no-projetivos que contavam com uma base convel, foi requerido um estudo de preciso e um estudo de validade realizados no Brasil. Foram considerados, tambm, estudos ou referncias a estudos das propriedades psicomtricas dos itens. Se o teste no possua uma base slida de estudos, foram requeridos estudos brasileiros de preciso, anlise de itens e validade para as principais interpretaes. Para anlise desses requisitos, utilizou-se a adaptao de um questionrio elaborado por Prieto e Muniz (2000), criado para avaliar a qualidade dos Testes Psicolgicos espanhis. Esse questionrio detalha os requisitos psicomtricos, por exemplo, e os diferentes tipos de estudo de validade e preciso. Alm disso, caracteriza uma srie de informaes gerais do instrumento, como rea de aplicao, constructo medido, tamanho das amostras, dentre outras. O leitor interessado pode ver uma cpia desse questionrio de avaliao no Anexo 1 da Resoluo CFP n 002/2003. Para cada Teste Psicolgico, esse questionrio de avaliao foi preenchido de tal forma que se pde produzir um banco de dados com informaes detalhadas sobre os testes analisados. Adiante, nesse relatrio, apresentaremos uma anlise dos itens mais importantes desse formulrio, de tal forma que ser possvel caracterizar os instrumentos favorveis e desfavorveis em funo das caractersticas analisadas, especialmente quais caractersticas os testes desfavorveis no atenderam.

29

IV - Critrios para Avaliao dos Testes Psicolgicos

Tabela 1: Operacionalizao dos requisitos mnimos C1. Manual Manual contendo tcnicas e prticas Teste estrangeiro com pouco Teste estrangeiro com estudos ou nenhum estudo de precisucientes de preciso, validaso, validade e padronizao de e padronizao no pas de no pas de origem, ou teste origem nos ltimos 20 anos. criado no Brasil.

C3. Validade ( preciso fazer uma avaliao global, considerando as duas situaes indicadas ao lado, para tomada de deciso neste requisito)

Algum estudo de validade no Brasil, replicando as evidncias observadas no pas de origem.

Estudos de validade das principais interpretaes pretendidas.

No-projetivos Algum estudo no Brasil, com evidncias positivas de preciso. Projetivos Algum estudo no Brasil, reC4. Preciso / Fide- plicando evidncias positivas dignidade de preciso, quando esta estabelecida pelos mtodos de estabilidade e/ou consistncia interna ou evidncias positivas de preciso no pas de origem, quando esta estabelecida pelo mtodo de concordncia de avaliadores. C5. Anlise de itens Algum estudo no Brasil sobre (somente para tes- as propriedades psicomtricas tes no-projetivos) dos itens. Se o teste usa o sistema de referncia norma, um estuC6. Sistema de cor- do de padronizao no Brasil. reo e interpreta- Caso empregue outro sistema, o dos resultados considerar se os estudos de validade apiam as interpretaes.

No-projetivos Estudo no Brasil, com evidncias positivas de preciso. Projetivos Estudo no Brasil com evidncias positivas de preciso.

Algum estudo no Brasil sobre as propriedades psicomtricas dos itens. Se o teste usa o sistema de referncia norma, um estudo de padronizao no Brasil. Caso empregue outro sistema, considerar se os estudos de validade apiam as interpretaes.

30

V - Resultados

lvaro Jos Lel, Audrey Setton de Souza, Gislene Maia de Macedo, Jos Carlos Tourinho e Silva, Maurcio Miranda Sarmet, Regina Snia Gattas Fernandes do Nascimento, Ricardo Primi e Rodrigo Barroso Vasconcelos

Os resultados que se seguem decorrem de anlises estatsticas de todos os dados oriundos do processo de avaliao dos Testes Psicolgicos. No total, foram recebidos 111 Testes Psicolgicos, enviados ao CFP em funo da Resoluo CFP n 025/2001, no perodo de janeiro de 2002 a maro de 2003. A partir de 26 de maro de 2003 at maio de 2004, atendendo Resoluo CFP n 002/2003, foram recebidos mais 23 testes. Durante esse tempo, 28 testes no foram contemplados nas anlises porque foram retirados do sistema de avaliao, pois no eram testes; a editora responsvel deixou de publicar; ou simplesmente porque o processo de avaliao ainda no havia sido concludo, no podendo ser inseridos nos dados reportados neste relatrio. Assim, este relatrio est fundamentado em uma amostra de 106 testes psicolgicos listados no anexo 1 - Relao dos testes psicolgicos utilizados na amostra. Foram realizadas as seguintes anlises estatsticas: descritivas, consistncia interna dos itens do formulrio de critrios mnimos e correlaes, todos embasados nas informaes preenchidas no formulrio de Avaliao da Qualidade de Testes Psicolgicos (Anexo 1 da Resoluo CFP n 002/2003). Os detalhes dos resultados so apresentados a seguir.

Descrio Geral dos Testes Psicolgicos


(Parte A do formulrio de Avaliao da Qualidade de Testes Psicolgicos) Tabela 2: Quantidade dos testes favorveis e desfavorveis, de acordo com a natureza do teste
Natureza do Teste Psicolgico Freqncia Percentual Freqncia Percentual Freqncia Percentual No-projetivo 39 36,8% 57 44,3% 86 81,1% Projetivo 12 11,3% 8 7,5% 20 18,9% Total 51 48,1% 55 51,9% 106 100%

Avaliao Final

Desfavorvel Favorvel Total

31

V - Resultados

Tabela 3: Distribuio dos 106 Testes Psicolgicos analisados, por requerente, neste relatrio
Requerente CEPA Vetor Casa do Psiclogo LabPAM CETEPP Livro Pleno Cognio Terceira Margem EDITES LAMP/PUC Campinas Gohmes EDITORIAL PSY Total Freqncia 33 26 25 6 5 3 3 1 1 1 1 1 106 Percentual 31,1 24,5 23,6 5,7 4,7 2,8 2,8 0,9 0,9 0,9 0,9 0,9 100,0

No total, foram analisados 106 testes, editados por nove editoras, dois laboratrios e um pelo prprio autor. Quanto s editoras, observamos que a grande maioria dos testes que chegaram para avaliao so da CEPA (31%), Vetor (24%) e Casa do Psiclogo (24%). As demais editoras apresentaram um nmero inferior a 6% relativo a cada. Ao fazer a correlao entre a aprovao do instrumento e a editora, encontramos os seguintes resultados: Entre os testes da editora CEPA, em um total de 33 testes, 31 (94%) foram avaliados como desfavorveis e 2 (6%), favorveis. Da Casa do Psiclogo, entre os 25 testes recebidos, 17 (68%) foram aprovados e os demais (32%) foram considerados desfavorveis. Da Vetor, entre os 26 testes recebidos, 16 (61%) receberam parecer favorvel e os demais (38%), desfavorvel. Das demais editoras, observou-se que, algumas vezes, a porcentagem era muito elevada, seja como favorvel ou como desfavorvel, mas essa porcentagem ca comprometida em funo do nmero restrito de testes relativo a cada uma delas.

32

V - Resultados

Publicao dos Manuais no Brasil


Tabela 4: Data da ltima publicao do manual no Brasil
Data da ltima publicao do manual no Brasil At 1980 De 1981 a 1985 De 1986 a 1990 De 1991 a 1995 De 1996 a 2000 A partir de 2001 Total Dados faltosos Total

Freqncia 7 5 1 11 39 37 100 6 106,00

Porcentagem 6,6 4,7 0,9 10,4 36,8 34,9 94,3 5,7 100,00

Porcentagem vlida 7 5 1 11 39 37 100

Na Tabela 4, possvel observar que seis manuais no apresentam data de publicao. Entre os restantes, percebemos que a maioria (36,8%) foi publicada entre os anos 1996 a 2000, seguida pelos ltimos anos, ou seja, a partir de 2001 (34,9%). Entre 1986 a 1990, temos somente a publicao de um teste. No geral, podemos dizer que a maioria dos testes tm uma publicao bastante recente e que, na dcada de 1980, temos o menor nmero de publicaes, talvez por ter sido uma dcada em que se deu pouca importncia aos Testes Psicolgicos.

33

V - Resultados

Classicao das Variveis que os Testes Psicolgicos pretendem medir


Grco 1: Classicao das variveis que o teste pretende medir de acordo com a avaliao nal do CFP
100

75

50 37,3 90,9 25,5 25 19,6 19,6 14,5 7,8 3,8 0


Inteligncia Habilidades especficas

30,9 25,5 22,6 11,3

34

7,8 0

Psicomotricidade

Funes neuropsicolgicas

Personalidade

Classificao das variveis que o teste pretende medir Avaliao Final Desfavorvel f Avaliao Final Desfavorvel % Avaliao Final Favorvel f Avaliao Final Favorvel % Total f Total %

Os nmeros do Grco 1 indicam a porcentagem de avaliao favorvel, desfavorvel e totais por varivel. Grco 1: Classicao das variveis que o teste pretende medir de acordo com a avaliao nal do CFP (continuao)
100 100 100

100

75

50

29,1 25 17,6 9,8 2 0


Motivao Atitudes Interesses Valores Avaliao Final Favorvel f Outros Total Total % Avaliao Final Desfavorvel f Avaliao Final Desfavorvel % Avaliao Final Favorvel % Total f

23,6

0,9

3,9

1,8

2,8

1,8

5,7 0 0 0

34

V - Resultados

Quanto s variveis que o teste pretende medir (Grco 1), encontramos 34% dos instrumentos que se destinam avaliao da personalidade; 25,5%, medio da inteligncia; 22,6%, a habilidades; 11,3%, avaliao das funes neuropsicolgicas; e 3,8%, para psicomotricidade. Encontramos apenas um teste para avaliar motivao (que no est em condies de uso) e nenhum para medida de valores. Destacamos que, entre os 27 testes para avaliao de inteligncia, a maioria (62,9%) foi considerada favorvel, enquanto 37% dos testes foram avaliados como desfavorveis. Para a avaliao de habilidades especcas, temos 14, entre os 24 testes apresentados (58,3%), que esto apropriados para utilizao. Entre os testes para avaliao de funes psicomotoras, no encontramos nenhum apropriado para utilizao. Dos 12 testes destinados avaliao de funes neuropsicolgicas, 8 (66,6%) esto apropriados para utilizao. J entre os testes (36) destinados avaliao da personalidade, 19 (52,7%) foram considerados inadequados para a utilizao, enquanto 17 (47,3%) esto em condies de uso. Finalmente, entre os 6 testes para avaliar interesses, apenas 1 (16,6%) foi considerado favorvel, enquanto os outros 5 (83,3%) no esto adequados para utilizao. Ressaltamos que essas classicaes, como as do item anterior, foram realizadas exclusivamente pelas informaes contidas no manual.

reas de Aplicao
Tabela 5: Relao entre a avaliao nal dos Testes Psicolgicos e suas respectivas reas de aplicao
Avaliao nal desfavorvel F Psicologia Clnica Psicologia Escolar ou Educacional Neuropsicologia Psicologia Forense rea de aplicao Psicologia do Trabalho e das Organizaes Psicologia do Esporte Social/Comunitria Psicologia do Trnsito Psicologia Hospitalar Outros N Total 32 36 9 2 28 0 2 2 6 4 51 51 % 62,70 70,60 17,60 3,90 54,90 0 3,90 3,90 11,80 7,80 100,00 100,00 Avaliao nal favorvel F 44 30 11 7 29 0 2 15 7 5 55 55 % 80,00 54,50 20,00 12,70 52,70 0 3,60 27,30 12,70 9,10 100,00 100,00 F 76 66 20 9 57 0 4 17 13 9 106 106 Total % 71,70 62,30 18,90 8,50 53,80 0 3,80 16,00 12,30 8,50 100,00 100,00

35

V - Resultados

A rea de aplicao de um instrumento foi classicada apenas pelas informaes contidas no manual. Portanto, se algum utilizou um teste para outro propsito, mesmo que por informaes de outra literatura, estas no foram consideradas. A leitura da Tabela 5 indica-nos que, quanto rea de aplicao, a maioria dos testes so destinados s reas mais tradicionais da Psicologia, ou seja, rea clnica (71,7%), seguida da rea escolar (62,3%) e da Psicologia do Trabalho (53,8%). As demais reas concentram menor nmero de instrumentos. Contudo, ainda que restrita, j apresenta uma quantidade signicativa de instrumentos destinados Neuropsicologia (18,9%), Psicologia do Trnsito (16,0%), Hospitalar (12,3%) e Forense (8,5%). Para a rea social, encontramos um nmero reduzido de provas (3,8%). Cabe salientar que, entre os testes recebidos, nenhum se dizia destinado Psicologia do Esporte. A distribuio relativa a ser desfavorvel ou favorvel, em geral, apresenta-se muito semelhante, com pequenas excees, a saber, uma quantidade maior de testes favorveis em relao aos desfavorveis nas reas da Neuropsicologia e da Psicologia do Trnsito, possivelmente por se tratar de instrumentos mais recentes.

Caractersticas Gerais do Manual


Tabela 6: Caractersticas gerais do manual
Natureza do Teste Psicolgico Avaliao Final Caractersticas gerais do manual F Fundamentao terica Estudos de preciso brasileiros Estudos de validade brasileiros Sistema de correo e interpretao dos escores brasileiro Informaes sobre a aplicao Desfavorvel Informaes sobre a correo Informaes sobre como interpretar os resultados do teste Indicao da literatura cientca relacionada ao instrumento Indicao da populao alvo N Total 23 14 14 30 38 38 30 18 28 39 39 Noprojetivo % 59,00 35,90 35,90 76,90 97,40 97,40 76,90 46,20 71,80 100,00 100,00 F 12 1 1 8 12 11 12 11 11 12 12 Projetivo % 100,00 8,30 8,30 66,70 100,00 91,70 100,00 91,70 91,70 100,00 100,00 F 35 15 15 38 50 49 42 29 39 51 51 % 68,60 29,40 29,40 74,50 98,00 96,10 82,40 56,90 76,50 100,00 100,00

Total

36

V - Resultados

Avaliao nal

Caractersticas gerais do manual

Natureza do Teste Psicolgico Noprojetivo 47 46 47 47 47 47 44 45 46 47 47 100,00 97,90 100,00 100,00 100,00 100,00 93,60 95,70 97,90 100,00 100,00 8 7 8 8 8 8 8 8 8 8 8 Projetivo 100,00 87,50 100,00 100,00 100,00 100,00 100,00 100,00 100,00 100,00 100,00 55 53 55 55 55 55 52 53 54 55 55

Total

Fundamentao terica Estudos de preciso brasileiros Estudos de validade brasileiros Sistema de correo e interpretao dos escores brasileiro Informaes sobre a aplicao Favorvel Informaes sobre a correo Informaes sobre como interpretar os resultados do teste Indicao da literatura cientca relacionada ao instrumento Indicao da populao alvo N Total

100,00 96,40 100,00 100,00 100,00 100,00 94,50 96,40 98,20 100,00 100,00

Como podemos observar na Tabela 6, os manuais dos testes que no foram considerados favorveis apresentam muitas lacunas de informao fundamental, enquanto os favorveis apresentam muito mais informaes. Observamos, por exemplo, que apenas um dos testes projetivos, entre os considerados desfavorveis, apresentam estudo de preciso e um estudo de validade no Brasil, como tambm apenas 23 dos testes no-projetivos apresentaram fundamentao terica. Entre os testes favorveis, encontramos praticamente 100% em todas as informaes. Nota-se, tambm, que todos os testes projetivos, independentemente da avaliao nal, possuem informaes sobre a fundamentao terica, aplicao e interpretao dos resultados.

37

V - Resultados

Requisitos Tcnicos
(Parte B do formulrio de Avaliao da Qualidade de Testes Psicolgicos)

Fundamentao Terica
Tabela 7: Apresentao da Qualidade da Fundamentao Terica, considerando a avaliao nal para testes projetivos e no-projetivos
Avaliao Final Qualidade da Fundamentao Terica Noprojetivos F 18 19 2 39 26 21 47 % 46,20 48,70 5,10 100,00 55,30 44,70 100,00 Projetivos F 1 8 3 12 3 5 8 % 8,30 66,70 25,00 100,00 37,50 62,50 100,00 F 19 27 5 51 29 26 55 Total % 37,30 52,90 9,80 100,00 52,70 47,30 100,00

Nvel C (insuciente) * Desfavo- Nvel B (suciente) ** Nvel A (excelente a bom) *** rvel Total Nvel B (suciente) ** Nvel A (excelente a bom) *** Favorvel Total

*: As informaes so insucientes ou no contm as informaes sobre o constructo que se pretende medir, do procedimento de mensurao e das principais reas de aplicao. **: Contm sumariamente essas informaes. ***: Descrio muito clara e documentada do constructo que se pretende medir, do procedimento de mensurao e das principais reas de aplicao.

Quanto fundamentao terica apresentada nos manuais, encontramos a seguinte distribuio: entre os 51 testes considerados desfavorveis, 19 (37,3%) apresentaram uma fundamentao terica considerada insuciente (nvel C), sendo 18 no-projetivos e apenas um projetivo; 27 (52,9%) apresentaram informaes sucientes (nvel B), sendo 19 no-projetivos e 8 projetivos; enquanto 5 (9,8%) testes obtiveram uma avaliao excelente nesse aspecto, dos quais 3 so projetivos e 2, no-projetivos. Entre os 55 considerados favorveis, encontramos: 52,7% avaliados com o nvel B, ou seja, apresentam informaes sucientes, dos quais 26 so no-projetivos e 3, projetivos; 47,3% obtiveram o nvel A (excelente a bom), dos quais 21 so no- projetivos e 5 so projetivos.

38

V - Resultados

Estudos de Validade e Preciso


Tabela 8: Quantidade de estudos de preciso e validade relacionados com a avaliao nal e a natureza do Teste Psicolgico

Avaliao nal

Estudos de Preciso e Validade

Teste NoProjetivo F % 2 9 8 0 2 39 8 9 5 0 2 5,10 5,10 100,00 20,50 23,10 12,80 5,10 23,10 20,50

Teste Projetivo F 0 0 0 2 0 12 0 1 0 0 0 % 0 0 0 16,70 0 100,00 0 8,30 0 0 0 F 2 9 8 2 2 51 8 10 5 0 2

Total % 3,90 17,60 15,70 3,90 3,90 100,00 15,70 19,60 9,80 0 3,90

Equivalncia (formas paralelas) Consistncia interna Estabilidade (teste-reteste) Preciso Preciso de avaliadores Coecientes so calculados para diferentes grupos de sujeitos Total Validade de contedo Desfavorvel Correlao com outros testes ou validade convergente-discriminante Diferenas entre grupos Matriz multitrao-multimtodo Anlise fatorial (exploratria ou conrmatria) / consistncia interna Delineamentos experimentais Outros Concorrente Preditiva Total

Validade

2 0 5 3 39

5,10

0 0

0 0 0 0 100,00

2 0 5 3 51

3,90 0 9,80 5,90 100,00

12,80 7,70 100,00

0 0 12

39

V - Resultados

Avaliao nal

Estudos de Preciso e Validade

Teste Noprojetivo F % 7 39 20 10 8 47 16 29 28 1 22 4 0 27 2 47 14,90 83,00 42,60 21,30 17,00 100,00 34,00 61,70 59,60 2,10 46,80 8,50 0 57,40 4,30 100,00

Teste Projetivo F 1 2 3 6 1 8 3 5 7 0 1 2 0 5 0 8 % 12,50 25,00 37,50 75,00 12,50 100,00 37,50 62,50 87,50 0 12,50 25,00 0 62,50 0 100,00 F 8 41 23 16 9 55 19 34 35 1 23 6 0 32 2 55

Total % 14,50 74,50 41,80 29,10 16,40 100,00 34,50 61,80 63,60 1,80 41,80 10,90 0 58,20 3,60 100,00

Preciso

Favorvel

Equivalncia (formas paralelas) Consistncia interna Estabilidade (teste-reteste) Preciso de avaliadores Coecientes so calculados para diferentes grupos de sujeitos Total Validade de contedo Correlao com outros testes ou validade convergente-discriminante Diferenas entre grupos

Matriz multitrao-multimtodo Validade Anlise fatorial (exploratria ou conrmatria) / consistncia interna Delineamentos experimentais Outros Concorrente Preditiva Total

Quanto aos estudos de preciso e validade, encontramos os seguintes delineamentos de pesquisas realizadas no Brasil: Preciso: encontramos 23 estudos de preciso entre os testes desfavorveis. Destes, a maior parte de consistncia interna (nove referncias) e de estabilidade teste-reteste (oito referncias), sendo esses estudos, principalmente, relativos aos testes no-projetivos. Os nicos estudos de preciso dos testes projetivos considerados desfavorveis foram dois estudos de concordncia entre avaliadores. Validade: 35 estudos de validade foram encontrados para os testes que no foram aprovados. Entre os testes no-projetivos, 23,1% so estudos de correlao com outros tes-

40

V - Resultados

tes; 20,5%, de estudos de validade de contedo; 12,8% so estudos para avaliar diferenas entre grupos; 5,1%, anlises fatoriais; e 5,1%, delineamentos experimentais. Para os testes projetivos no aprovados, encontramos apenas uma citao de estudo de validade (correlao). No que se refere validade preditiva ou concorrente, temos 12,8% pesquisas de validade concorrente e 7,7% de validade preditiva, todos atribudos a testes no-projetivos. De um modo geral, podemos dizer que foram poucos os estudos de validade e preciso para os 39 instrumentos desfavorveis no-projetivos, e ainda maior a carncia para os 12 projetivos considerados desfavorveis. J encontramos um quadro muito diferente para os 47 testes no-projetivos e oito projetivos considerados favorveis.

Preciso:
Testes no-projetivos: dentre estes, os mais citados nos manuais so os estudos de consistncia interna, em 83% dos testes favorveis. Em seguida, encontramos 42,6% de estabilidade teste-reteste. Com quantidade menor de referncias, 21,3%, encontram-se os estudos de concordncia entre avaliadores e 14,9% de pesquisas de equivalncia (formas paralelas). Testes projetivos: 75% dos estudos de preciso de concordncia entre avaliadores, seguidos de estudos de estabilidade (37,5%), e depois de estudos de consistncia interna (25%).

Validade:
Testes no-projetivos: entre os 47 testes considerados favorveis, encontramos 61,7% dos estudos de diferenas entre grupos, 59,6% de estudos de correlao, 46,8% de anlises fatoriais, 8,5% de desenhos experimentais e 2,10% de estudos de matriz multitrao-multimtodo. Alguns dos instrumentos apresentam mais de um estudo de validade. Entre os estudos, encontramos 57,4% referncias a estudos de validade concorrente e apenas 4,3% de validade preditiva. Testes projetivos: dos testes projetivos favorveis, 87,5% apresentam, para evidenciar sua validade, delineamentos de comparao entre grupos; 62,5%, estudos de correlao com outros testes ou validade convergente-discriminante; 37,5%, estudos de validade de contedo; 25%, delineamentos experimentais; e 12,5%, estudo fatorial.

41

V - Resultados

Tabela 9: Qualidade dos estudos de validade


Qualidade dos Estudos de Validade
Avaliao Final Tipos de estudo Validade de contedo Correlao com outros testes ou validade convergente-discriminante Diferenas entre grupos Desfavorvel Matriz multitrao-multimtodo Anlise fatorial / consistncia interna Delineamentos experimentais Outro Concorrente Preditiva N Validade de contedo Correlao com outros testes ou validade convergente-discriminante Diferenas entre grupos Matriz multitrao-multimtodo Anlise fatorial consistncia interna Delineamentos experimentais Outro Concorrente Preditiva N 27 100,00 12 44,40 20 2 28 71,40 7,10 100,00 36 100,00 4 2 13 30,80 15,40 100,00 2 100,00 10 37,00 9 32,10 1 50,00 2 15,40 Nvel D (insuciente) * F % Nvel C (insuciente) ** F 5 % 38,50 F 1 Nvel B (suciente) *** % 50 F % Nvel A (excelente a bom) **** F %

61,50

50

23,10

50

15

55,60

19

67,90

10

37,00

25

89,30

Favorvel

3,70

10

37,00

13

46,40

3,70

17,90

*: No tm estudos de validade. **: Tm pelo menos um estudo de validade, mas com data superior a 20 anos. ***: Tm pelo menos um estudo de validade com data inferior a 20 anos. ****: Tm pelo menos dois estudos de validade com data inferior a 20 anos.

42

V - Resultados

Esses resultados mostram que, nas pesquisas brasileiras, observa-se que os estudos de correlao com outros testes e diferenas entre grupos (categorizados como validade de constructo) so mais comuns, independentemente do Teste Psicolgico ser projetivo ou no-projetivo. Outro dado importante que a anlise fatorial mais freqentemente empregada nos estudos com testes no-projetivos e a diferena entre grupos, nos testes projetivos. Considerando-se, de um modo geral, os estudos de validade, encontramos apenas 3,9% dos instrumentos desfavorveis que apresentaram estudos de validade considerados sucientes (nvel B), ou seja, h pelo menos um estudo de validade com data inferior a 20 anos, 25,5% receberam nvel C (no tm estudos de validade), porm 70,6%, entre os 51 desfavorveis, apresentaram pelo menos um estudo de validade, mas com data superior a 20 anos (nvel C). Entre os instrumentos favorveis, 49% apresentaram estudos de validade considerados sucientes (nvel B), e 51% instrumentos foram avaliados com o nvel A, apresentando pelo menos 2 estudos, podendo ser considerados bons ou excelentes. Tabela10: Qualidade dos estudos de preciso
Qualidade dos Estudos de Preciso Nvel D (insuciente) * F Equivalncia Consistncia interna Desfavorvel Estabilidade Preciso de avaliadores Total Equivalncia Consistncia interna Favorvel Estabilidade Preciso de avaliadores Total 1 100 1 100 34 100,00 12 100,00 % Nvel C (insuciente) ** F 1 6 5 % 8,30 50,00 41,70 Nvel B (suciente) *** F 1 3 3 1 5 6 32 18 13 44 % 20,00 60,00 60,00 20,00 100,00 13,60 72,70 40,90 29,50 100,00 2 9 5 3 9 100,00 55,60 33,30 100,00 Nvel A (excelente a bom) **** F %

Avaliao nal

Tipos de Estudos

*: No h evidncias. **: H evidncias, mas os estudos foram realizados h mais de 20 anos. ***: H evidncias de preciso, mas alguns esto abaixo de 0,60 ou tm coecientes altos, mas no foram calculadas para vrios grupos. ****: H evidncias de preciso e em vrios grupos.

43

V - Resultados

Quanto a estudos de preciso, encontramos, entre os desfavorveis, 5 instrumentos que apresentam o nvel B (suciente, ou seja, evidncia de preciso, mas com alguns resultados abaixo de 0,60), 12 com nvel C, ou seja, apresentam estudo, mas este superior a 20 anos, e 34 que tm o nvel D, ou seja, no apresentam evidncia de preciso. Entre os testes favorveis, encontramos 74 estudos de preciso, correspondentes a 44 instrumentos e 19 estudos para 9 instrumentos, avaliados com nvel A nesse requisito, ou seja, testes que apresentam evidncias de preciso com mais de um grupo. De acordo com a Tabela 10, observa-se, tambm, que, dos testes desfavorveis analisados, 23,5% possuem estudos de preciso, mas foram realizados h mais de 20 anos, e 15,7% apresentaram estudos de preciso satisfatrios (nvel B).

Estudos de Padronizao
Tabela 11: Sistema de correo e interpretao dos escores obtidos nos estudos referenciados norma ou em outros sistemas

Qualidade do Sistema de Correo e Interpretao dos Escores Obtidos nos Estudos Sistema Referenciado Norma e Outro Sistema Avaliao nal Sistema de Correo e Interpretao Nvel D (Insuciente)* F Caractersticas da amostra de padronizao Referenciado norma Desfavorvel Outro sistema Comparao de caractersticas sociodemogrcas Nmero de sujeitos do estudo de padronizao Embasamento terico do sistema Embasamento terico baseado em estudo de validade N 4 7 5 24 16,70 29,20 20,80 100,00 15 100,00 14 2 93,30 13,30 9 2 1 11 81,80 18,20 9,10 100,00 1 100,00 1 100,00 4 % 16,70 Nvel C (Insuciente)** F 7 % 46,70 Nvel B (Suciente)*** F 6 % 54,50 Nvel A (Excelente a Bom)**** F 1 % 100,00

44

V - Resultados

Qualidade do Sistema de Correo e Interpretao dos Escores Obtidos nos Estudos Sistema Referenciado Norma e Outro Sistema Avaliao nal Sistema de Correo e Interpretao Nvel D (Insuciente)* F Caractersticas da amostra de padronizao Referenciado norma Favorvel Comparao de caractersticas sociodemogrcas Nmero de sujeitos do estudo de padronizao Embasamento terico do sistema Outro sistema Embasamento terico baseado em estudo de validade N % Nvel C (Insuciente)** F % Nvel B (Suciente)*** F 39 1 42 5 5 48 % 81,30 2,10 87,50 10,40 10,40 100,00 Nvel A (Excelente a Bom)**** F 6 1 4 1 1 7 % 85,70 14,30 57,10 14,30 14,30 100,00

*: No h estudo, ou h, mas insuciente. **: H estudos, mas as datas de realizao so superiores a 15 anos. ***: Referncia norma: a amostra tem um nmero razovel de sujeitos e relata as caractersticas do grupo de referncia, permitindo uma apreciao da questo de representatividade. Outro sistema: pelo menos um estudo de validade sustentando as interpretaes. ****: Referncia norma: seleo aleatria de sujeitos, diversas normas em funo da idade, sexo, escolaridade, nvel cultural e/ou outras caractersticas relevantes, N>= 1000. Outro sistema: vrios estudos de validade sustentando as interpretaes.

A Tabela 11 apresenta a distribuio dos testes na nota que avalia a qualidade do sistema de correo e interpretao dos escores. Como esse sistema pode ser ou no referenciado norma, a tabela divide os instrumentos, fazendo essa diferenciao. Como dito anteriormente, os sistemas referenciados norma, mais comuns nos testes no-projetivos, quanticam atributos psicolgicos comparando os resultados do sujeito com resultados de grupos normativos. J existem testes que no usam esse sistema e apiam-se, basicamente, nos estudos de validade como uma parte dos testes projetivos. O que podemos observar que, entre os testes reprovados, 24 foram avaliados com o nvel D, ou seja, no h estudos, e 15 com nvel C, isto , h, mas so insucientes. Entre os referenciados norma, 4 apresentaram caractersticas da amostra e 4, as caractersticas da amostra com esse nvel de avaliao. Entre os que no so referenciados norma, 7 ou no apresentaram embasamento terico do sistema, ou apresentaram, mas so insucientes, e 5 apresentam embasamento terico baseado em estudos de validade insucientes, ou no apresentaram esses estudos . Com nvel C, tambm considerado insuciente por haver estudos, mas as datas de realizao serem superiores a 15 anos, encontramos 15 testes, dos quais 7 so nvel C pelas ca-

45

V - Resultados

ractersticas da amostra de padronizao e 14 esto com o nmero de sujeitos da amostra de padronizao inadequado. Entre os que no so referenciados norma, encontramos 2 com problemas no embasamento terico do sistema. Nenhum dos testes desfavorveis apresentou comparao de caractersticas sociodemogrcas. Nos nveis C e D, apenas pudemos encontrar instrumentos considerados reprovados. Obtiveram nvel B (referncia norma: a amostra tem um nmero razovel de sujeitos e relata as caractersticas do grupo de referncia, permitindo uma apreciao da questo de representatividade; outro sistema: pelo menos um estudo de validade sustentando as interpretaes) 11 testes desfavorveis e 48 favorveis. Entre os desfavorveis, referenciados norma, encontramos 6 que relatam as caractersticas da amostra de padronizao e 9 que apresentam o nmero de sujeitos do estudo de padronizao adequados. Entre os testes referenciados a outros sistemas, encontramos 2 que apresentam embasamento terico e 1 com embasamento terico baseado em estudo de validade (pelo menos um estudo de validade sustentando as interpretaes). Quando observamos o desempenho, nesse quesito, dos testes favorveis, encontramos, com o nvel B (referncia norma: a amostra tem um nmero razovel de sujeitos e relata as caractersticas do grupo de referncia, permitindo uma apreciao da questo de representatividade; outro sistema: pelo menos um estudo de validade sustentando as interpretaes), 39 testes que apresentam caractersticas da amostra de padronizao e 42 testes com nmero de sujeitos adequados, e um deles com comparao de caractersticas sociodemogrcas. Entre os que no so referenciados norma, encontramos 5 com embasamento terico e 5 com embasamento terico baseado em estudos de validade. Poucos instrumentos obtiveram o nvel A. Destes, inclusive, temos alguns que foram considerados desfavorveis. Distribuem-se da seguinte maneira: um desfavorvel, com caractersticas da amostra nvel A, e um com nmero de sujeitos do estudo de padronizao tambm nvel A (estes dois indicadores podem referir-se ao mesmo instrumento). Entre os referenciados a outro sistema de correo e interpretao, no encontramos nenhum teste, entre os desfavorveis. Na Tabela 11, observa-se que mesmo os testes considerados desfavorveis apresentam, em algum nvel, estudos de padronizao referenciados norma ou a outro sistema. Notese, no entanto, que, dos 51 testes desfavorveis, 47% no possuem ou possuem estudos de padronizao, mas so insucientes (nvel D).

46

V - Resultados

Tabela 12: Nmero de sujeitos dos estudos de padronizao pela natureza do teste
Tamanho da amostra Menor que 299 sujeitos Entre 300 a 999 sujeitos Entre 1000 a 5000 sujeitos Maior que 5000 sujeitos Total Freqncia Percentual Freqncia Percentual Freqncia Percentual Freqncia Percentual Freqncia Percentual Natureza do teste No-projetivo Projetivo 6 2 9,80 22,20 26 4 42,60 44,40 25 3 41,00 33,30 4 0 6,60 0,00 61 9 100,00 100,00 Total 8 11,40 30 42,90 28 40,00 4 5,70 70 100,00

Um dos quesitos para avaliar a adequao dos estudos normativos a quantidade de sujeitos que estes apresentam. Para vericar esse item, realizamos um levantamento dessa condio ou exigncia para um bom estudo. Ao observar a Tabela 12, encontramos os seguintes dados: Dos 70 testes, 11,4% apresentaram estudos com menos de 300 sujeitos. Entre 300 e 999 sujeitos, 42,9% dos instrumentos apresentaram o nmero de sujeitos dentro dessa faixa amostral. Entre 1000 sujeitos at 5000, 40% dos testes apresentaram essa referncia. Com mais de 5000 sujeitos, encontramos 5,7% referncias, todas relativas a testes no-projetivos. A diferena entre o nmero de sujeitos entre os testes projetivos e no-projetivos esperada, uma vez que muito trabalhoso realizar pesquisa com instrumentos projetivos, j que necessitam quase sempre de aplicaes individuais e, muitas vezes, bastante demoradas, precisando de um bom preparo por parte do prossional para aplicar tais instrumentos. Em resumo, dos manuais que apresentaram informaes sobre o tamanho da amostra no estudos de padronizao, 83,6% de testes no-projetivos e 77,7% de projetivos utilizaram, em suas pesquisas, de 300 a 5000 sujeitos.

47

V - Resultados

Estudos de Validade, Preciso e Padronizao por Perodos


Nas Tabelas 13, 14 e 15, esto dispostos os dados de 66 testes que informaram, em seus manuais, as datas referentes ao estudo de validade, 62 que apresentaram as datas referentes ao estudo de preciso e 68 que apresentaram as datas referentes ao estudo de padronizao. Essas tabelas indicam que, at 1984, existiam poucos estudos de validade, preciso e padronizao (16,7%, 17,7% e 19,1%, respectivamente). De 1985 a 1995, o nmero de estudos de validade, preciso e padronizao indicados nos manuais foram ainda menores (10,6%, 12,9% e 10,3%, respectivamente). De 1996 a 2004, perodo de oito anos, observa-se maior preocupao em inserir as informaes dos estudos de validade, preciso e padronizao nos manuais (72,7%, 69,3% e 70,6%, respectivamente). A situao era bastante diferente, ao se observar o perodo de 1972 (data que consta como sendo a da primeira publicao de Teste Psicolgico na amostra analisada) a 1995 (22 anos), quando havia pouca informao nos manuais sobre os estudos de validade, preciso e padronizao (27,3%, 30,6% e 29,4%, respectivamente). Esses dados, bem como os de estudo de validade, fazem-nos pensar que a comunidade cientca vem incorporando, cada vez mais, a necessidade de realizar pesquisas com os Testes Psicolgicos, havendo maior exigncia de instrumentos adequados para uso. Por outro lado, o avano da tecnologia, a familiaridade com computadores e programas de aplicao de estudos estatsticos podem, tambm, ter facilitado a incorporao dessa maior exigncia, resultando na realizao de estudos de Psicometria que incrementam a qualidade dos instrumentos de Avaliao Psicolgica.

48

V - Resultados

Tabela 13: Perodos de execuo dos estudos de validade por tipo de teste
Perodo At 1984 1985-1988 1989-1995 1996-2000 Total Freqncia Percentual Freqncia Percentual Freqncia Percentual Freqncia Percentual Freqncia Percentual Natureza do teste No-projetivo Projetivo 9 2 15,80 22,20 2 0 3,50 0,00 4 1 7,00 11,10 19 4 33,30 44,40 57 9 100,00 100,00 Total 11 16,70 2 3,00 5 7,60 23 34,80 66 100,00

Tabela 14: Perodos de execuo dos estudos de preciso por tipo de teste
Perodo At 1984 1985-1988 1989-1995 1996-2000 Aps 2000 Total Freqncia Percentual Freqncia Percentual Freqncia Percentual Freqncia Percentual Freqncia Percentual Freqncia Percentual Natureza do teste No-projetivo Projetivo 9 2 16,70 25,00 2 1 3,70 12,50 4 1 7,40 12,50 19 0 35,20 0,00 20 4 37,00 50,00 54 8 100,00 100,00 Total 11 17,70 3 4,80 5 8,10 19 30,60 24 38,70 62 100,00

49

V - Resultados

Tabela 15: Perodos de execuo dos estudos de padronizao pela natureza do teste
Perodo At 1984 1985-1988 1989-1995 1996-2000 Aps 2000 Total Freqncia Percentual Freqncia Percentual Freqncia Percentual Freqncia Percentual Freqncia Percentual Freqncia Percentual Natureza do teste No-projetivo Projetivo 12 1 20,70 10,00 2 0 3,40 0,00 3 2 5,20 20,00 19 4 35,80 40,00 22 3 37,90 30,00 58 10 100,00 100,00 Total 13 19,10 2 2,90 5 7,40 23 33,80 25 36,80 68 100,00

Anlise de Consistncia Interna do Formulrio de Avaliao dos Testes


Um ponto importante que pode trazer informaes sobre a qualidade do processo e avaliao refere-se consistncia do instrumento usado para avaliar os testes. O formulrio de avaliao coleta vrias informaes sobre os testes, sendo algumas mais objetivas, como, por exemplo, se o manual relata estudos de validade, mas h , tambm, outras menos objetivas, como a valorao se a fundamentao terica excelente, suciente ou insuciente. Pode-se questionar se todas essas informaes formam um conjunto coerente que, quando agregadas, passam a indicar nveis crescentes de qualidade que, quanto maiores, maior a chance de o instrumento em anlise ser considerado favorvel. Para isso, vericamos a consistncia interna dos principais indicadores selecionados do instrumento, descritos na Tabela 16.

50

V - Resultados

Tabela 16: Indicadores do formulrio, selecionados para anlise de consistncia interna, e estatsticas descritivas para os 106 testes analisados
Aspecto avaliado
1. Qualidade geral do manual 2. Qualidade geral do instrumento 3. Qualidade da fundamentao terica 4. Qualidade dos estudos de validade 5. Qualidade dos estudos de preciso 6. Qualidade do sistema de correes

Itens do Formulrio
Item A16 1(insuciente) a 4 (excelente a bom). * Item B1 1(insuciente) a 4 (excelente a bom). * Item B3 1(insuciente) a 4 (excelente a bom). * Item B5.5 1(insuciente) a 4 (excelente a bom). Item B6.3 1(insuciente) a 4 (excelente a bom). Item B7.6 1(insuciente) a 4 (excelente a bom). Item A15 Variando de 0 (nenhuma informao) a 1 (100% das informaes) em razo do nmero de itens de informao presentes no manual que so indagados nesse indicador. Nos testes estrangeiros, considerou-se uma proporo de 12 itens, e, nos testes brasileiros, 9 itens. Item B5 Variando de 0 (nenhum estudo) a 1 (100% dos tipos indagados) em razo da diversidade de estudos de validade no Brasil. Esse indicador representa uma proporo de 9 possveis tipos de evidncia (correlao com outros testes, diferena entre grupos etc.). Item B6 Variando de 0 (nenhum estudo ) a 1 (100% dos tipos de evidncia de preciso) em razo da diversidade de estudos de preciso no Brasil. Esse indicador representa uma proporo de 5 possveis indicadores, dos quais 4 indicam diferentes tipos de evidncia, conforme o item B6.1 (equivalncia, consistncia etc.), e indicando se os coecientes so calculados para diferentes grupos de sujeitos, como descrito no item B6.2. Item B7 Variando de 0 (nenhuma informao) a 1 (100% das informaes) em razo da qualidade das informaes sobre o sistema de interpretao. Refere-se ao nmero de respostas sim aos itens B7.1 - B7.5. Alm disso, criou-se um indicador associado ao nmero de sujeitos na amostra de padronizao, obedecendo ao seguinte critrio: 0,25 para N<299; 0,50 para N entre 300-999; 0,75 para N entre 1000-5000 e 1 para N>5000. Esse item, portanto, indica a proporo de 6 itens ligados qualidade do sistema de interpretao dos escores.

Mdia
3,03 3,57 3,11 2,46 2,30 2,48

Desvio Padro
0,80 0,57 0,68 1,21 1,03 0,93

7. Caractersticas gerais das informaes do manual

0,81

0,21

8. Quantidade de estudos de validade

0,20

0,19

9. Quantidade de estudos de preciso

0,23

0,22

10. Quantidade de estudos relacionados ao sistema de interpretao.

0,33

0,17

*: Essas variveis possuem trs nveis de avaliao, cujos valores para as anlises variaram de 2 a 4.

51

V - Resultados

Como se observa na Tabela 16, os itens referentes validade, preciso e padronizao so os indicadores mais baixos na amostra analisada, tanto nos aspectos quantitativos quanto nos qualitativos. Isso mostra que, em muitos manuais, esses estudos so inexistentes e pouco diversos. Esses so os aspectos mais crticos dos instrumentos, como tem sido apontado pela comunidade cientca. Em seguida, o indicador referente ao sistema de correo tambm apresenta baixa pontuao. Os itens com maior pontuao referem-se qualidade do manual e ao da impresso dos instrumentos. Nesses itens, a mdia situa-se ao redor do valor suciente. Tabela 17: Matriz de correlao entre os indicadores 1
1. Qualidade geral do manual 2. Qualidade geral do instrumento 3. Qualidade da fundamentao terica 1,000 0,593 0,730 1,000 0,447 0,528 0,471 0,489 0,574 0,391 0,329 1,000 0,536 0,428 0,365 0,619 0,458 0,479 1,000 0,814 0,655 0,695 0,729 0,634 1,000 0,697 0,656 0,552 0,768 1,000 0,535 0,484 0,505 1,000 0,599 0,619 1,000 0,635 1,000

10

4. Qualidade dos estu0,685 dos de validade 5. Qualidade dos estu0,571 dos de preciso 6. Qualidade do sistema de correes 7. Caractersticas gerais das informaes do manual 8. Quantidade de estudos de validade 9. Quantidade de estudos de preciso 10. Quantidade de estudos de relacionados ao sistema de interpretao 0,521 0,751 0,610 0,581

0,507

0,487

0,447

0,447

0,446

0,581

0,519

0,346

0,428

1,000

52

V - Resultados

Tabela 18: Correlao item-total dos indicadores do instrumento


Alfa de Cronbach se o item for deletado 0,845

Indicadores

Correlao item-total

1. Qualidade geral do manual

0,772

2. Qualidade geral do instrumento 3. Qualidade da fundamentao terica 4. Qualidade dos estudos de validade 5. Qualidade dos estudos de preciso 6. Qualidade do sistema de correes 7. Caractersticas gerais das informaes do manual 8. Quantidade de estudos de validade 9. Quantidade de estudos de preciso 10. Quantidade de estudos relacionados ao sistema de interpretao

0,608

0,861

0,610

0,860

0,841

0,846

0,792

0,845

0,695

0,854

0,796

0,869

0,693

0,872

0,714

0,870

0,593

0,875

Como pode ser observado na Tabela 17, as correlaes entre os indicadores so, na sua maioria, de moderadas para altas. A mdia das correlaes entre os itens foi de 0,55. A menor foi de 0,323 e a maior, de 0,81. Isso se reete nos altos ndices de correlao itemtotal mostrados na Tabela 18. Como resultado dessa associao entre os itens, observamos um alto coeciente de consistncia interna do instrumento de 0,93 (Alfa de Cronbach). Conforme a Tabela 18, todos os itens foram importantes para a consistncia da escala, j que a eliminao de qualquer um deles acarretaria a diminuio do Alfa.

53

V - Resultados

Nota Global de Qualidade dos Testes Psicolgicos Avaliados


Foi calculada uma nota para cada instrumento (ESC_G), considerando os dez itens avaliados descritos na Tabela 16. Essas notas variam de 0 a 10 e indicam o nvel global de qualidade, levando em conta os 10 itens descritos, isto , para cada teste, somaram-se os pontos obtidos nos 10 indicadores, compondo-se uma nota global indicativa da qualidade. Na Tabela 19, esto dispostas as estatsticas descritivas gerais, calculadas para os 106 testes analisados. Como pode ser observado, as notas variaram de 2,69 a 8,88, com mdia 5,8. Tabela 19: Estatsticas descritivas da Nota Global de Qualidade dos testes
N ESC_G 106 Mnimo 2,69 Mximo 8,88 Mdia 5,80 Desvio Padro 1,65

Foi calculada, tambm, a correlao entre essas notas e a avaliao nal do instrumento. Os testes desfavorveis receberam a pontuao zero, e os favorveis, 1, na varivel referente avaliao nal. A correlao entre a Nota Global de Qualidade e a avaliao nal foi de 0,88 (N=106, p < 0,001). Pode-se concluir, ento, que os indicadores do formulrio possuem alta coerncia e, quando agregados, compem uma escala que indica a qualidade dos instrumentos, associando-se avaliao nal da condio de favorvel. De fato, uma anlise ROC indica que, se utilizado o ponto de corte 5,78, pode-se identicar 100% dos testes favorveis, com uma proporo de falsos positivos de aproximadamente 6%

54

VI - Consideraes Finais

Jos Carlos Tourinho e Silva e Gislene Maia de Macedo

A realizao do trabalho de avaliao dos Testes Psicolgicos pelo Conselho Federal de Psicologia representou um avano concreto em, pelo menos, trs aspectos. O primeiro diz respeito efetivao de um trabalho pioneiro que nenhum outro pas teve condio de pr em prtica. O segundo que, a partir da Resoluo CFP n 02/2003, foi possvel operacionalizar critrios cientcos para avaliar as condies de uso dos Testes Psicolgicos. Hoje, possvel relatar quais so as reais condies de utilizao dos instrumentos avaliados com base em referncias conveis e dedignas. O terceiro aspecto que a ao desencadeou um processo interminvel de avaliao dos testes. O CFP tem recebido novos testes e as avaliaes esto em andamento. A ao no foi pontual, contnua. Por outro lado, tambm foram detectados dois fatores principais, que resultaram em uma avaliao desfavorvel para 48% dos testes: falta de estudos de validade e de preciso. Pode-se notar, nos resultados apresentados, que cerca de 30% dos testes com avaliao desfavorvel no apresentaram nenhum estudo de validade. Isso de grande relevncia, porque nos leva a reetir sobre qual a real importncia dos critrios mnimos de cienticidade dos instrumentos, tanto para quem os utiliza como para quem os formula. claro que, no caso dos 52% dos Testes Psicolgicos com avaliao favorvel, os autores se preocuparam e cuidaram dos estudos de validade. Atualmente, encontram-se Testes Psicolgicos muito bem elaborados e que atendem a todos os requisitos mnimos. Mesmo assim, no se pode ignorar o alto ndice de testes que desconsideraram esse critrio bsico, fato que deve servir de referncia para o psiclogo escolher melhor os instrumentos que utilizar no seu trabalho. Outro ponto que vale ser ressaltado como anlise geral da avaliao dos testes o aumento do nmero de estudos e de novos testes bem formulados com o passar do tempo. interessante observar que, a partir da dcada de 90, os psiclogos comearam a organizar-se em torno da produo de pesquisa sobre o tema. Nesse perodo, foi criada a Cmara Interinstitucional de Avaliao Psicolgica e fundados o Instituto Brasileiro de Avaliao Psicolgica IBAP e a Sociedade Brasileira de Rorschach e Outros Mtodos Projetivos SBRo. Tais fatos coincidem com o aumento das publicaes de novos instrumentos e das evidncias de mais estudos de validade, indicando que a organizao dos prossionais e pesquisadores da rea pode ter contribudo para o aprimoramento da qualidade dos Testes Psicolgicos. A tendncia, portanto, de que os instrumentos alcancem nveis ainda maiores de excelncia, desde que as entidades, as universidades e a categoria estejam cada vez mais integradas com os avanos da produo cientca e com a prpria demanda social.

55

VI - Consideraes Finais

Note-se, no entanto, que a questo dos Testes Psicolgicos no Brasil desencadeia uma srie de reexes sobre a imagem social da Psicologia e o compromisso social da sua prtica. Sabe-se que, diariamente, so inmeras as situaes em que o processo de Avaliao Psicolgica afeta a vida das pessoas (i. e. seleo de pessoal, concursos pblicos, processos judiciais, avaliao do candidato obteno da CNH). Isso quer dizer que, numa Avaliao Psicolgica em que o prossional opta pelo uso de Testes Psicolgicos, tais instrumentos precisam atender, no mnimo, aos critrios de condies de uso, caso contrrio, os resultados poderiam no reetir a situao dos sujeitos em avaliao. Nesse sentido, a escolha adequada dos instrumentos, aliada ao preparo do prossional, resulta em maior credibilidade na prestao dos servios populao. A compreenso do que vem a ser Avaliao Psicolgica tambm merece destaque. A Resoluo CFP n 007/2003 deixa claros o conceito e os tipos de documentos decorrentes da Avaliao Psicolgica. Portanto, o uso do Teste Psicolgico, isoladamente, no pode ser entendido como Avaliao Psicolgica em si. O Teste Psicolgico um dos instrumentos que pode ajudar a compor todo o processo. O foco o compromisso social da Psicologia com a sade da populao, e o que pauta a nossa ao a tica prossional. Por isso mesmo, o Cdigo de tica do Psiclogo est mudando e sendo atualizado para acompanhar as demandas sociais do nosso trabalho, demandas essas que colocam aos psiclogos o desao de serem protagonistas tambm nas questes da Avaliao Psicolgica e dos Testes Psicolgicos. A avaliao dos Testes Psicolgicos, que comeou de forma pontual, repercutiu em todo o Brasil. uma ao legtima e possui credibilidade diante dos rgos pblicos, da populao e da categoria prossional em questo. Conta com a participao de entidades e instituies formadoras para discutir e produzir novas referncias para a rea do ensino, da pesquisa e da prtica prossional. Atende as indicaes da categoria contempladas nos congressos nacionais da Psicologia e no Frum Nacional de Avaliao Psicolgica. Recongura o cenrio dos Testes Psicolgicos e aponta para a incessante necessidade de qualicao da prosso. O V Congresso Nacional da Psicologia, realizado em junho de 2004, em Braslia, apontou, como diretriz, que o processo de qualicao e validao dos testes, que se iniciou, deve prosseguir, e que o debate seja implementado observando as regies onde o processo no chegou de forma to intensa, para que o instrumento seja fortalecido e ganhe verdadeira legitimidade. necessrio, ainda, delimitar as interfaces entre os Testes Psicolgicos e outros testes utilizados por prossionais de reas ans. As comisses de Avaliao Psicolgica do Sistema Conselhos de Psicologia e o Frum de Entidades da Psicologia devem criar espaos de discusso sobre esse assunto e construir sadas para a questo, respeitando as competncias das demais prosses. Psicologia, mantm-se o desao de, democrtica e legitimamente, promover a superao constante de sua prxis.

56

VII - Referncias

American Educational Research Association, American Psychological Association & National Council on Measurement in Education. Standards for Educational and Psychological Testing. New York: American Educational Research Association, 1999. ANASTASI, A. & URBINA, S. Testagem psicolgica. Porto Alegre: Artes Mdicas, 2000. Canadian Psychological Association . Guidelines for educational and psychological testing. Ontrio, CA: CPA, 1996. Disponvel on-line em: http://www.cpa.ca/guide9.html EXNER, J. E. . The Rorschach: a comprehensive system. Volume 1: Basic Foundations. New York: John Wiley & Sons, 1993. International Test Commission. ITC guidelines on adapting tests. International Test Commission. 2000. Disponvel on-line em: http://www.intestcom.org. MUNIZ, J. La validacin de los tests. Metodologa de las cincias del comportamiento, 5 (2), 2004, pp. 121-141. PRIETO, G. & MUIZ, J. Un modelo mara evaluar la calidad de los tests utilizados en Espaa. http://www.cop.es/tests/modelo.htm, 04/12/00.

57

VIII - Leituras Recomendadas

ANASTASI, A. & URBINA, Ana, S. Testagem psicolgica. Porto Alegre: Artmed, 2000. ANDERSON, H.H.; ANDERSON, G.L. Tcnicas projetivas do diagnstico psicolgico. So Paulo: Mestre Jou, 1967. CHABERT, C. Psicanlise e mtodos projetivos. Traduo de lvaro Jos Lel e Eliane Maria Almeida Costa e Silva. So Paulo: Vetor, 2004. CRONBACH, Lee J. Fundamentos da testagem psicolgica. Porto Alegre: Artes Mdicas, 1996. CUNHA, Jurema Alcides . Psicodiagnstico-V . Porto Alegre: Artmed, 2000. PASQUALI, L. Instrumentos psicolgicos: manual prtico de elaborao. Braslia: LabPAM/ IBAPP, 1999. PASQUALI, L. Psicometria: teoria e aplicaes. Braslia: Editora Unb, 1997. TAVARES, M. (2003). Validade clnica. Pisco-USF, 8 (2), 125-136. WECHSLER, Solange Muglia; GUZZO, Raquel Souza Lobo (org). Avaliao psicolgica: perspectiva internacional. So Paulo: Casa do Psiclogo, 1999.

58

XI - Anexo

Anexo1: Relao dos Testes Psicolgicos utilizadas na amostra


Testes Psicolgicos 16 PF Quinta Edio AC-15 (Ateno Concentrada) ACRE (Teste de Ateno Concentrada, Rapidez e Exatido) Avaliao da Criatividade por Figuras e Palavras: Testes de Torrance Bateria Fatorial CEPA Bateria K2: TAC, TDO, TES, TRM BBT (Teste de Fotos de Prosso) BFM 1 (Bateria de Funes Mentais para Motorista Testes de Ateno) BFM 2 (Bateria de Funes Mentais para Motorista Testes de Memria) BFM-3 (Bateria de Funes Mentais para Motorista Teste de Raciocnio Lgico) BFM-4 (Bateria de Funes Mentais para Motorista Teste de Ateno Concentrada) BGFM1 (Bateria Geral de Funes Mentais Ateno Difusa) BPR-5 (Bateria de Provas de Raciocnio) BRD (Bateria de Raciocnio Diferencial) BTAGII (Bateria de Testes de Aptides Gerais II) C. A. T. A (Teste de Apercepo Infantil com Figuras de Animais) C. A. T. - H (Teste de Apercepo Infantil Figuras Humanas) C. A. T. - S (Teste de Apercepo Infantil Suplemento) CPS (Escalas de Personalidade de Comrey) Cubos de Kohs D48 (Teste Domins) DADAHIE (Dominncia, Agressividade, Deferncia, Autonomia, Humildade, Intracepoextracepo e Encocatxis-exocatxis) DHP (Teste Diagnstico de Habilidades do Pr-escolar) EFN (Escala Fatorial de Ajustamento Emocional/Neuroticismo) EMEP (Escala de Maturidade para a Escolha Prossional) EPP (Escala de Preconceito Prossional) Escala de Maturidade Mental Colmbia Escala Reduzida do Autoconceito Escalas Beck: Inventrio de Depresso Beck, Inventrio de Ansiedade Beck, Escala de Desesperana Beck, Escala de Ideao Suicida Beck Escore de Deteriorao do Desenho da Pessoa ESE (Escala de Sociabilidade e Emotividade) ESI (Escala de Stress Infantil) Figuras Complexas de Rey

59

IX - Anexo

Testes Psicolgicos G-36 (Teste No-verbal de Inteligncia) G-38 (Teste No-verbal de Inteligncia) GEIST (Inventrio Ilustrado de Interesses) HTP (Casa rvore Pessoa, Manual e Guia de Interpretao) HTP (Casa-rvore-Pessoa) e Famlia IAT (Inventrio da Atitude de Trabalho) IDATE (Inventrio de Ansiedade Trao-estado) IDATE-C (Inventrio de Ansiedade Trao-estado) IFP (Inventrio Fatorial de Personalidade) IFP-R (Inventrio Fatorial de Personalidade) IHS (Inventrio de Habilidades Sociais) Inventrio de Expectativas e Crenas Pessoais acerca do lcool Inventrio de Interesses de L.L. Thurstone Inventrio de Interesses Kuder Inventrio e Auto-anlise dos Interesses Prossionais ISSL (Inventrio de Sintomas de Stress para Adultos de Lipp) Matrizes Progressivas Escala Avanada Matrizes Progressivas Coloridas de Raven Escala Especial Matrizes Progressivas de Raven Escala Geral Sries A, B, C, D e E Mtodo de Rorschach Sistema Compreensivo Mtodo Gohmes O Desenvolvimento do Comportamento da Criana no Primeiro Ano de Vida: Padronizao de uma Escala Para a Avaliao e o Acompanhamento OPK (Teste de Agradabilidade Bsica) PMK (Psicodiagnstico Miocintico) Prova e Nvel Mental Psicnica Teste Aleatorizado 017 Programador QSG (Questionrio de Sade Geral de Goldberg) QUATI (Questionrio de Avaliao Psicolgica Verso II) Questionrio Desiderativo - CABRERA Questionrio Desiderativo - NIJAMKIN e BRAND R-1 (Teste No-verbal de Inteligncia) R-2 (Teste No-verbal de Inteligncia para Crianas) RAS (Escala Rathus de Assertividade RF (Teste de Reproduo de Figuras) RLN (Teste de Raciocnio Lgico-numrico) Rorschach Clnico RTLO (Teste Raven de Operaes Lgicas) S. A. T. (Teste de Apercepo Temtica para Idosos e Adultos) SDT (Teste do Desenho de Silver) STAXI (Inventrio de Expresso de Raiva como Estado e Trao)

60

IX - Anexo

Testes Psicolgicos T. A. T. (Teste de Apercepo Temtica) TAM (Teste de Aptido Mecnica) TCA Visual (Teste Computadorizado de Ateno: Verso Visual) TCI (Teste de Capacidades Intelectuais) TCTM (Teste de Compreenso Tcnico-mecnico) TDAH (Escala de Transtorno do Dcit de Ateno / Hiperatividade) TDE (Teste de Desempenho Escolar) TEI (Teste Equicultural de Inteligncia) Teste AC Teste D.70 Teste D2 (Ateno Concentrada) Teste das Cores Teste das Fbulas Teste das Linhas: Ateno/Percepo Visual de Orientao Teste de Frustao Teste de Habilidade Mental Teste de Maturidade para Leitura Teste de Prontido para Leitura Teste de Sondagem Intelectual Teste de Wartegg Teste do Catlogo de Livros Bessa-Tramer Teste dos Crculos Teste dos Conjuntos Emparelhados (Sondagem de Habilidades) Teste dos Relgios (B e C) Teste Palogrco Teste Zulliger (Freitas) TMV (Teste de Memria Visual) TOP (Testes de Organizao Percepto-motora) TPO (Teste Projetivo MEGA) TRAD (Teste de Raciocnio Analgico Dedutivo) V-47 (Teste Verbal de Inteligncia) Z-Teste (Teste de Zulliger) - VAZ WISC-III (Escala de Inteligncia Wechsler para Crianas)

61

Conselho Federal de Psicologia

Você também pode gostar