CONCEITOS

Princpios de elaborao de escalas psicolgicas

Luiz Pasquali 1

RESUMO A teoria e o modelo de elaborao de escalas psicolgicas descritas aqui so aplicveis construo de testes psicolgicos de aptido, de inventrios de personalidade, de escalas psicomtricas de atitude e do diferencial semntico. O modelo baseia-se nos trs grandes plos ou procedimentos, que chamaremos de procedimentos tericos, procedimentos empricos (experimentais) e procedimentos analticos (estatsticos). O primeiro plo enfoca a questo da teoria, que deve fundamentar qualquer empreendimento cientfico, no caso a explicitao da teoria sobre o construto ou objeto psicolgico para o qual se quer desenvolver um instrumento de medida, bem como a operacionalizao do construto em itens. Esse plo explicita a teoria do trao latente, bem como a explicitao dos tipos, categorias, de comportamentos que constituem uma representao adequada do mesmo trao. A operacionalizao do construto segue 12 regras de construo de itens. O plo emprico ou experimental define as etapas e tcnicas da aplicao do instrumento piloto e da coleta da informao para proceder avaliao da qualidade psicomtrica do instrumento. O plo analtico estabelece os procedimentos de anlises estatsticas a serem efetuadas sobre os dados para levar a um instrumento vlido, preciso e, se for o caso, normatizado. Unitermos: Construo de Escalas; Procedimentos Tericos; Procedimentos Experimentais; Procedimentos Analticos ABSTRACT Principles of Elaboration of Psychological Scales The theory and the model of psychological scale construction presented in this paper are applicable to psychological instruments, such as aptitude tests, personality inventories, attitude scales, and semantic differential. The model is based upon three major pillars or procedures, which we may call the theoretical pole, the empirical (experimental) pole, and the analytical (statistical) pole. The theoretical procedures deal with the theory, which should bases any scientific endeavor; in the present case, this means the explication of the theory of the constructs or the psychological object, for which one is willing to build a measurement instrument. This pole will elaborate the theory of the constructs, as well as the behavior categories in which such constructs manifest themselves. Twelve rules of thumb will guide the construction of the items in this phase. The experimental procedures will define the steps needed for the adequate gathering of the empirical evidence necessary to demonstrate the psychometric qualities of the measuring instrument. The analytical procedures, in turn, will define the appropriate statistical analyses needed to statistical demonstrate these psychometric properties of the instrument, as well as the eventual standardization of it. Key words: Scale Construction; Theoretical Procedures; Experimental Procedures; Analytical Procedures

INTRODUO

A teoria e os procedimentos de construo de escalas psicolgicas esto ilustrados na figura 1. O modelo, que detalhado na figura 1, baseia-se nos trs grandes plos, que chamaremos de procedimentos tericos, procedimentos empricos (experimentais) e procedimentos analticos (estatsticos). O presente artigo ir focalizar unicamente os procedimentos tericos, que so pouco abordados na literatura da avaliao psicolgica, enquanto existem abundantes tratados sobre os procedimentos tanto experimentais e mais ainda sobre os procedimentos analticos (em livro a ser brevemente lanado, todos esses procedimentos sero amplamente abordados, ver Pasquali, L. org.). O plo terico na elaborao de instrumentos psicolgicos de medida enfoca a questo da teoria que deve fundamentar qualquer empreendimento cientfico, no caso a explicitao da teoria sobre o construto ou objeto psicolgico para o qual se quer desenvolver um instrumento de medida, bem como a operacionalizao do construto em itens. Esse plo explicita a teoria do trao latente, bem como os tipos, categorias, de comportamentos que constituem uma representao adequada do mesmo trao. Os procedimentos tericos devem ser elaborados para cada instrumento, dependendo, portanto, da literatura existente sobre o construto psicolgico que o instrumento pretende medir. A teoria , infelizmente ainda, a parte mais fraca da pesquisa e do conhecimento psicolgicos, o que tem como conseqncia a precariedade dos atuais instrumentos psicomtricos de medida nessa rea. Tal ocorrncia explica, em parte, porqu os psicometristas sistematicamente fogem da explicitao de uma teoria preliminar e iniciam a construo do instrumento pela coleta intuitiva e mais ou menos aleatria de uma amostra de itens, que dizem possuir "face validity", isto , que parecem cobrir o trao para o qual eles querem elaborar o instrumento de medida. Embora isto no parea muito cientfico, infelizmente o que ocorre com mais freqncia na construo de instrumental psicolgico. A inexistncia de teorias slidas sobre um construto no deve ser desculpa para o psicometrista fugir de toda a especulao terica sobre ele. obrigao dele levantar, pelo menos, toda a evidncia emprica sobre o construto e procurar sistematiz-la e, assim, chegar a uma miniteoria sobre ele, que o possa guiar na elaborao de um instrumento de medida para o tal construto. Este teorizar implica em resolver algumas questes bsicas que permitem, ento, se poder enveredar para a construo adequada de um instrumento de medida dos construtos assim elaborados. Especificamente, precisa-se estabelecer a dimensionalidade do construto, definir constitutiva e

operacionalmente o mesmo e, no final, operacionaliz-lo em tarefas comportamentais.

A DIMENSIONALIDADE

A dimensionalidade do atributo diz respeito sua estrutura interna, semntica. O atributo constitui uma unidade semntica nica ou ele uma sntese de componentes distintos ou at independentes? Deve ele ser concebido como uma dimenso homognea ou deve-se nele distinguir aspectos diferenciados? A resposta a este problema obviamente deve vir ou da teoria sobre o construto e/ou dos dados empricos disponveis sobre ele, sobretudo dados de pesquisas que utilizaram a anlise fatorial na verificao dos dados, pois o que est em jogo aqui a questo de decidir se o construto uni ou multifatorial. Os fatores que compem o construto (o atributo) so o produto deste passo. Um exemplo: seja o processo cognitivos o objeto psicolgico a ser pesquisado; a propriedade deste objeto psicolgico a ser estudado a inteligncia verbal. Pergunta-se: esta inteligncia verbal um construto nico ou deve-se distinguir nele componentes diferentes? Os dados empricos disponveis mostram que a inteligncia verbal composta por, pelo menos, dois fatores bem distintos e praticamente independentes, a saber: compreenso e fluncia verbais. Consequentemente, se quiser pesquisar a inteligncia verbal e construir para tal um instrumento de medida, no se poder prescindir de conhecer e levar em conta o fato de que essa inteligncia apresenta dois fatores distintos, cuja medida de ambos exige instrumentos diferentes. Claro, o pesquisador pode decidir-se por estudar somente a inteligncia verbal compreendida sob seu aspecto de compreenso verbal e prescindir de se preocupar com a fluncia verbal. Mas, neste, caso o atributo de interesse de estudo no mais a inteligncia verbal e sim a compreenso verbal. A questo da dimensionalidade constitui, talvez, o ponto mais crtico na elaborao dos instrumentos psicolgicos, porque toda esta parte resulta essencialmente da teoria psicolgica, a qual concebe, define e estrutura os construtos psicolgicos. A tarefa da construo da teoria psicolgica no tarefa especfica do psicometrista e sim do psiclogo terico. O psicometrista deveria poder contar com essa teoria e com base nela fundamentar a construo dos instrumentos de medida. A existncia de teorias ou fantasias as mais variadas sobre praticamente qualquer construto em Psicologia, torna, a tarefa do psicometrista, quase uma tragdia quando quer construir instrumentos para medir construtos sobre os quais os psiclogos no se entendem. Dessa sorte, o psicometrista acaba decidindo-se em construir um instrumento para medir um construto concebido segundo algum psiclogo. E ali existe uma legio enorme de psiclogos tericos, desde os behaviorista at os dialticos, que falam linguagens quase totalmente estranhas um em relao

ao outro. Infelizmente esta a situao da teoria psicolgica atual. Para caricaturar, imagine o seguinte: um fsico vai construir um instrumento para medir o comprimento de objetos fsicos. Mas, se para poder efetuar tal empreendimento, ele tivesse que decidir sobre "bem, comprimento entendido segundo quem?" Tal pergunta careceria de sentido e seria ridcula fosse ela feita sobre comprimento ou outras propriedades da matria (pelo menos, na sua grande maioria). Mas, no caso do psicometrista, tal pergunta infelizmente corriqueira, qualquer que seja o construto que ele queira estudar e medir, o que vem mostrar o estado primitivo em que vive a teoria psicolgica. Precariedade da teoria psicolgica a principal responsvel pela fuga, por parte dos psicometristas, de basear a construo dos instrumentos psicolgicos numa teoria prvia e test-los em seguida atravs da metodologia cientfica. Essa fuga permite que o psicometrista parta de uma coleo atabalhoada de itens para, em seguida, ver que eles esto medindo alguma coisa psicologicamente relevante. Esse estado de coisas deveria e deve obrigar o psicometrista a expor ou elaborar uma miniteoria sobre o que entende pelo construto que pretende medir. Felizmente, j existe razovel abundncia de dados empricos sobre muitos construtos psicolgicos, com base nos quais o psicometrista poder desenvolver uma miniteoria do construto, a qual ir guiar a construo do seu instrumento de medida. Os dados empricos que sero coletados por meio do instrumento assim construdo ir decidir se sua miniteoria tem ou no alguma consistncia. Isso no uma tragdia, a prpria lgica da pesquisa emprica, isto , a verificao emprica que pode ou no confirmar a validade de uma teoria: a verdade cientfica sempre relativa, nunca ser um dogma, e portanto sempre reformvel.

A DEFINIO DOS CONSTRUTOS

Decidida a dimensionalidade dos construtos, preciso conceitu-los de forma detalhada, novamente baseando-se na literatura pertinente, nos peritos da rea e na prpria experincia. O problema deste passo , portanto, a conceituao clara e precisa dos fatores para os quais se quer construir o instrumento de medida. A tarefa aqui dupla, tendo como resultado dois produtos, a saber: as definies constitutivas e as definies operacionais dos construtos. 1. A Definio Constitutiva Um construto definido por meio de outros construtos representa uma definio constitutiva. Nesse caso, o construto concebido em termos de conceitos prprios da teoria em que ele se insere. Definio constitutiva a que tipicamente aparece como definio de termos em dicionrios e enciclopdias:

os conceitos so ali definidos em termos de outros conceitos; isto , os conceitos, que so realidades abstratas, so definidos em termos de realidades abstratas. Por exemplo, se a inteligncia verbal for definida como a "capacidade de compreender a linguagem", estamos diante de uma definio constitutiva, porque capacidade de compreender constitui uma realidade abstrata, um construto, um conceito. As definies constitutivas so de extrema importncia no contexto da construo dos instrumentos de medida, porque elas situam o construto, exata e precisamente dentro da teoria desse construto, dando, portanto, as balizas e os limites que ele possui. Assim, se definida a assertividade, como a capacidade de dizer no, a capacidade de expressar livremente sentimentos positivos e negativos, a capacidade de expor idias sem receio, etc., estamos dando os limites semnticos que este conceito deve respeitar dentro da teoria de assertividade que ser utilizada para a construo do instrumento que o vai medir. Definies dessa natureza impem limitaes definidas sobre o que se deve explorar quando o construto estiver sendo medido, limitaes no somente em termos de fronteiras que no podem ser ultrapassadas, porm, mais ainda, em termos de fronteiras que devem ser atingidas. De fato, normalmente um instrumento que mede um construto no chega a cobrir toda a amplitude semntica de um conceito. Assim, boas definies constitutivas vo permitir em seguida avaliar a qualidade do instrumento, que mede o construto em termos do quanto de sua extenso semntica coberta pelo instrumento, surgindo da instrumentos melhores e piores medida que medem mais ou menos da extenso conceitual do construto, extenso essa delimitada pela definio constitutiva desse mesmo construto. 2. A Definio Operacional Com as definies constitutivas estamos ainda no terreno da teoria, do abstrato. Um instrumento de medida j uma operao concreta, emprica. A passagem do terreno abstrato para o concreto precisamente viabilizada pelas definies operacionais dos construtos. Este , talvez, o momento mais crtico na construo de medidas psicolgicas, pois aqui que se fundamenta a validade desses instrumentos; aqui que se baseia a legitimidade da representao emprica, comportamental, dos traos latentes (os construtos). Duas preocupaes so relevantes e decisivas neste momento: 1) as definies operacionais dos construtos devem ser realmente operacionais e 2) devem ser o mais abrangente possvel. Primeiramente, as definies operacionais devem ser realmente operacionais. Esta tautologia proposital, porque se peca demais neste particular. Uma definio de um construto operacional quando o mesmo definido, no mais em termos de outros construtos, mas em termos de operaes concretas, isto , de comportamentos fsicos atravs dos quais o tal construto se expressa.

Assim, se inteligncia verbal for definida como a "capacidade de compreender uma frase" ou, mesmo "compreender uma frase", estamos diante de uma definio constitutiva e no operacional. Isto porque compreender no um comportamento, mas um construto. Seria uma definio operacional de compreenso da frase, reproduzir a frase com outras palavras. Mager (1981) d uma frmula simples e perfeita para decidir se a definio ou no operacional. Ela operacional se voc puder dizer pessoa: "v e faa...". Assim, se inteligncia verbal for definida como compreender uma frase, o que que se deve pedir pessoa para fazer, pois "v e compreenda..." no lhe diz nada que ele possa fazer. Ao passo que dizer "v e reproduza a frase" indica claramente o que a pessoa deve fazer, como deve se comportar, e, portanto, esta ltima uma definio operacional, pois ela define comportamentos que devem ocorrer, enquanto compreender a frase no indica nenhum comportamento concreto especfico a ser exibido por parte da pessoa. Em segundo lugar, a definio operacional deve ser o mais abrangente possvel do construto. Nenhuma definio operacional esgota a amplitude semntica de um construto; assim, podem haver definies operacionais mais ou menos abrangentes do mesmo construto e essa grandeza de abrangncia, evidentemente, fala da boa, m ou pior qualidade da definio operacional, o que vai obviamente repercutir sobre o instrumento de medida do construto, que ser baseado nesta definio operacional. Alis, uma definio operacional pode ser perfeitamente operacional e tambm equivocada ou errada, quando esta no cobrir nada do espao semntico prprio do construto. Assim definir inteligncia verbal como "desenhar crculos na areia" constitui uma definio perfeitamente operacional, pois todo o mundo entende quando se manda desenhar crculos na areia; contudo, apesar de operacional, ela uma definio perfeitamente equivocada de inteligncia verbal, pois o comportamento de desenhar crculos na areia no tem nada a ver com o construto em questo. Disto segue que as definies operacionais podem representar um construto numa escala que expressa uma proporo de coincidncia entre construto e definio operacional que vai de 0 a 1; sendo 0, quando a definio no cobre nada do construto e 1, quando ela cobre 100% do espao semntico do construto. Como j dissemos, cobrir 100% do construto nenhuma definio operacional ser capaz, mas quanto maior covarincia existir entre construto e definio operacional, maior qualidade deve-se atribuir a esta definio do construto e, por conseqncia, maior chance ter o instrumento, que de tal definio resulta ser superior em qualidade. Dizemos maior chance, porque a qualidade do instrumento no depende unicamente de boas definies operacionais, embora sem a boa qualidade destas o instrumento j comece, de sada, a ser inferior. Para garantir melhor cobertura do construto, as definies operacionais devero especificar e elencar aquelas categorias de comportamentos, que seriam a representao comportamental do construto. Quanto melhor e mais

completa for esta especificao, melhor ser a garantia de que o instrumento que resultar para a medida do construto ser vlido e til. Por exemplo, quais seriam as categorias de comportamentos que expressariam comportamentalmente a compreenso verbal? Seriam tais como: reproduzir texto, dar sinnimos e antnimos, explicar o texto, sublinhar alternativas, etc. Quanto mais completa esta listagem de categorias comportamentais, mais prximos estamos da construo do instrumento, porque o prximo passo ser simplesmente expressar essas categorias em tarefas unitrias e especficas (os itens) e o instrumento piloto est construdo. Por isso, nunca demais gastar tempo na implementao detalhada das definies operacionais do construto. Onde se inspirar para realizar adequadamente esta tarefa? Novamente, os mtodos a serem utilizados para resolver o problema deste passo da construo de medidas psicolgicas so a literatura pertinente sobre o construto, a opinio de peritos na rea, a experincia do prprio pesquisador, bem como a anlise de contedo do construto. bom lembrar neste contexto de que os instrumentos de medida psicolgica visam medir traos latentes. Mas como medir traos latentes que so imprvios observao emprica, que o mtodo da cincia? Estamos aqui nos defrontando com o problema da representao: qual a maneira adequada de se representar esses atributos latentes para que possam ser cientificamente abordados? Embora o problema parea, e na verdade, grave, ele no especfico da Psicometria; ocorre na prpria fsica com a teoria quntica, por exemplo. Como o comportamento representa estes traos latentes? precisamente o problema que as definies operacionais precisam resolver.

A OPERACIONALIZAO DO CONSTRUTO

Este o passo da construo dos itens, que so a expresso da representao comportamental do construto, a saber: as tarefas (os itens do instrumento) que as pessoas devero executar para que se possa avaliar a magnitude de presena do construto (atributo). 1. Fontes dos Itens Se os passos at aqui discutidos forem adequadamente resolvidos, estaremos agora diante das categorias comportamentais que expressam o construto de interesse, as quais do praticamente a resposta construo dos itens. Alm disso, podemos apelar para outras duas fontes de itens: a entrevista e outros testes que medem o mesmo construto. A entrevista consiste em pedir as pessoas representantes da populao para a qual se deseja construir o instrumento para opinarem em que tipo de comportamentos tal construto se

manifesta. Por exemplo, se o desejo construir um instrumento sobre assertividade, podemos nos dirigir a representantes da populao e pedir "como para voc uma pessoa assertiva"? De uma pesquisa dessa natureza pode surgir uma grande riqueza de comportamentos que expressam assertividade e que podem ser aproveitados como itens do instrumento. Ademais, podemos nos inspirar em itens que compem outros instrumentos disponveis no mercado e que medem o mesmo construto. Assim, temos trs fontes preciosas para a construo dos itens: literatura: outros testes que medem o construto; entrevista: levantamento junto populao-meta; categorias comportamentais: definidas no passo das definies operacionais. importante notar que no processo de elaborao do instrumento como o temos exposto, os itens no so mais coletados a esmo ou "chutados", mas eles so elaborados ou, pelo menos, selecionados em funo das definies operacionais de um construto, que foi exaustivamente analisado em seus fundamentos tericos e nas evidncias (dados) empricas disponveis. Ento, no qualquer item que parea medir o construto que aceito, mas somente aquele que corresponde s definies tericas (constitutivas) e s suas definies operacionais. No mais a malfadada face validity que impera na seleo dos itens e sim a sua pertinncia (nessa altura, obviamente, ainda terica) ao contexto terico do construto. Alis, os itens no so selecionados ou "pescados", so construdos para representar comportamentalmente o construto de interesse. 2. Regras de Construo de Itens Dadas as fontes que baseiam a construo dos itens, preciso dar agora algumas regras ou critrios fundamentais para a elaborao adequada dos prprios itens. Essas regras aplicam-se, em parte, construo de cada item individualmente, e em parte ao conjunto dos itens que medem um mesmo construto. Alm disso, dependendo do tipo de trao a ser medido, se de aptido ou de personalidade, algumas das regras aplicam-se e outras no. a) Critrios para a construo dos itens 1. Critrio comportamental: o item deve expressar um comportamento, no uma abstrao ou construto. Segundo Mager (1981), o item deve poder permitir pessoa uma ao clara e precisa, de sorte que se possa dizer a ele v e faa. Assim reproduzir um texto um item comportamental (v e

reproduza...), ao passo que compreender um texto no o , pois a pessoa no sabe o que fazer com v e compreenda.... 2. Critrio de objetividade ou de desejabilidade: para o caso de escalas de aptido, os itens devem cobrir comportamentos de fato, permitindo uma resposta certa ou errada. O respondente deve poder mostrar se conhece a resposta ou se capaz de executar a tarefa proposta. Ao contrrio, para o caso das atitudes e da personalidade em geral, os itens devem cobrir comportamentos desejveis (atitude) ou caractersticos (personalidade). Ele, neste caso, deve poder concordar ou discordar ou opinar sobre se tal comportamento convm ou no para ele, isto , os itens devem expressar desejabilidade ou preferncia. No existem neste caso respostas certas ou erradas; existem sim diferentes gostos, preferncias, sentimentos e modos de ser. 3. Critrio da simplicidade: um item deve expressar uma nica idia. Itens que introduzem explicaes de termos ou oferecem razes ou justificativas so normalmente confusos porque introduzem idias variadas e confundem o respondente. Por exemplo: Gosto de feijo porque saudvel. A pessoa pode de fato gostar de feijo mas no porque seja saudvel; assim, ele no saberia como reagir a tal item: se porque o feijo gostoso ou porque saudvel. O item exprime duas idias. 4. Critrio da clareza: o item deve ser inteligvel at para o estrato mais baixo da populao-meta; da, utilizar frases curtas, com expresses simples e inequvocas. Frases longas e negativas incorrem facilmente na falta de clareza. Com referncia s frases negativas: normalmente elas so mais confusas que as positivas; conseqentemente, melhor afirmar a negatividade do que negar uma afirmao. Por exemplo: fica mais inteligvel dizer detesto ser interrompido do que no gosto de ser interrompido ou em vez de no me sinto feliz melhor dizer sinto-me infeliz. Neste contexto, preciso tambm no utilizar grias, porque estas no so em geral inteligveis para todos os membros de uma populao-meta do instrumento, alm de tipicamente ofender o estrato mais sofisticado da mesma populao, o que pecaria contra o critrio nmero 10. Contudo, o linguajar tpico da populao-meta deve ser utilizado na formulao dos itens; assim, so admissveis e so mais apropriadas expresses conhecidas por tal populao, ainda que elas possam parecer lingisticamente menos castias. A preocupao aqui a compreenso das frases (que representam tarefas a serem entendidas e se possvel resolvidas), no sua elegncia artstica. 5. Critrio da relevncia (pertinncia, saturao, unidimensionalidade, correspondncia): a expresso (frase) deve ser consistente com o trao (atributo, fator, propriedade psicolgica) definido e com as outras frases que cobrem o mesmo atributo. Isto , o item no deve insinuar atributo diferente

do definido. O critrio diz respeito saturao que o item tem com o construto, representada pela carga fatorial na anlise fatorial e que constitui a covarincia (correlao) entre o item e o fator (trao). 6. Critrio da preciso: o item deve possuir uma posio definida no contnuo do atributo e ser distinto dos demais itens que cobrem o mesmo contnuo. Esse critrio supe que o item pode ser localizado em uma escala de estmulos; em termos de Thurstone, diramos que o item deve ter uma posio escalar modal definida e um desvio-padro reduzido. Em termos da Teoria da Resposta ao Item (TRI), este critrio representa os parmetros "b" (dificuldade) e "a" (discriminao) e pode realmente ser avaliado de forma definitiva apenas aps coleta de dados empricos sobre os itens. 7. Critrio da variedade: dois aspectos especificam este critrio: I. variar a linguagem: uso dos mesmos termos em todos os itens confunde as frases e dificulta diferenci-las, alm de provocar monotonia, cansao e aborrecimento. Exemplo: o EPPS (Edwards Personal Preference Schedule) comea quase todas as suas 500 frases com a expresso "I like...". Depois de tantos "I like", qualquer pessoa deve se sentir saturado! II. no caso de escalas de preferncias: formular a metade dos itens em termos favorveis e metade em termos desfavorveis, para evitar erro da resposta estereotipada esquerda ou direita da escala de resposta. a recomendao que Likert j dava em 1932. 8. Critrio da modalidade: formular frases com expresses de reao modal, isto , no utilizar expresses extremadas, como excelente, miservel, etc. Assim, ningum infinitamente inteligente, mas a maioria bastante inteligente. A intensidade da reao da pessoa dada na escala de resposta. Se o prprio item j vem apresentado em forma extremada, a resposta na escala de respostas j est viciada. Assim, se perguntar a pessoa se est pouco ou muito de acordo (numa escala, por exemplo, de 7 pontos que vai de desacordo total a acordo total), um item formulado extremado, tal como "meus pais so a melhor coisa do mundo", dificilmente receberia resposta 7 (totalmente de acordo) por parte da maioria das pessoas da populao-meta, simplesmente porque a formulao exagerada. Se em lugar dela fosse utilizada uma expresso mais modal, tal como "eu gosto dos meus pais", as chances de respostas mais variadas e inclusive extremadas (resposta 7) seriam de se esperar. 9. Critrio da tipicidade: formar frases com expresses condizentes (tpicas, prprias, inerentes) com o atributo. Assim, a beleza no pesada, nem grossa, nem nojenta.

10. Critrio da credibilidade (face validity): o item deve ser formulado de modo que no aparea como ridculo, despropositado ou infantil. Itens com esta ltima caracterizao fazem o adulto sentir-se ofendido, irritado ou coisa similar. Enfim, a formulao do item pode contribuir e contribui (Nevo, 1985; Nevo e Sfez, 1985) para uma atitude desfavorvel para com o teste e assim aumentar os erros (vieses) de resposta. Este tema, s vezes, discutido sob o que se chama de validade aparente (face validity), que no tem nada a ver com a validade objetiva do teste, mas pode afetar negativamente a resposta ao teste, ao afetar o indivduo respondente e, assim, indiretamente afetar a prpria validade psicomtrica do teste. b) Critrios referentes ao conjunto dos itens (o instrumento todo) 11. Critrio da amplitude: este critrio afirma que o conjunto dos itens referentes ao mesmo atributo deve cobrir toda a extenso de magnitude do contnuo desse atributo. Critrio novamente satisfeito pela anlise da distribuio dos parmetros "b" da TRI. A razo disso que um instrumento deve poder discriminar entre indivduos de diferentes nveis de magnitude do trao latente, inclusive diferenciar entre si os que possuem um trao alto, quanto entre os que possuem um trao pequeno, e no somente entre os de trao alto em relao aos de trao baixo. 12. Critrio do equilbrio: os itens do mesmo contnuo devem cobrir igual ou proporcionalmente todos os segmentos (setores) do contnuo, devendo haver, portanto, itens fceis, e mdios difceis (para aptides) ou fracos, moderados e extremos (no caso das atitudes). De fato, os itens devem distribuir-se sobre o contnuo numa disposio que se assemelha da curva normal: maior parte dos itens de dificuldade mediana e diminuindo progressivamente em direo s caudas (itens fceis e itens difceis em nmero menor). A razo deste critrio encontra-se no fato de que a grande maioria dos traos latentes se distribuem entre a populao mais ou menos dentro da curva normal, isto , a maioria das pesoas possuem magnitudes medianas dos traos latentes, sendo que uns poucos possuem magnitudes grandes e outros magnitudes pequenas. 3. Quantidade de Itens Para se cobrir a totalidade ou a maior parte ou, pelo menos, grande parte da extenso semntica do construto, explicitada nas definies constitutivas, normalmente exige-se, no instrumento final, um nmero razovel de itens. O que um nmero razovel? O bom senso de quem trabalha nessa rea sugere que um construto, para ser bem representado, necessita de cerca de 20 itens. H, evidentemente, construtos muito simples que raras vezes necessitam de tal nmero de itens, sendo suficientes apenas uma meia dzia ou menos deles. Por exemplo, satisfao com o salrio. Quantas maneiras h de se verificar tal satisfao? Parece exagerado perguntar 20 vezes pessoa se est satisfeita

com o seu salrio. Pode-se, sim, perguntar se ele est contente com a quantia, com o poder de compra, com a pontualidade de entrega, e alguns aspectos mais. Mas parece difcil descobrir 20 maneiras de estar satisfeito com o salrio. Entretanto, a grande maioria dos traos latentes normalmente possuem uma diversidade bem maior de aspectos e, por isso, exigem maior nmero de itens. Se o nmero final de itens, isto , depois que o instrumento passou por todas as fases de construo e validao, deve ser em torno de 20, pergunta-se com quantos itens preciso comear para que no final possamos salvar 20? A resposta dada no contexto da psicometria tradicional positivista a de que se deve comear com, pelo menos, o triplo de itens para se poder assegurar, no final, um tero deles. Esta resposta deve-se ao modo positivista de construir instrumentos psicolgicos. Neste enfoque, os itens no so construdos a partir de uma teoria; eles so coletados ou selecionados de um "pool of items" que parecem medir um dado construto e, em seguida, analisados estatisticamente para ver quais deles se salvam. Quer dizer, os itens so aqui simplesmente "chutados"; so selecionados apenas porque parecem medir o que se quer medir. Dentro da tcnica de construo de instrumentos baseada na teoria dos traos latentes que estamos expondo, para se salvarem 20 itens no final de toda a elaborao e validao do instrumento, no necessrio iniciar com mais do que 10% de itens alm dos 20 requeridos no instrumento final. Isto porque os itens includos no instrumento piloto so itens que possuem validade terica real e no simplesmente parecem ter validade.

A ANLISE TERICA DOS ITENS

Operacionalizado o construto atravs dos itens, estamos diante da hiptese de que estes representam adequadamente o tal construto. Essa a nossa verso da hiptese a ser testada. Contudo, importante avaliar tal hiptese em relao opinio de outros para nos assegurarmos de que ela apresenta garantias de validade. Essa avaliao ou anlise da hiptese (anlise dos itens) obviamente ainda terica porque consiste simplesmente em pedir outras opinies sobre a hiptese, sendo que esses outros, que a vo avaliar, ainda no so amostra representativa da populao para a qual o instrumento foi construdo. Essa anlise terica feita por juzes e ela comporta dois tipos distintos de juzes, segundo se a anlise incide sobre a compreenso dos itens (anlise semntica) ou sobre a pertinncia dos itens ao construto que representam (propriamente chamada de anlise dos juzes). Assim, antes de partir para a validao final do instrumento piloto, este submetido a uma anlise terica dos itens atravs da anlise semntica e anlise dos juzes.

1. Anlise Semntica dos Itens A anlise semntica tem como objetivo precpuo verificar se todos os itens so compreensveis para todos os membros da populao qual o instrumento se destina. Nela, duas preocupaes so relevantes: verificar se os itens so inteligveis para o estrato mais baixo (de habilidade) da populao-meta e, por isso, a amostra para essa anlise deve ser feita com esse estrato; segundo, para evitar deselegncia na formulao dos itens, a anlise semntica dever ser feita tambm com uma amostra mais sofisticada (de maior habilidade) da populao-meta (para garantir a chamada "validade aparente" do teste). Entende-se por estrato mais baixo, aquele segmento da populao-meta que apresenta menor nvel de habilidades. Assim, por exemplo, se o teste se destina a uma populao que congrega indivduos do I grau de ensino at universitrios, obviamente o estrato mais baixo neste contexto so aqueles do I grau e o mais sofisticado ser representado pelos de nvel universitrio. De qualquer forma, a dificuldade na compreenso dos itens no deve se constituir em fator complicador na resposta dos indivduos, dado que no se quer medir a compreenso deles (a no ser, bvio, que o teste queira medir precisamente isto), mas sim a magnitude do atributo a que os itens se referem. Que tcnica utilizar para fazer essa anlise? H vrias maneiras eficientes para tal tarefa, como por exemplo, aplicar o instrumento a uma amostra de aproximadamente 30 pessoas da populao-meta e em seguida discutir com eles as dvidas que os itens suscitarem. Entretanto, uma tcnica que se tem mostrado mais eficazes na avaliao da compreenso dos itens consiste em chec-los com pequenos grupos de pessoas (3 ou 4) numa situao de "brainstorming". Essa tcnica funciona da seguinte forma: constitui-se um grupo de at 4 pessoas, iniciando com sujeitos do estrato mais baixo da populao-meta, porque se supe que se tal estrato compreende os itens, a fortiori o estrato mais sofisticado tambm os compreender. A este grupo apresentado item por item, pedindo que ele seja reproduzido pelos membros do grupo. Se a reproduo do item no deixar nenhuma dvida, o item corretamente compreendido. Se surgirem divergncias na reproduo do item ou se o pesquisador se perceber que ele est sendo entendido diferentemente do que ele, pesquisador, julga que deveria ser entendido, tal item tem problemas. Dada esta situao, o pesquisador ento explica ao grupo o que ele pretendia dizer com tal item. Normalmente, neste caso, as prprias pessoas do grupo iro sugerir como se deveria formular o item para expressar o que o pesquisador quer dizer com ele; e a est o item reformulado como deve ser. Quantos grupos so necessrios para proceder a esta anlise semntica? Bem, itens que no ofereceram nenhuma dificuldade de compreenso em uma, no mximo duas, sesses, no necessitam de verificao ulterior. Itens que continuam apresentando dificuldades aps, digamos, no mximo cinco sesses, devem ser simplesmente descartados. Em seguida a essas sesses, importante pelo menos uma sesso de verificao dos itens com um grupo de indivduos mais sofisticados. O objetivo desta verificao consiste em evitar

que os itens se apresentem demasiadamente primitivos para tais pessoas e assim perderem a validade aparente. que os itens devem tambm dar a impresso de seriedade, como diz o ditado de que a mulher de Csar no somente deve ser honesta, mas deve tambm parecer honesta! (veja regra nmero 10 dos critrios de construo de itens). 2. Anlise dos juzes Esta anlise , s vezes, chamada de anlise de contedo, mas propriamente deve ser chamada de anlise de construto, dado que precisamente procura verificar a adequao da representao comportamental do(s) atributo(s) latente(s). Nessa anlise, os juzes devem ser peritos na rea do construto, pois sua tarefa consiste em ajuizar se os itens esto se referindo ou no ao trao em questo. Uma tabela de dupla entrada, com os itens arrolados na margem esquerda e os traos no cabealho, serve para coletar essa informao. Uma concordncia de, pelo menos, 80% entre os juzes pode servir de critrio de deciso sobre a pertinncia do item ao trao a que teoricamente se refere. A tcnica exige que se d aos juzes duas tabelas: uma com as definies constitutivas dos construtos/fatores para os quais se criaram os itens e outra tabela de dupla entrada com os fatores e os itens, em que so avaliados os itens que medem os dois fatores de raciocnio verbal (compreenso verbal e fluncia verbal). Normalmente, necessria uma terceira tabela que elenca os itens, uma vez que a tabela de dupla entrada geralmente no comporta a expresso completa do contedo dos itens. Com base nessas tabelas, a funo dos juzes consiste em colocar um X para o item sob o fator ao qual o juiz julga o item se referir. Um nmero de 6 juzes ser suficiente para realizar esta tarefa. Itens que no atingirem uma concordncia de aplicao aos fatores (cerca de 80%) obviamente apresentam problemas e seria o caso de descart-los do instrumento-piloto. Isso vale, contudo, se o construto, para o qual est sendo construido o teste, apresentar fatores (particularmente quando forem em maior quantidade) que se supem ou se sabe que no so correlacionados. Quando se supem que os fatores sejam correlacionados, acontece que uma mesma tarefa (item) pode se referir, certamente com nveis de saturao diferente; mas de fato se referir simultaneamente a mais de um fator, o que implicaria que os juzes iriam mostrar alguma discordncia quanto aplicao do item a este ou a aquele fator. Neste caso, esta discordncia deve ser considerada como concordncia. Uma outra soluo seria instruir os juzes a marcarem, para cada item, no o fator mas aqueles fatores aos quais o item se refere. Entretanto, com tal dica, abre-se campo para muita divagao por parte dos juzes e, assim, arriscar

perder-se a utilidade prtica dessa anlise. Seria melhor instruir os juzes para colocarem, se possvel, cada item sob um fator somente. Com o trabalho dos juzes, ficam completados os procedimentos tericos na construo do instrumento de medida, os quais comportaram a explicitao da teoria do(s) construto(s) envolvido(s), bem como a elaborao do instrumento piloto, que constitui a representao comportamental desses mesmos construtos e que se pe como a hiptese a ser empiricamente testada (validao do instrumento), tarefa que ser iniciada com os procedimentos experimentais, os quais consistem em coletar informao emprica vlida e submet-la s anlises estatsticas pertinentes em Psicometria.

REFERNCIAS
Mager, R.F. Medindo os Objetivos de Ensino ou "Conseguiu um Par Adequado" . Porto Alegre: Editora Globo, 1981. Nevo, B. & Sfez, J. Examinees Feedback Questionnaires. Assessment and Evaluation in Higher Education 10:236-249,1985. Nevo, B. Face Validity Revisited. Journal of Educational Measurement 22:287-293,1985. Pasquali, L. (org.) Elaborao de Instrumentos Psicolgicos. So Paulo: Casa do Psiclogo, no prelo.

1 . Professor Titular, Universidade de Braslia (UnB), Instituto de Psicologia (IP) Endereo para correspondncia: Departamento de Psicologia Social e do Trabalho (PST) - CEP 70910-900, Braslia, DF. Tel : (061) 348-2668 E-Mail : lpasquali@nutecnet.com.br

Revista de

Psiquiatria Clnica

ndice

Dvidas ou sugestes: LF Tfoli ou Roberto B Sassi