Avaliação psicológica II: Psicometria.

Manual para a produção da parte escrita do trabalho final

Use esse manual para estruturar o trabalho final. Seu trabalho será corrigido em função dos elementos que estão presentes aqui. Todo e
qualquer desvio às instruções contidas nesse manual, provavelmente, irão resultar em redução na nota final.

Primeiro passo: fundamentação teórica

Descreva aqui, indicando as referências1, o que você vai medir. A lógica é permitir que você apresente os elementos constitutivos e
operacionais que fundamenta o seu teste. Lembre-se: a definição constitutiva não é um parágrafo, nem uma frase, mas uma explicação
completa, utilizando conceitos sobre como seu construto funciona. A mesma lógica para as definições operacionais, mas, ao invés de como
funciona, foque-se em como pode ser observado.

No seu texto, utilize um quadro similar a este, para organizar o construto, suas dimensões e representações comportamentais.

Figura 1 - Estrutura que deve ser utilizada na construção da fundamentação teórica.

Lembre-se que uma dimensão pode ter sub-dimensões. Um exemplo disso está na operacionalização que Nunes, Hultz e Nunes (2010) 2 que
conceptualizam a estrutura fatorial do modelo Big-Five (Modelos dos cinco grandes fatores de personalidade) utilizando várias sub-dimensões
(que os autores chamam de facetas) para cada uma das 5 dimensões. A Figura 2 ilustra como isso foi feito com a dimensão neuroticismo.

Construto Dimensão Subdimensão Representações

Vulnerabilidade; Representações

Instabilidade
Representações
emocional
Personalidade
(Conforme Big Neuroticismo
Five)
Passividade/Falta
Representações
de Energia

Depressão Representações

Figura 2 - Ilustração do uso de dimensões e subdimensões, usando o recorte do neuroticismo, conforme operacionalizado por Nunes, Hultz e Nunes (2010)

Uma vez o construto explicado, você pode ir para a próxima etapa: criar os itens.

1
Blogs, sites pessoais e dicionários não são fontes válidas. Use livros e artigos. Sites jornalísticos podem ser utilizados, mas com parcimônia (use-os para indicar fatos/eventos, não para
fundamentar teoria).
2
Nunes, C. H. S. S., Hutz, C. S. & Nunes, M. F. O. (2010). Bateria Fatorial de Personalidade (BFP)- Manual técnico. Itatiba, SP: Casa do Psicólogo.

Manual para a realização do trabalho final V1.1 (09/08/2021)

página 1 de 6
Segundo passo: Criação dos itens
Os itens são apenas exemplos de comportamentos derivados das definições operacionais. Contudo, construir corretamente os itens exige
alguns cuidados. O primeiro está no isomorfismo. Os item devem refletir a mesma forma. Se o seu teste é de personalidade, os itens devem
refletir comportamentos/sensações/experiências que reflitam a personalidade. Se o seu construto tem três dimensões, então você vai precisar
de três conjuntos de itens refletindo cada uma dessas dimensões.

Quantos itens?
Via de regra, a lógica é a do isomorfismo, mas, nem sempre é possível colocar todas as manifestações possíveis. Por exemplo no caso da
depressão, as dimensões típicas da maioria dos testes tendem a orbitar as dimensões: (a) cognitivas, (b) afetivas e (c) comportamentais. É,
literalmente, impossível colocar itens o suficiente para descrever toda a dimensão. A lógica é, conforme indicado pela teoria, selecionar
aspectos que sejam mais típicos/críticos/relevantes do quadro. Por exemplo, se focando na dimensão cognitiva da depressão podemos
selecionar representações relativas a (com a devida definição operacional3), dentre outras:

 Cognição catastrófica – padrão de verbalizações negativas quanto ao futuro e consequências de suas ações;
 Ideação suicida – relatos de pensamentos relativos à tentativas e/ou melhoria do mundo em função de tentativas de autoextermínio;
 Auto-desvalorização – relatos frequentes e persistentes de julgamentos negativos quanto a si mesmo.

Considerando, apenas para o exemplo, que a dimensão cognitiva da depressão tenha essas três representações, criar itens apenas com relação
a auto-desvalorização não representaria a mesmas forma que depressão. Logo, atentaria quanto à validade de conteúdo e,
consequentemente, de construto. Então, um teste válido precisaria de um conjunto de itens para cada uma dessas representações,
proporcionadamente distribuídos em cada uma das representações.

Mas a pergunta ainda persiste. Já podemos dizer que o total inicial de itens, neste caso, será um múltiplo de 3. Contudo, o total final ainda
precisa de um raciocínio. Vamos pensar em itens possíveis para cognição catastrófica. Lembrando que o item só faz sentido dentro de uma
instrução e de uma escala de resposta, vamos imaginar o seguinte instrumento:

Leia os itens abaixo e diga o quanto que eles se aplicam a você numa escala de 1 (não me descrevem) a 5 (totalmente me descrevem)
Não me Totalmente
Itens
descrevem me descrevem
1. Evito fazer coisas novas pois tenho medo de que dê errado. 1 2 3 4 5
2. Faço apenas aquilo que conheço pois sei que vou me machucar com coisas novas. 1 2 3 4 5
Tabela 1- Exemplo de dois itens com diferentes níveis de dificuldade.

Veja, o quanto de depressão (construto do qual cognição catastrófica é uma das representações) necessário para marcar a resposta máxima
nos dois itens é diferente. Podemos pensar aqui como uma espécie de “nível de ativação”. Para marcar 5 no primeiro item o nível de ativação
necessário é menor do que para marcar 5 no segundo. Formalmente chamamos essa característica dos itens de dificuldade.

Se tivermos apenas itens fáceis, será difícil diferenciar quem tem um nível mediano/alto do construto em questão. Apenas difíceis, ficaria difícil
de diferenciar entre os níveis baixos/medianos.

Para evitar isso, os itens devem ser construídos pensando-se numa lógica de, pelo menos, três níveis de dificuldade:

 Fácil;
 Médio;
 Difícil.

Assim é possível criar tarefas onde é possível diferenciar as pessoas com diferentes intensidades.

Logo, neste momento, já temos que, para cada representação identificada, são necessários, pelo menos, três itens. Assim, no nosso exemplo
reduzido, da dimensão cognitiva da depressão, naquela dimensão, com três representações, teremos, então, 9 itens.

Contudo, por uma questão prática, recomendo que, ao invés de criar 3 itens por representação, sejam criados 6 itens (dois por dificuldade).
Isso ocorre pois, como falado em sala, a primeira versão dos itens é uma hipótese. Durante os demais procedimentos, alguns itens podem ser
excluídos pois não apresentam bons indicadores de validade/fidedignidade. Tê-los em dobro permite que alguns itens sejam excluídos e seja
preservado o isomorfismo.

Como construir itens?

O melhor critério para a construção dos itens é o isomorfismo entre o construto e o teste. Além disso, algumas de regras de boas práticas
podem ser encontradas no trabalho de Pasquali (1998)4, resumidas na tabela que segue:

Critério Definição Exemplo5

Critério O item deve expressão um comportamento, algo que ele pode lembrar se Meu padrão de sono não se alterou nos últimos 15
comportamental fez ou não. dias.

3
Em todos os casos os fenômenos estão sacrificados pelo bem do exemplo e tamanho deste manual.
4
Pasquali, L. (1998). Princípios de elaboração de escalas psicológicas. Revista de Psicologia Clínica, 25(5), 206-213.
5
Todos os exemplos dessa tabela consideram uma escala de resposta de concordância onde 1 significaria “descordo totalmente” e 5 “concordo totalmente. Em algumas situações tal
construção se torna forçada (e.g. itens de aptidão) sendo apenas um recurso prático para manter os exemplos simples.

Manual para a realização do trabalho final V1.1 (09/08/2021)

página 2 de 6
 Objetividade/ No caso dos testes de aptidão os itens devem permitir uma resposta certa Aptidão: Este documento tem mais de 10 páginas.
desejabilidade ou errada, no caso das escalas atitudinais, os itens devem cobrir um Atitudinal: Comer pizza é bom
(não ambiguidade) comportamento desejado ou não, no caso de características (e.g. Característica: Tenho facilidades para acordar de
personalidade) um traço/estado que a pessoa tenha ou não. manhã
Simplicidade Os itens devem expressar uma única ideia Certo: Gosto de arroz, gosto de feijão, gosto de
arroz com feijão.
Errado: Gosto de arroz e feijão6
Clareza O item deve ser compreensível até para o estrado sócio-econômico- Certo: Consigo escrever uma frase;
educacional mais simples da sua amostra Errado: Logro a maestria da escrevedura
Relevância O item deve ser relativo ao construto e sua dimensão Considero pizza uma refeição7
Precisão O conjunto de itens deve cobrir todo o contínuo do construto em questão. Baixa intensidade: Já ofendi uma pessoa que me
prejudicou
Alta intensidade: É normal que eu bata nas pessoas
que atrapalham8
Variedade: linguagem Evite a repetição de itens. Se ficar monótona, seu respondente para de ler De manhã, gosto de acordar cedo
a escala. De manhã, levanto cansado
De manhã...
Variedade: sinal Construa metade dos itens numa lógica positiva e metade numa lógica Positivo: quando estou em locais abertos começo a
negativa9, assim seu sujeito fica obrigado a ler os itens ao invés de suar.
“prever” as respostas. Negativo: Sinto calma em multidões.
Modalidade Crie expressões modais, isto é: positivas, negativas ou neutras. A Certo: Gosto de pizza
intensidade da resposta deve ser do sujeito não do pesquisador ou do Errado: Pizza é a melhor comida do mundo
instrumento
Tipicidade/ Os itens devem utilizar uma linguagem comum ao construto e ao uso da Certo: Gosto de rock
congruência linguagem. Errado: Música clássica é amarela demais para mim
Tabela 2 - Princípios de elaboração de itens para escalas psicológicas, resumidos de Pasquali (1998)

Acrescenta-se que o conjunto de itens deve respeitar o isomorfismo garantido todo o construto. Assim, um teste de hábitos do sono deve ter
itens com relação aos três tipos clássicos de insônia e deve fazer isso de modo equilibrado. Não se pode privilegiar ou ignorar partes do
construto.

Com todos esses critérios em mãos, você deve construir a PRIMEIRA VERSÃO do seu instrumento. Não tenha muito apego a ela, pois ela,
provavelmente, ainda receberá ajuste.

Terceiro passo: Validação de juízes e semântica

Validação de Juízes
Agora que você já tem a sua primeira versão do instrumento você deve submeter seu conjunto de itens a uma amostra de especialistas para
que eles avaliem se os seus itens, e o instrumento como um todo, atendem à isomorfia entre esse conjunto de estímulos e o construto alvo.
Não precisam ser especialistas em avaliação psicológica, nem mesmo psicólogos, mas especialistas na temática que você está avaliando 10.

A lógica é perguntar se:

 Se os itens são adequados para avaliar o construto

 Se algum elemento do construto está sendo ignorado
 Se há problemas de redação

Um exemplo de instrumento para a avaliação de juízes pode ser encontrado em: https://forms.gle/f7AUxszsD35qTZtC9

Para este trabalho, você deve ter, pelo menos 5 juízes e deve buscar a concordância de pelo menos 3 desses cinco. Contudo, lembro, a opinião
dos juízes é meramente consultiva, se você consegue defender determinada que uma sugestão em específica não seja realizada, você tem esse
poder. Contudo, registre no método.

Importante, os juízes não devem ser identificados, mas apenas indicações gerais quanto à formação devem ser dadas (ex. psicólogo, Dr., com
15 anos de experiência em docência de Processos Psicológicos Básicos).

Após essa etapa, você tem, agora, a SEGUNDA VERSÃO do seu instrumento. De posse dessa, vamos agora verificar se a linguagem está
adequada.

Validação semântica
Nesta etapa você deve procurar um conjunto de pessoas e mostrar, item a item, para elas o instrumento. Você deve perguntar para eles o que
eles acham que o item está pedindo. Caso haja consenso no grupo e esse esteja alinhado com o que você queria, siga para o próximo item até
terminar.
6
Se a pessoa gosta apenas de arroz, mas não gosta de feijão, como ela responde a esse item?
7
Considerando uma escala que aborde hábitos alimentares.
8
Considerando uma escala que aborde a relação frustração-agressividade
9
Positivo aqui que dizer que algo está presente ou é favorável, negativo o oposto. No exemplo, foram levantados indicadores de agorafobia. O item “positivo” não é bom, mas uma
resposta maior nesse item (lembre-se na nota de rodapé número 5) significa maior intensidade ele está mais presente. De modo oposto, no item “negativo”, uma resposta elevada
implica na ausência do transtorno.
10
Contudo, para a realização deste trabalho, pode ser, além de um especialista na temática, qualquer um com diploma de psicólogo.

Manual para a realização do trabalho final V1.1 (09/08/2021)

página 3 de 6
Caso haja alguma discordância, peça para que eles construam uma nova redação que significa o que você gostaria. Deixe que eles discutam,
apenas pontuando elementos chaves, até que cheguem a uma conclusão. Essencialmente, crie grupos focais 11 para analisar e avaliar a
adequação da linguagem dos seus itens.

Agora o seu instrumento está pronto. Você já pode iniciar a aplicação dele.

Um ponto importante é que você não deve acrescentar nenhum item que você não vá analisar. Então: idade, sexo, gênero, local de
nascimento, dentre outros, exceto se você precisar deles para selecionar a sua amostra, não os coloque no seu instrumento.

Quarto Passo: aplicação do instrumento

Trata-se de uma etapa fundamental. Um ponto chave para a validade do instrumento. No mundo real, planeje a aplicação de modo a garantir
a representatividade da sua amostra alvo. Para este trabalho, contudo, procure 200 sujeitos12.

Lembre-se que aplicação do instrumento deve ser informatizada. Recomenda-se fortemente que você utilize o google forms. Se tiver
dificuldades peça ajuda ao professor.

Quinto Passo: Análise das respostas

De posse das respostas o instrumento será analisado quanto à sua dimensionalidade e confiabilidade. O professor realizará a análise das
respostas e fornecerá todos os indicadores e explicará os resultados para cada um dos grupos.

Para realizar as análises deve ser entregue ao professor:

1. O banco de dados que vocês conseguiram no google forms

2. Uma tabela separando os itens por dimensões: a tabela precisa ter os seguintes conteúdos13:

Construto Dimensões Itens

1. item
Construto X Fator 1
3. item
Definição breve explicando o que é o construto X Definição breve explicando o que é o fator 1
5. item
7.item
Fator 2
8.item
Definição breve explicando o que é o fator 2
9.item
...
2. item
Fator n
4. item
Definição breve explicando o que é o fator n
6. item
Tabela 3 – Modelo da tabela que deve ser enviada junto do bando de dados.

Por exemplo14:

Construto Dimensões itens

Ansiedade
Conjunto de respostas cognitivas, afetivas,
comportamentais, endócrinas e fisiológicas (tais
como evitação e excitação) que evoluíram para
proteger o ser humano de ameaças em potencial.
Tabela 4 – Modelo preenchido com ilustração resumida.
Dimensão 1 - Sintomas cognitivos
Manifestação da ansiedade em termos de pensamentos, estilos de tomada itens de 1 a 6
de decisão e raciocínio.
Dimensão 2 - Sintomas afetivos
itens de 7 a 12
Manifestação da ansiedade em termos de avaliações e preferências.
Dimensão 3 - Sintomas somáticos itens de 13 a 18
Manifestação da ansiedade em termos de respostas corporais.

Após o envio do banco de dados, o que eu irei devolver um texto, descrevendo a estrutura interna dos seus instrumentos, obtidos por meio de
uma técnica de análise de dados chamada Análise Fatorial (por extração de componentes principais). Isso permitirá analisar, como os itens se
relacionam com as dimensões do construto que você selecionou, ou seja, permitirá verificar se as relações internas (item-dimensão) seguem a
teoria que vocês escolheram. A tabela terá a seguinte estrutura geral:

11
Contudo, neste momento de pandemia, você pode procurar 5 pessoas diferentes e realizar o procedimento de modo individual. Caso queira fazer em grupo, você pode utilizar o
blackboard. O professor criou salas que estão sempre abertas justamente para isso.
12
Pode parecer muito, mas, no semestre passado, a maioria dos grupos conseguiu esse total de respostas em apenas uma semana. Recomendo que enviem o link do instrumento para
seus amigos, colegas e estranhos nas redes sociais (Facebook, instragram, etc).
13
A tabela é similar à produzida na primeira orientação.
14
Este exemplo está reduzido e simplificado, serve apenas como ilustração. Tipicamente, as definições são explicações bem mais robustas.

Manual para a realização do trabalho final V1.1 (09/08/2021)

página 4 de 6
 Itens Fator 1 Fator 2 ... Fator 3

item 1 Carga fatorial

item 2 Carga fatorial

item 3 Carga fatorial

item 4 Carga fatorial

item 5 Carga fatorial

item 6 Carga fatorial

item 7 Carga fatorial

item 8 Carga fatorial

item 9 Carga fatorial

...

item n Carga fatorial

Alfa alfa de cronbach alfa de cronbach alfa de cronbach

Tabela 5 – Quadro modelo do que será devolvido na análise de dados.

Essa tabela é o resultado da análise fatorial. A primeira coisa que vocês precisam ver é o valor da carga fatorial. Esse indica qual a relação dos
itens com as dimensões (sendo que 0 significa que não há relação e 1 que a relação é perfeita). Para ser considerada confiável, no caso do
trabalho de vocês, precisa estar acima de 0.5. A segunda coisa que vocês devem olhar é o alfa de cronbach. Esse número diz o quanto o
conjunto de itens está associado com o construto. Tradicionalmente, utilizamos o critério de 0.75 como mínimo (também vai de 0 a 1).

Se a sua escala guardar bom relacionamento com a teoria que você selecionou, essa análise irá retornar uma quantidade de fatores igual a
quantidade de dimensões que vocês estão propondo no seu trabalho e a carga fatorial dos itens em cada fator será acima de 0.5, além disso,
cada fator apresentará um alfa de cronbach de 0.75.

A tabela que segue é um exemplo baseado no modelo da Tabela 4:

fator1 fator2 fator3

item1 0,79
item6 0,78
item2 0,75
item5 0,67
item9 0,66
item11 0,66
item17 0,63
item12 0,62
item8 0,60
item4 0,57
item15 0,53
item16 0,52
item7 0,53
item18 0,51
item14 0,51
item13
item10
item3
alfa .89 0.76 0.55
Tabela 6 – Exemplo do resultado de uma análise fatorial

Como vocês podem ver, o fator 1 capturou a maioria dos itens da dimensão 1 (Sintomas cognitivos – itens de 1 a 6) como planejado (a
exceção dos itens 3 e 4), acrescido dos itens 9 e 11, que originalmente foram pensados para sintomas afetivos (Dimensão 2 – itens de 7 a 12).
Isso significa que o conteúdo dos itens 1, 6, 2, 5, 9 e 11 têm alguma relação e sua reposta foi homogênea e diferente dos demais fatores. Os
autores desse trabalho precisaram fazer uma autocrítica ao trabalho para explicar por que o item 4 não ficou junto com os demais itens

Manual para a realização do trabalho final V1.1 (09/08/2021)

página 5 de 6
originalmente pensados nessa dimensão, além de explicar, de modo semelhante, por que os itens 11 e 9, originalmente pensados como
sintomas afetivos, foram percebidos pela amostra como juntos dos sintomas cognitivos.

No segundo fator, que capturou muitos dos intes da terceira dimensão (itens 15, 16 e 17) acrescidos dos itens 4, 8 e 12. Isso indica que, do
modo como os itens foram construídos, os sujeitos perceberam todos esses como membros de uma categoria, que misturou elementos de
todos os sintomas. Algo semelhante ocorreu com o fator 3. Esse padrão pode indicar tanto que a construção dos itens não permitiu a
diferenciação entre esses conteúdos quanto que não haja diferença entre as dimensões 2 e 3.

Ressalta-se que apenas que os fatores 1 e 2 tem um alfa de cronbach acima de 0.75. Mas o último fator carece de reformulação.

De posse dessas informações, vocês vão precisar explicar/hipotetizar, o porquê dos itens criados apresentarem uma estrutura diferente/igual
à que foi proposta. Tipicamente (quando diferente) a resposta está em:

- Teoria não é capaz de explicar o fenômeno,

- A teoria não foi adequadamente operacionalizada,

- A amostra não conseguiu compreender o item.

Os membros do grupo devem explicar, justificando, a razões do resultado obtido.

Sexto Passo: Construir o relatório

De posse de todos esses elementos, você agora pode construir o relatório. A ideia é descrever o procedimento realizado até aqui e produzir
uma conclusão que explique/fundamente a estrutura obtida e se o teste tem, ou não, evidências de validade, como sempre, justificando sua
resposta. O relatório deve15 ter a seguinte estrutura:

1. Introdução
1.1 Objetivo do instrumento
1.2 Definição do sistema/construto teórico (explicitação de conhecimento teórico)
1.2.1. Identificação e definição constitutiva de cada dimensão/subsistema
1.2.1.1. Definição operacional, escala de resposta e tipo de escala para cada conjunto de propriedade, em cada
subsistema.
1.2.1.2. explicitação das propriedades para cada subsistema (Itens)
1.3 Primeira versão dos itens (colocar como apêndice I)
2. Análise de juízes
2.1. Descrição do Procedimento que será utilizado
2.2. Descrição dos juízes (em termos de formação e experiência)
2.3. Descrição do instrumento da análise de juízes (apêndice II)
2.4. Resultado da análise de juízes
3. Análise semântica
3.1. Entrevista em grupo (pelo menos 5, representantes da população do instrumento)
Objetivo: Verificar se a população entende o instrumento e as instruções. Realizar as alterações necessárias.
Não é preciso transcrever, mas as mudanças (ou a ausência delas) precisa ser justificada com a fala dos participantes.
4. Proposta de aplicação
Justificar o procedimento que permita a construção de normas de interpretação e representatividade da população alvo
Indicar o instrumento final, como será aplicado (apêndice III)
5. Resultado da análise fatorial
Descrição dos indicadores de validade e fidedignidade
6. Conclusão
Justificar por que o procedimento utilizado nas 4 etapas indicadas produziria, ou não, um instrumento válido

É importante que, a exceção dos apêndices, contando capa e referências, seu trabalho não tenha mais de 10 páginas.

Ver
Fazendo tudo isso como manda o manual essencialmente, você está de férias e terminou o semestre.

Parabéns!

Descanse, você merece!

15 Haverá perda de pontos se o modelo não for obedecido.

Manual para a realização do trabalho final V1.1 (09/08/2021)

página 6 de 6