TEORIA DA RESPOSTA AO ITEM MEDIDA DE SATISFAO POR MEIO DO MODELO LOGSTICO DE DOIS PARMETROS

Silvana Ligia Vincenzi Bortolotti, UTFPR/PR, sligie@globo.com Fernando de Jesus Moreira Junior, UFSM/RS UFSC/SC, fmjunior@smail.ufsm.br Afonso Farias de Sousa Jnior, UNIFA, bvfire@gmail.com Dalton Francisco de Andrade, INE/UFSC,- INEP/MEC dandrade@inf.ufsc.br

Resumo A Teoria da Resposta ao Item (TRI) uma abordagem utilizada para avaliao de medidas padronizadas que muito utilizada nas reas educacional e psicolgica. Este artigo apresenta uma aplicao da Teoria de Resposta ao Item na criao de uma escala de medida pra avaliar satisfao de alunos quanto ao curso que frequentam. Para a realizao de tal objetivo utilizou-se o modelo logstico de dois parmetros e os critrios de nveis ncora e itens ncora. Os resultados obtidos mostram a eficcia desta Teoria na obteno de escalas de medidas para o trao latente satisfao. Palavra chaves: Teoria da Resposta ao item, construo de escala, medida de trao latente. 1. Introduo Inseridos num contexto de mudanas e transformaes tcnicas, sociais e econmicas, enfatiza-se a importncia de encontrar novas metodologias que proporcionam condies para que essas reas se desenvolvam e a avaliao tem sido um instrumento que representa a maior eficcia nessas transformaes. Avaliar, no sentido de medir, abrange no to somente a avaliao de desempenho, mas tambm medir a satisfao por um servio, a preferncia por determinado produto. A satisfao, sendo definida como um estado psicolgico, no pode ser observada e nem medida diretamente (EVRARD, 1994), sendo considerada um trao latente. Contudo, devido necessidade de avaliar a satisfao, tem-se buscado desenvolver escalas para medilas. A Teoria de Resposta ao Item compreende modelos para avaliar traos latentes. Estes modelos apresentam formas de representar a relao entre a probabilidade de um indivduo dar uma resposta a um item e seus traos latentes ou habilidades, na rea de conhecimento a ser avaliada ou verificada, os quais no podem ser observados diretamente (ANDRADE; TAVARES; VALLE, 2000). O objetivo deste trabalho consiste em estabelecer uma escala de avaliao da satisfao de alunos quanto ao curso que frequentam, utilizando o modelo logstico de dois parmetros da Teoria da Resposta ao Item (TRI). 2. Teoria da Resposta ao Item e Escala de Medida Foram desenvolvidos diversos modelos da Teoria da resposta ao item e a diferena principal entre estes modelos refere-se suposio quanto ao relacionamento entre a seleo de opes de uma resposta e o nvel do trao latente. Dentre os modelos para itens com resposta dicotmicos ou itens de mltipla escolha (corrigido como certo/errado) acumulativos temos Modelo Logstico de 2 parmetros (2PL) o qual dado por: 1 , P P(U 1| )
1 e i j i onde, i = 1, 2, ...., I (representa os I itens propostos para avaliar o trao latente considerado) e j = 1, 2, ...., n (representa os n elementos que compem a amostra, que podem ser, indivduos, empresas etc.); Uij uma varivel dicotmica que assume os valores 1,
ij ij j a ( b )

quando o respondente j responde corretamente, concorda ou satisfaz as condies do item i, ou 0 caso contrrio; j pode representar o trao latente do respondente j; P(Uij =1| j) a probabilidade do respondente j, condicionado no seu trao latente j, responder corretamente, ou concordar ou satisfazer as condies do item i; bi o parmetro de dificuldade (ou de posio) do item i, medido na mesma escala do trao latente e representa o nvel do trao latente necessrio para que a probabilidade de uma resposta correta ou concordo ou satisfazer as condies do item seja de 0,5; ai o parmetro de discriminao (ou de inclinao) do item i, com valor proporcional inclinao da curva caracterstica do item no ponto bi. Para interpretar os valores dos parmetros dos itens (a, b) necessrio conhecer a escala na qual foram determinados (ANDRADE; TAVARES; VALLE, 2000). A construo da escala feita definindo nveis ncora e identificando itens ncora. Na identificao de itens ncora utilizam-se trs condies. Considere dois nveis ncora X e Y com X<Y, um item ncora para um nvel Y se, e somente se, satisfazer as condies (ANDRADE; TAVARES; VALLE, 2000; BEATON E ALLEN, 1992): 1. P(U=1| =Y) 0.65 (2.1) 2. P(U=1| =X)< 0.50 (2.2) 3. P(U=1| =Y) - P(U=1| =X) 0.30 (2.3) Isto significa que para um item ser considerado ncora em um determinado nvel ncora Y necessrio que seja respondido positivamente por pelo menos 65% dos respondentes com este nvel do trao latente e por uma proporo menor do que 50% dos respondentes de um nvel de trao latente imediatamente inferior X. E ainda que a diferena entre a proporo de respondentes destes dois nveis consecutivos deve ser pelo menos de 30% (BEATON; ALLEN, 1992). Assim, um item considerado ncora quando for tpico daquele nvel ncora Y e atender as trs condies (2.1, 2.2 e 2.3), entretanto neste artigo considerou-se tambm que um item que atende pelo menos duas das trs condies definido como quase ncora 3. Mtodo e Resultados O instrumento de medida utilizado para avaliar a satisfao dos alunos com relao ao curso que frequentam foi aplicado a 525 alunos dos cursos de Tecnologia do CEFET MD PR, contendo 35 itens, que esto apresentados no quadro 1. Cada item continha seis categorias de resposta: totalmente insatisfeito (1), insatisfeito (2), pouco insatisfeito (3), pouco satisfeito (4), satisfeito (5), totalmente satisfeito (6) e foram agrupadas em duas categorias: (0) insatisfeito compreende as categorias, 1, 2, 3 e 4; 1 compreende 5 e 6 (BORTOLOTTI, 2003).
Item 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Descrio do item Qualidade do curso de graduao que realiza Estrutura curricular (de disciplinas) do curso Organizao na exposio de contedos pelos docentes Qualidade dos Planos de Ensino apresentados pelos professores Metodologia para o desenvolvimento do ensino-aprendizagem nas aulas Formas de avaliao utilizadas nas disciplinas para medir os nveis de aprendizagem dos alunos Alternativas oferecidas aos alunos para a complementao de sua formao global Criatividade demonstrada pelos docentes no desempenho das atividades de ensino Notas obtidas nas disciplinas em relao aprendizagem alcanada Seriedade acadmica manifestada pelos docentes do curso Nvel de formao atingido pelos alunos que concluem o curso Seriedade acadmica dos alunos do curso Nvel de formao dos alunos quando ingressam no curso Capacidade manifestada pelos alunos para a leitura de textos cientficos durante o curso de graduao Qualificao dos alunos para a escrita de trabalhos cientficos durante o curso de graduao

Item 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

Descrio do item Qualificao manifestada pelos alunos para a elaborao de monografia e/ou trabalho de concluso de curso Oportunidade de iniciao dos alunos na pesquisa no curso que realiza Oportunidade de treinamento e insero no mercado de trabalho oferecido pelo curso Nmero de alunos que concluem o curso a cada ano Medidas adotadas para a melhoria da qualidade do ensino no curso Medidas adotadas para superar as dificuldades dos alunos com deficincias nas disciplinas Medidas adotadas para aprimorar a metodologia das aulas nas disciplinas do curso Medidas adotadas para aprimorar a avaliao dos alunos nas disciplinas do curso Procedimentos adotados pelo curso para a qualificao dos contedos desenvolvidos nas disciplinas Condies dos alunos para a dedicao ao curso de graduao Tempo dedicado ao estudo das disciplinas que cursa Iniciativa dos alunos para a complementao de sua formao acadmica Mecanismos de atendimento e orientao acadmica dos alunos no cotidiano dos cursos Comprometimento efetivo dos docentes com a qualificao do curso de graduao que realiza Conhecimento da situao dos alunos que j concluram o curso no mercado de trabalho Satisfao em relao ao curso que est realizando Limpeza e estado de conservao da sala de aula Pontualidade e assiduidade dos docentes nas aulas Conhecimento demonstrado pelos docentes nas matrias que lecionam Dinmica das aulas para manter a ateno dos alunos

Quadro 1 Conjunto de itens para avaliar a satisfao de alunos quanto ao curso que frequentam O tratamento dos dados foi feito utilizando-se um software especfico na estimao dos parmetros e do trao latente, chamado BILOG-MG, so estimados os parmetros de discriminao a e de dificuldade b de cada item e seus respectivos erros padres (EP), que podem ser visualizados no quadro 2.
ITEM 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 a 1.405 0.961 1.389 1.323 1.034 0.895 0.798 1.257 0.778 1.288 1.434 0.972 0.854 1.021 1.262 1.262 1.249 1.161 0.817 1.269 1.503 1.909 1.791 2.120 EP 0.145 0.116 0.146 0.143 0.129 0.119 0.110 0.148 0.104 0.135 0.147 0.118 0.117 0.142 0.158* 0.143 0.153 0.134 0.110 0.164 0.176 0.200 0.197 0.211 b -0.382 0.173 0.309 -0.022 0.210 -0.078 0.469 0.479 0.032 -0.494 -0.219 0.143 1.317 1.071 0.890 0.464 0.805 0.189 0.636 1.154 1.152 0.828 0.729 0.452 EP 0.079 0.101 0.076 0.078 0.095 0.106 0.128 0.090 0.120 0.091 0.076 0.099 0.187 0.144 0.107 0.086 0.103 0.086 0.137 0.126 0.111 0.077 0.075 0.061

ITEM 25 26 27 28 29 30 31 32 33 34 35

a 1.246 0.879 1.353 1.902 1.882 1.300 1.265 0.789 0.869 1.099 1.368

EP 0.15 0.121 0.149 0.201 0.204 0.147 0.135 0.116 0.112 0.126 0.162

b 0.506 0.893 0.390 0.404 0.312 0.598 -0.456 -2.217 -1.148 -0.650 0.641

EP 0.087 0.138 0.080 0.061 0.062 0.090 0.090 0.309 0.171 0.107 0.089

Quadro 2 Estimativas dos parmetros dos itens O parmetro grau de dificuldade b indica qual a regio, na escala proposta, em que o item possui maior informao. Os trs itens com maior dificuldade foram, em ordem crescente, os itens 21, 20 e 13. J os itens com menor grau de dificuldade, tambm em ordem crescente, foram 34, 33 e 32. Destaca-se que os valores relativos ao grau de dificuldade so referenciados a uma escala baseada na distribuio normal (0,1), ou seja, mdia 0 (zero) e desvio-padro 1 (um). Nota-se que para responder que est satisfeito ao item com maior dificuldade, ou seja, o item 13 cuja descrio : Nvel de formao dos alunos quando ingressam no curso, deve se ter um maior trao latente, ou seja, uma maior satisfao em relao ao curso que freqentam. J o item com menor dificuldade, item 32: Limpeza e estado de conservao da sala de aula, seria respondido afirmativamente por pessoas que tem baixa satisfao com relao ao curso que freqentam, ou seja, este um item que respondido pela maioria dos estudantes. O grau de discriminao de um item determina a qualidade do item, isto , quanto maior o valor de a maior o grau de discriminao na regio de maior informao, consequentemente melhor o item. Observa-se no quadro 1 que o parmetros de discriminao variaram de 0,778 a 2,12, indicando que os todos os itens possuem um poder de discriminao satisfatrio. Os trs itens com maior grau de discriminao foram em ordem crescente: 28, 22 e 24. Os erros padres dos parmetros dos itens foram baixos. A figura 1 apresenta a funo caracterstica e a funo de informao do item 01. Este item possui a seguinte descrio: Qualidade do curso de graduao que realiza. O parmetro de dificuldade deste item, na escala (0, 1), igual a 0,382. Indivduos com satisfao nesta escala igual a 0,382, tem 0.5 probabilidade de responder positivamente a este item. Observa-se pela Funo de informao do item indivduos com satisfao maior que 2,0 possuem uma probabilidade maior do que 0,9 de responder afirmativamente a este item. Deste modo, como pode ser observado na Figura 1, o item 01 um item que exige menos satisfao por parte dos alunos, pois concentra a maioria de sua informao abaixo da mdia.
Item Char acter istic Cur v e: I01
a = 1.405 1.0 b = -0.382
1.2

Item Information Curv e: I01

0.8

1.0

0.8

Probability

Information

0.6

0.6

0.4

0.4

0.2
0.2

b 0 -3
0 -3

-2

-1

0 Ability

-2

-1

0 Scale Score

Figura 1 Funo caracterstica e Funo de Informao do item 01

A Figura 3 apresenta a curva de informao do instrumento. Observa-se que o instrumento de medida tem maior informao no intervalo de -1 a 1.8.
Subtest: SATISFA
14 0.99 12 0.80 10

Information

0.60 8

Standard Error

6 0.40

4 0.20 2

0 -3

-2

-1

0 Scale Score

Figura 3 Funo de informao do teste 4. Construo da escala Os parmetros dos itens e os parmetros dos indivduos so estimados na mesma mtrica, ou seja, mdia 0 (zero) e desvio padro 1 (um). possvel para efeitos prticos transformar os valores dos parmetros tanto dos itens como indivduos em outros valores, mas que mantenha as mesmas relaes de ordem entre seus pontos. Neste sentido a escala para a satisfao com relao ao curso ser construda com media 100 e desvio padro 10 O Quadro 2 mostra a freqncia dos alunos distribudos nos nveis da escala de satisfao. A escala da satisfao foi construda com base nos nveis ncora e quase ncora. Foram definidos 3 nveis ncoras com base nos itens os nveis podem ser assim definidos: Nvel 100 Caracteriza-se por identificar alunos que possuem satisfao com relao curso, quanto ao conhecimento e seriedade acadmica por parte dos docentes, quanto a qualidade do curso. Nvel 110 Caracteriza-se por identificar alunos que consideram satisfeitos quanto ao seu desempenho, com relao s notas obtidas, quanto a seriedade acadmica, quanto a qualificao para a elaborao de trabalhos, quanto Iniciativa dos alunos para a complementao de sua formao acadmica e tambm quanto ao nvel de formao obtido pelos alunos. Este nvel identifica alunos que esto satisfeitos com relao ao desempenho dos docentes no ensino, quanto a metodologia utilizada pelos estes nas aulas, quanto ao seu comprometimento na qualificao do curso, quanto a orientao e atendimento aos alunos, quanto aos procedimentos para qualificar os contedos desenvolvidos e oferecer oportunidades para treinamento e insero no mercado de trabalho. Nvel 120 Caracteriza-se por identificar alunos que esto satisfeitos quanto a qualidade do ensino. Identifica alunos que esto satisfeitos quanto as medidas adotadas para aprimorar a metodologia das aulas nas disciplinas do curso, quanto capacidade manifestada pelos alunos para a leitura de textos cientficos durante o curso de graduao e medidas adotadas para superar as dificuldades dos alunos com deficincias nas disciplinas

Figura 2 Histograma dos alunos nos diferentes nveis da escala

Nota-se na Figura 2 que, um nmero maior de alunos esto concentrados nos trs nveis. 5. Discusso e concluso A utilizao da Teoria da Resposta ao Item (TRI) para criao de escalas de medidas, a partir da determinao dos parmetros do modelo escolhido uma tendncia universal. A TRI tem sido utilizada na rea educacional, proporcionando uma avaliao mais precisa do fenmeno estudado e agora est encontrando espao tambm em outras reas avaliando outros tipos de traos latentes. A grande contribuio da TRI na construo de escalas est no fato de que os respondentes e indivduos so colocados na mesma escala permitindo fazer comparaes entre respondentes, entre itens e entre respondentes e itens. Os resultados com a estimao dos parmetros obtidos pelo modelo Logstico de 2 parmetros colocaram os itens e os respondentes no mesmo continuum permitindo a criao da escala de satisfao de alunos quanto ao curso. A criao da escala originou trs nveis, cada nvel caracterizado por caractersticas relativas aos itens investigados. Embora a TRI possua muitas vantagens (EMBRETSON; REISE, 2000) ela apresenta tambm algumas limitaes, e uma delas est relacionada quanto ao tamanho da amostra. No presente estudo a amostra foi de 525 respondentes, e estimaram-se os parmetros com erros padres baixos, revelando que foram bem estimados, e possuindo uma maior preciso na medida. Esta aplicao permitiu criar uma escala de medida com o estabelecimento de itens tendo com base a TRI. Com esta aplicao verificou que a TRI fornece estimativas consistentes para medidas de traos latentes. Na medida de satisfao a aplicao da TRI permitir ter uma avaliao do fenmeno em estudo com mais preciso e consistncia e consequentemente fornecer informaes relevantes na tomada de decises. 5. Referncias Bibliogrficas 1. ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. 2000. Teoria de Resposta ao Item: conceitos e aplicaes. ABE Associao Brasileira de Estatstica, 4 SINAPE, 2000. 2. BEATON, A. E.: ALLEN, N. L. 1992. Interpreting scales through scale anchoring. Journal of Educational Statistics, 17, 191-204. 3. BORTOLOTTI, S. L. V. Aplicao de um modelo de desdobramento graduado generalizado da teoria da resposta ao item TRI. Dissertao (Mestrado) UFSC. Programa de Ps-Graduao em Engenharia de Produo. Florianpolis, 107 p., 2003. 4. EVRARD, Y. A Satisfao dos Consumidores: situao das pesquisas. Traduo realizada com fins acadmicos por Ana Maria Machado Toaldo, 1994. 5. EMBRETSON, S.; REISE, S. P. Item Response Theory for Psychologists. New Jersey: Lawrence Erlbaum Associates, Inc. Publishers, 2000.