APLICAO DA TEORIA DA RESPOSTA AO ITEM NA GESTO DA QUALIDADE: PROPOSTA DE UM MODELO PROBABILSTICO

Joo Welliandre Carneiro Alexandre(1) Dalton Francisco de Andrade Alan Pereira de Vasconcelos Ana Maria Souza de Araujo
Departamento de Estatstica e Matemtica Aplicada-UFC Campus do Pici, Bloco 910 CEP 60455-760 Fortaleza CE - (1) e-mail: jwca@ufc.br

ABSTRACT: In this article we propose the use of models of item response theory(IRT) in the constructs analysis of the total quality management(TQM), as an alternative to the measure classical theory(MCT). Interpretations of the models parameters are done. The results show that the IRT can be a powerfull tool in the analysis of TQM practices implementations and organizational maturity in quality philosophy. Keywords: Total Quality Management, Item Response Theory, TQM Constructs Analysis 1. Introduo Pesquisas organizacionais para a avaliao dos fatores crticos de sucesso na implantao da Gesto pela Qualidade Total - GQT foram introduzidas por SARAPH et al.(1989). Este trabalho, que pode ser considerado pioneiro nesta linha de pesquisa, sugere um construct para a modelagem dos fatores crticos da GQT, como tambm, apresenta um conjunto de prticas, isto , medidas operacionais da qualidade para a medio destes constructs. Sugiram, ento, diversos outros trabalhos nesta linha: BADRI (1994), TAMIMI (1995), TAMIMI et al. (1995), TAMIMI e GERSHON (1995), AHIRE (1996), HUQ e STOLEN (1998), ALEXANDRE (1999). Uma abordagem comum derivada destas pesquisas consiste em que a anlise decorrente dos resultados tem como nfase o instrumento de medio questionrio, como um todo: medidas estatsticas descritivas e tcnicas de inferncia estatstica so geralmente aplicadas. Esta abordagem denominada de Teoria Clssica de Medida (TCM) (CRONBACH, 1951). Contudo, outros questionamentos surgem dentro do processo de anlise destas pesquisas: 1. Como modelar probabilisticamente o grau de dificuldade de uma organizao implantar uma prtica da GQT? 2. Como modelar probabilisticamente a discriminao entre as organizaes quanto ao seu grau de maturidade na implantao de uma prtica da GQT? 3. Como representar o nvel de maturidade organizacional quanto GQT, atravs de um modelo probabilstico? A resposta para estas questes passa necessariamente pela utilizao de modelos que valorizem o item (questo) especfico. Contudo, a literatura carente em estudos destes modelos dentro da GQT. A proposta portanto, deste artigo, contribuir nesta linha de pesquisa sugerindo um modelo probabilstico na anlise dos construts da GQT, baseado na Teoria da Resposta ao Item TRI, a qual tem aplicao bastante difundida na rea educacional. Para maiores

detalhes ver LORD (1980), GRANGER et al. (1998) DeRAOS e MEARES (1998), ANDRADE (1999), ANDRADE et al. (2000). O foco deste artigo baseia-se na definio e interpretao dos parmetros do modelo sugerido, no estudo de sua adequabilidade e na discusso de uma aplicao. 2. A TRI Aplicada na GQT O modelo apresentado abaixo adequado para situaes onde o construct medido atravs de um questionrio estruturado, isto , objetivo, com respostas dicotomizadas, ou quando a anlise feita de forma dicotomizada dentro de uma avaliao subjetiva aberta. Como ilustrao pode ser citado: implantao da GQT satisfatrio ou no satisfatria, implantao acima ou abaixo da mdia, implantao efetiva ou no efetiva, etc. 2.1 O Modelo Geral para Itens Dicotomizados Este modelo, representado pela Figura 1, denominado de Modelo Logstico de Trs Parmetros. definido por P( U ij = 1 / j ) = ci + (1 ci ) 1 1+ e
Da i ( j b i )

Com i = 1, 2, 3, ... , p (representando as p prticas da GQT que medem o construct) j = 1, 2, 3, ... , n (representando as n organizaes pesquisadas) Classificando-se implanta ou no implanta satisfatoriamente as prticas da GQT como forma dicotomizada de representar as sentenas, interpreta-se como: - Uij uma varivel dicotmica, que assume o valor 1 (um) quando a j-sima organizao implanta satisfatoriamente a prtica da GQT, ou assume 0 (zero) quando a j-sima organizao no implanta satisfatoriamente. - j representa o grau de maturidade quanto GQT da j-sima organizao. Define-se como maturidade o nvel de implantao na organizao das prticas da GQT. - P(Uij = 1/j ) a probabilidade da j-sima organizao com grau de maturidade j aplicar satisfatoriamente a i-sima prtica da GQT. - bi o parmetro que representa a dificuldade de implantao da i-sima prtica, medido na mesma escala da maturidade. - ai o parmetro que representa o poder de discriminao das organizaes na i-sima prtica, com valor proporcional inclinao da curva no ponto bi. - ci o parmetro que representa a probabilidade da uma organizao com baixo grau de maturidade j implantar a prtica da GQT. - D um fator de escala, constante e igual a 1. Quando se deseja comparar este modelo com os resultados obtidos atravs da funo ogiva normal, utiliza-se D=1,7. Contudo, este no o objetivo deste trabalho e, neste sentido, o valor de D=1. 2.2 Interpretao dos Parmetros e Adequao do Modelo Interpretao parmetro b Este parmetro medido na mesma escala da maturidade . Na rea educacional ele est associado dificuldade de um indivduo responder corretamente uma questo. No contexto da qualidade ele est associado ao grau de dificuldade de uma organizao implantar a

prtica da GQT: medida que b cresce, aumenta o grau de dificuldade de implantao das prticas (o que significa que poucas organizaes as implantam) e vice-versa.

Curva caracterstica do item - CCI prob. de resposta correta 1,0 0,8 0,6 0,4 0,2 0,0 -4,0 c b a

iiiiiiii

-3,0

-2,0

-1,0

0,0

1,0

2,0

3,0

4,0

habilidade ( trao latente )

FIGURA 1: Curva Caracterstica do Modelo

A correspondncia entre o parmetro b e a maturidade organizacional consiste na premissa de que as organizaes que ainda no despertaram efetivamente para o modelo de gesto baseado na GQT, isto , com pouca maturidade, tero grandes dificuldades na implantao destas prticas. Esta afirmao torna-se possvel porque os parmetros de dificuldade e habilidade esto na mesma escala. Esta , provavelmente, uma vantagem significativa dos modelos da TRI sobre a TCM. Interpretao parmetro a Na rea educacional o parmetro a est relacionado com a discriminao dos indivduos quanto habilidade (conhecimento) no assunto. Sua interpretao dentro da qualidade est associada a discriminao das organizaes, quanto maturidade, na aplicao das prticas da qualidade. O valor de a proporcional derivada da tangente da curva no ponto b (ponto de inflexo ponto onde a curva muda de concavidade). Valores negativos para a significam que medida que uma organizao aumenta a sua maturidade, diminui a probabilidade dela implantar a prtica da GQT. Esta afirmao no tem sentido, uma vez que organizaes mais maduras, com uma cultura mais voltada para a qualidade tm um ambiente mais adequado para implantar este modelo. Assim, valores negativos para a no so esperados. Valores crescentes para o parmetro a conduzem ao formato mais ngreme da curva e, como conseqncia, a diferena entre as probabilidades de implantao da prtica entre organizaes com diferentes nveis de maturidade maior. Por outro lado, medida que a (a 0), a curva perde a sua forma de S de inclinao, tornando-se mais achatada, o que deriva como interpretao que organizaes com diferentes nveis de maturidade tm aproximadamente a mesma probabilidade de implantar a prtica. Atravs deste parmetro torna-se possvel tambm investigar se as prticas definidas para medir os constrcts foram bem elaboradas. Na educao itens com valores de a 1, significam que foram bem elaborados.

Interpretao do parmetro c Dentro do contexto da Educao (ver ANDRADE et al., 2000), este parmetro est associado probabilidade de um indivduo com baixa habilidade no tema da prova acertar a questo. o que pode ser denominado de acerto casual. O parmetro c uma probabilidade e, portanto, assume valores entre 0 e 1. Na interpretao deste parmetro dentro da qualidade cabe os seguintes questionamentos: Qual a probabilidade de uma organizao com baixo grau de maturidade na filosofia da qualidade implantar as prticas da GQT? Existe probabilidade de implantao das prticas da GQT associada ao acaso? A construo de modelos tericos da GQT evolui de forma inversa ao que normalmente ocorre: a princpio a implantao da filosofia da GQT era uma colcha de retalhos. A partir de experincias de sucessos das organizaes, diversos autores sintetizaram esta filosofia em um modelo terico conceitual. Como ilustrao pode ser citado SHIBA et al. (1994), MERLI (1994) e GALGANO (1994). Estas organizaes, contudo, j tinham conhecimento adquirido, isto , conhecimento intrnseco, sobre gesto pela qualidade. As implantaes dos elementos da GQT, portanto, no ocorreram de forma casual. Uma premissa bsica da filosofia da GQT seu enfoque sistmico: a definio da poltica e estratgia organizacionais devem ser desdobradas em aes sincronizadas por toda a organizao, desde a alta gerncia at o nvel operacional. Diante deste contexto, o valor assumido pelo parmetro c no mbito da GQT 0: a probabilidade de uma organizao com baixa maturidade implantar a GQT zero. Como conseqncia o modelo adequado o de 2 parmetros: discriminao e dificuldade. Uma ilustrao que visa referendar as interpretaes descritas acima e a adequabilidade do modelo, considerando a variao dos valores dos parmetros, com a teoria da GQT descrito na FIGURA 2. Comparao das prticas com igual valor para b. Comparando a prtica 2 com a prtica 4 (igualmente a prtica 1 com a 3) percebe-se que a diferena entre as probabilidades de implantao desta prtica entre organizaes com graus de maturidade diferentes maior para as prticas que tm maiores valores para o parmetro a. Em particular sejam 1=1 e 2=2, a diferena para a prtica 4 0,358 (= 0,679 0,321) e para a prtica 2 0,222 (= 0,611 0,389). Isto significa que a prtica 4 melhor apropriada para discriminar entre duas organizaes do que a prtica 2. neste sentido que o parmetro a chamado de parmetro de discriminao. Comparao de prticas com iguais valores de a. Comparando, agora, as prticas 1 e 2 (igualmente as prticas 3 e 4) percebe-se que para as prticas com maiores valores de b exigem uma maior maturidade para uma mesma probabilidade de implantao da prtica. Como ilustrao, a maturidade requerida para uma probabilidade de implantao 0,4 igual a 1,3 para a prtica 1 e igual a 1,2 para a prtica 2. Isto , a prtica 2 mais difcil de implantar do que a prtica 1. desta forma que b denominado de parmetro de dificuldade. 2.3 O Parmetro de Maturidade Organizacional O parmetro representa um trao latente (varivel que no pode ser medida diretamente) associado a maturidade organizacional. Teoricamente este parmetro pode assumir valores de - e +. preciso, portanto, estabelecer uma origem e uma unidade de medida para a definio da escala de maturidade. Estes valores so determinados de forma a representarem, respectivamente, a mdia () e o desvio-padro () das maturidades das organizaes inseridas no estudo. Uma escala bastante utilizada na TRI representada por (0,1), a qual foi utilizada nas aplicaes deste artigo.

Em termos prticos, no existe a menor diferena em estabelecer qualquer outro tipo de escala. O importante so as relaes existentes entre seus pontos. Por exemplo, na escala (0,1) uma organizao com maturidade 1,20 est 1,20 desvios-padro acima da maturidade mdia. Caso fosse utilizado a escala (200,40) e o valor da maturidade fosse 248, a interpretao seria a mesma. O grande desafio consiste na criao de uma interpretao prtica para a escala de maturidade: o que significa em termos de maturidade, uma organizao com valor de =2 na escala (0,1)?
Prtica 1: a1=0.9; b1= -0.5 1 probabilidade de implementao da prtica 0,8 0,6 0,4 0,2 0 -3 -2 -1 0 1 2 3 m aturidade probabilida de implementao da prtica Prtica 2: a2=0,9; b2=1,5 1 0,8 0,6 0,4 0,2 0 -3 -2 -1 0 1 2 3 m aturidade

Prtica 3: a3=1,5; b3=-0,5 1 probabilidade de implementao da prtica probabilidade de implementao da prtica 0,8 0,6 0,4 0,2 0 -3 -2 -1 0 1 2 3 m aturidade

Prtica 4: a4=1,5; b4=1,5 1 0,8 0,6 0,4 0,2 0 -3 -2 -1 0 1 2 3 m aturidade

FIGURA 2: Curva Caracterstica das Prticas: uma interpretao sobre os parmetros

3 Uma Aplicao O modelo foi aplicado aos resultados de uma pesquisa realizada em Fortaleza-CE, nos meses de agosto de 1998 a janeiro de 1999, que tinha como objetivo investigar as prticas da GQT no setor manufatureiro de portes mdio e grande do estado de Cear (para maiores detalhes ver ALEXANDRE, 1999). A escala de Likert com dimenses de 1 (discordo totalmente) 5 (concordo totalmente), foi utilizada nas sentenas que mediam os constructs da GQT segundo um modelo de referncia (Tabela 1). O entrevistado marcava a dimenso nas sentenas, conforme a indstria se enquadrava da escala. Para efeito da aplicao deste modelo (dicotomizado), as dimenses da escala de Likert foram recodificadas em: aplica satisfatoriamente a prtica da GQT (dimenses 4 e 5); no aplica satisfatoriamente a prtica da GQT (dimenses 1, 2 e 3). Nesta anlise e considerando que no h referncia da aplicao da TRI na GQT, assumese, que valores de a 0,7 fornecem uma indicao que a prtica definida para medir o construct foi bem elaborada. Assim, dentre as 43 prticas inseridas no questionrio, somente 5 delas tm valores menores que 0,7: prticas 3.1, 3.2, 4.3, 6.1, 6.2.

TABELA 1: Distribuio dos itens (prticas da GQT) e os parmetros da TRI ELEMENTOS DA GQT/DESCRIO DAS PRTICAS (ITENS)
1. Comprometimento da alta administrao 1.1 Avaliao Peridica da qualidade executada pela alta administrao 1.2 Discusso da importncia da qualidade pela alta administrao 1.3 Alocao de verbas e recursos para a qualidade definidos em oramento 1.4 Definio(identificao) e documentao das metas da qualidade 1.5 As metas da qualidade inseridas no planejamento estratgico da empresa 1.6 Comunicao ativa da alta administrao do compromisso pela qualidade 2. Foco no consumidor: 2.1 Comparao da satisfao do cliente com indicadores internos/concorrentes 2.2 Fornecimento das reclamaes dos consumidores a todos os departamentos 2.3 Utilizao das reclamaes do cliente como base para a melhoria da qualidade 2.4 Manuteno de um servio de atendimento ao consumidor 2.5 Realizao peridica de pesquisas junto ao consumidor 3. Parceria com o fornecedor: 3.1 Qualidade e preo como critrios para a seleo do fornecedor (*) 3.2 Realizao de contratos de longo prazo com fornecedor (*) 3.3 Fornecimento de assistncia tcnica ao fornecedor 3.4 Participao do fornecedor no processo de desenvolvimento e fabricao 4. Envolvimento dos funcionrios (relao com os funcionrios) 4.1 Realizao peridica de reunies em cada rea para discusso sobre qualidade 4.2 Reunies peridicas de equipes inter-funcionais p/ discusso sobre qualidade 4.3 Avaliao de todas as sugestes dos funcionrios (*) 4.4 Implantao das sugestes dos funcionrios 4.5 Prmios/recompensas no financeiras pelas melhores sugestes 5. Treinamento: 5.1 Alocao de recursos necessrios para o treinamento em qualidade 5.2 Envolvimento de todos os escales no treinamento em qualidade 5.3 Treinamento de muitos funcionrios em tcnicas de soluo de problemas 5.4 Treinamento dos funcionrios em ferramentas/tcnicas estatsticas 6. Mensurao da Qualidade: 6.1 Execuo de inspees por amostragem durante o processo de produo (*) 6.2 Avaliao da qualidade no executada somente com inspeo final (*) 6.3 Medio peridica dos desperdcios e falhas de produto no-conforme 6.4 Manuteno de registros das avaliaes da qualidade 6.5 Fornecimento dos resultados das avaliaes a todos os funcionrios 6.6 Resultados das avaliaes como suporte para a melhoria da qualidade 7. Melhoria Contnua: 7.1 Manuteno de estrutura organizacional especfica para apoiar a Qualidade 7.2 H programa formal para a reduo de tempo e custo nos processos internos 7.3 Execuo de avaliaes nos processos chaves de produo 7.4 H um programa formal para a reduo do tempo de entrega de produto 7.5 H um programa formal para a reduo do tempo de fabricao 8. Benchmarking: 8.1 Visita em outras organizaes reconhecidamente lderes 8.2 Efetivo procedimento de benchmarking dos competidores mais fortes 8.3 Efetivo procedimento de benchmarking com lderes no competidores 8.4 Manuteno efetiva do benchmarking como uma poltica da empresa 9. Empowerment(delegao de poderes) aos funcionrios: 9.1 Delegao de poderes aos funcionrios para a soluo de problemas 9.2 Fornecimento de apoio aos funcionrios para a soluo de problemas 9.3 Inspeo da qualidade executada pelos funcionrios (no por um inspetor) 9.4 Divulgao das experincias de sucesso na soluo de problemas PARMETROS

a
1,706 1,885 1,482 2,638 1,441 1,384 1,038 0,732 1,241 1,089 1,032 0,512 0,408 2,003 0,807 1,289 1,804 0,568 0,738 0,896 1,014 1,156 1,983 1,660 0,669 0,526 0,844 1,164 1,183 1,403 1,178 1,312 1,389 0,963 1,147 1,125 0,825 1,158 0,825 0,857 1,228 0,935 0,929

b
-0,925 -1,344 -0,677 -0,383 -1,060 -0,405 -0,953 0,246 -1,708 -0,520 0,523 -4,166 2,316 0,638 0,460 0,105 -0,367 -1,527 -1,370 1,291 0,740 -0,697 0,640 1,052 -2,639 -2,663 -2,268 -1,034 1,016 -1,073 -0,009 0,700 -0,945 0,268 -0,194 0,116 1,459 1,501 0,300 -1,240 -1,626 -0,284 0,488

Valores negativos para b significam que mais de 50% das indstrias aplicam aquela prtica: caso contrrio, isto , valores positivos para b significam que menos de 50% das indstrias aplicam a prtica. Isto fornece uma indicao da dificuldade de implantao. A Tabela 2 apresenta as estimativas do parmetro de maturidade , para as 75 indstrias inseridas na pesquisa. Mesmo considerando que neste artigo no fornecida uma interpretao prtica para a escala da maturidade, uma anlise nos valores extremos revela que: as indstrias de nmeros 32 (=-2,340) e 53 (=-2,932) so cearenses de porte mdio e no tm qualquer programa de gesto da qualidade; as polticas das indstrias so, respectivamente, implantar primeiro a GQT e depois a ISO 9000 e no implantar nem a ISO 9000 nem a GQT. As indstrias de nmeros 10 (=1,762) e 70 (=2,649) so nocearenses de portes, respectivamente, mdio e grande. Ambas tm programas formais de GQT, com experincia acima de 2 anos e como fator principal para a adoo do modelo a busca da melhoria dos processos. Estes resultados preliminares parecem confirmar a adequabilidade do modelo: quanto maior o valor para , maior a maturidade organizacional na filosofia da GQT.
TABELA 2: Estimativas dos Parmetros de Maturidade das 75 indstrias pesquisadas
1= 0,792 2= 0,425 3=-0,038 4= 0,518 5= 1,505 6=-0,447 7=-0,350 8=-0,392 9=-0,452 10= 1,762 11=-1,337 12= 1,112 13= 1,422 14=-0,467 15=-0,903 16= 0,611 17=-0,358 18= 1,046 19= 0,414 20= 0,463 21=-0,362 22= 0,860 23=-0,478 24= 1,558 25=-2,317 26=-1,112 27=-0,451 28=-1,504 29=-2,110 30=-0,443 31= 0,439 32=-2,340 33= 0,448 34=-1,374 35= 0,414 36= 1,350 37=-0,477 38= 1,422 39= 0,067 40= 0,709 41=-0,861 42=-1,272 43=-0,508 44=-0,411 45=-0,745 46=-1,322 47= 1,633 48=-1,336 49=-0,397 50= 0,489 51=-1,258 52=-1,326 53=-2,923 54=-1,185 55= 0,469 56= 0,516 57=-0,378 58= 1,566 59=-0,446 60=-0,460 61= 0,411 62= 0,386 63=-0,450 64= 1,084 73= 1,281 65= 0,388 74=-0,432 66=-0,489 75=-0,652 67=-2,034 68= 1,295 69= 1,534 70= 2,649 71= 0,901 72= 1,081

4 Concluses e Sugestes O modelo proposto da TRI revelou-se uma ferramenta poderosa de aplicao na GQT como alternativa TCM. As interpretaes dos parmetros e os resultados obtidos da aplicao so amplamente satisfatrios. Futuras pesquisas tornam-se necessrias para corroborar a aplicao da TRI na GQT: melhores estimativas dos parmetros, determinao da mtrica e interpretao do parmetro de maturidade e a utilizao de outros modelos para representar a escala original de Likert (categorizada ordinal) so algumas sugestes. Bibliografia AHIRE, Sanjay L. TQM age versus quality: an empirical investigation. Production and Inventory Management Journal, fisrt quarter, v. 37, n. 1, p. 18-23, 1996. ALEXANDRE, Joo Welliandre Carneiro. Uma investigao das prticas da gesto da qualidade total no setor manufatureiro do estado do Cear. So Paulo, 1999. Tese (Doutorado). Departamento de Engenharia de Produo Escola Politcnica USP. ANDRADE, Dalton Francisco de. Comparando o desempenho de grupos (populaes) de respondentes atravs da teoria da resposta ao item. Cear, 1999. Tese apresentada ao Departamento de Estatstica e Matemtica Aplicada na UFC para o concurso de professor titular.

ANDRADE, Dalton Francisco de ; TAVARES, Hliton Ribeiro ; VALLE, Raquel da Cunha. Teoria da resposta ao item: conceitos e aplicaes. So Paulo, 14o. SINAPE, ABE-Associao Brasileira de Estatstica, 2000. BADRI, Masood A. ; DONALD, Davis ; DONNA, Davis. A study of measuring the critical factors of quality management. International Journal of Quality & Riability Management, v.12, n. 2, p. 36-53, 1995. CRONBACH, L. J. Coefficient alpha and the internal structure of tests. Psychometrika, v. 16, p. 297-334, 1951. DeROOS, Yosikazu ; MEARES, Paula Allen. Application of Rasch analysis: exploring differences in depression between african-american and white children. Journal of Social Service Research, v. 23, n. 3/4, p. 93-107, 1998. GALGANO, Alberto. Calidad total: clave estratgica para la competitivid de la empresa. Ediociones Diaz de Santos S.A., 1993. GRANGER, Carl V. ; DEUTSCH, Anne. Rasch analysis of the functional independence measure (FIMTM) mastery test. Arch Phys med Rehabil, january, v. 79, p. 52-7, 1998. LORD, F. M. Applications of item response theory to practical testing problems. Hillsdale: Lawrence Erlbaum Associates, Inc., 1980. MERLI, G. Eurochallenge: the TQM approach to capturing global markets. Oxford-UK, IFS Ltd, 1993. TAMIMI, N. An empirical investigation of critical TQM factors using exploratory factor analysis. International Journal and Product Reaserch, v. 33, n. 11, p. 3041-51, 1995. TAMIMI, Nabil ; GERSHON, Mark. A tool foi assessing industry TQM practice versus the Deming philosophy. Production and Inventory Management Journal, fisrt quarter, v. 36, n. 1, p. 27-32, 1995. TAMIMI, Nabil ; GERSHON, Mark ; CURRALL, Steven C. Assessig the psychometric properties of Demings 14 principles. Quality Management Journal, spring, v. 2, n. 3, p. 38-52, 1995. HUQ, Ziaul ; STOLEN, Justin D. Total quality management contrasts in manufacturing and service industries. International Journal of Quality & Riability Management, v.15, n. 2, p. 138-61, 1998. SARAPH, Jayant V. ; BENSON, P. George ; SCHROEDER, Roger G. An instrument for measuring the critical factors of quality management. Decision Sciences, v. 20, n. 4, p. 810-29, 1989. SHIBA, Shoji ; GRAHAM, Alan ; WALDEN, David. A new american TQM: four practical revolutions in management. Portland, Productivity Press, 1993.