Você está na página 1de 32

Anlise dos Sistemas de Medio por Atributo

Propsito dos Estudos de MSA por Atributos


Determinar se os inspetores, de todos os turnos, mquinas, linhas, etc. usam os mesmos critrios para discriminar bons de ruins. Quantificar a habilidade dos inspetores ou instrumentos para repetir com acuracidade suas decises durante as inspees. Identificar quo bem os inspetores verificam a conformidade com um padro conhecido (possivelmente definido pelo cliente), que inclui: Quo frequentemente os operadores embarcam produtos defeituosos Quo frequentemente os operadores no embarcam produtos aceitveis Descobrir reas onde: Treinamento necessrio Procedimentos ou planos de controle esto falhando Padres no esto claramente definidos Ajustes ou correlao so necessrios

Propsito dos Estudos de MSA por Atributos

Existem vrios tipos de estudos para medies por atribuitos. So eles : 1. Estudo por Atributos do AIAG1 Mtodo Curto Mtodo Longo 2. Mtodo da Capabilidade do Instrumento2 3. Mtodo Kappa3 4. Inter Class Correlation (ICC)

Metodologia Clssica de R&R por Atributos


1) Selecione um mnimo de 100* peas do processo
45% das peas deveriam ter defeitos 45% das peas deveriam ser livres de defeitos 10% (se possvel) deveriam ser peas limtrofes

2) Identifique os inspetores (que deveriam ser qualificados e experientes), e os instrumentos. 3) Faa com que cada inspetor, independentemente e em ordem aleatria, verifique as peas e determine se estas passam ou no. Repita o processo. 4) Inclua os dados na planilha, para reportar a eficcia do Sistema de Medio. 5) Documente os resultados. Implemente aes apropriadas para corrigir o processo de inspeo, se necessrio. 6) Repita o estudo para verificar a eficcia das aes.

Amostragem de Dados por Atributo


Tamanho da amostra Maior melhor Tente inicialmente com 100 amostras, mnimo de 2 inspetores, e 2 trials Isto vai dar 95% de confiana no Mtodo Clssico

Seleo das Peas da Amostra As peas do estudo deveriam representar toda a faixa de variao.
45% das peas do seu estudo deveriam ser defeituosas 45% das peas deveriam ser livres de defeitos 10% (se possvel) deveriam ser marginais

MSA Clssico por Atributos - Mtodo da Capabilidade do Instrumento


1. Selecione SPC XL no menu principal 2. Escolha MSA (gage capability) 3. Selecione Create MSA Template 4. Entre nmero de inspetores 5. Entre nmero de trials 6. Entre nmero de peas 7. Entre limites especificados

1 2 3

4 5 6

Criando um MSA Clssico por Atributos


Uma nova planilha ser criada para entrada de dados. O exemplo abaixo para 3 operadores, 3 replicaes e 8 peas.

Nota: dados DEVEM ser includos como A ou R

Incluir com os Valores de Referncia (reais)


7

MSA Clssico por Atributos

1. Selecione SPC XL do menu principal 2. Escolha MSA (gage capability) 3. Escolha Attribute Analysis

Uma planilha ser criada: Attribute Analysis

MSA Clssico por Atributos

As seguintes anlises sero feitas:


Efetividade (E): A habilidade de um inspetor distinguir entre peas defeituosas e no defeituosas. A Efetividade o nmero de peas identificadas corretamente, dividido pelo nmero total de oportunidades de estar correto. P(FR), Probabilidade de Falsas Rejeies: A possibilidade de rejeitar uma pea boa. O nmero de vezes que peas boas so rejeitadas como ruins, dividido pelo nmero total de oportunidades de classificar peas boas. P(FA), Probabilidade de Falsa Aceitao: A possibilidade de aceitar uma pea ruim. O nmero de vezes que peas ruins so aceitas como boas, dividido pelo nmero total de oportunidades de classificar peas ruins. BIAS or B: A medio da tendncia que tem um inspetor de falsamente classificar uma pea como boa ou ruim. O BIAS computado como sendo o P(FR) dividido pelo P(FA).

MSA Clssico por Atributos

Seguem algumas regras prticas para os parmetros de R&R por atributos.


Regras Prticas Parmetro Aceitvel E >= .90 P(FR) <= .05 P(FA) <= .02 B .80 - 1.20

Marginal .80 - .90 .05 - .10 .02 - .05 .05 - .80 ou 1.20 - 1.50

Inaceitvel < .8 > .10 > .05 < .50 ou > 1.50

10

Melhoria de um MSA por Atributo


Dados por atributo so geralmente gerados em processos com avaliao em 100% dos produtos. Avaliao em 100% dos produtos realizada quando o processo incapaz de gerar altos ndices de peas aceitveis. Consequentemente, um nmero considervel de peas limtrofes (boas ou ruins) esto sendo produzidas. A variabilidade inerente, presente em qualquer processo/sistema de avaliao, vai resultar na rejeio de um grande nmero de peas aceitveis, e na aceitao de um grande nmero de peas defeituosas. Desta forma, deveramos concentrar a maior parte de nossos esforos na melhoria da capabilidade do processo, e no no aperfeioamento dos sistemas de avaliao. Voc tambm deveria mudar para um sistema de medio contnuo, se possvel.

11

MSA por Atributos Mtodo Kappa


O que :
Kappa uma estatstica usada para medir concordncia / discordncia. Sua histria vem das cincias sociais.

Quando:
Classificaes so binrias (verdadeiro/falso, bom/ruim)

Pressupostos:
Kappa representa a concordncia absoluta entre as classificaes. Kappa trata todos os erros de classificao igualmente. Os coeficientes de Kendall medem as associaes entre as classificaes. Os coeficientes de Kendall no tratam os erros de classificao igualmente. As consequncias de errar a classificao de um tem perfeito (nota 5) como ruim (nota 1) so mais srias do que classific-lo como bom (nota 4).

MSA - Mtodo Kappa Amostragem


Tamanho da Amostra Mais melhor Comece com 100 amostras, mnimo de 2 inspetores, e 2 replicaes Isto vai dar 95% de confiana no Kappa Seleo das Peas da Amostra As peas do estudo deveriam representar toda a faixa de variao Para maior confiabilidade no Kappa, deveramos ter um mix de 50/50 de peas boas /ruins Uma taxa de 30/70 aceitvel - alm disso, qualquer simples discordncia ter um grande efeito no Kappa
13

MSA - Mtodo Kappa

O que o Kappa? Uma estatstica usada para medir a concordncia / discordncia.

Pobservado - Pacaso

Kappa =
1 - Pacaso
A regra geral para interpretar o Kappa : < 0.7 O sistema de medio requer ateno 0.7 0.9 Geralmente aceitvel, melhorias podem ser necessrias, dependendo da aplicao > 0.9 Excelente Sistema de Medio

MSA Mtodo Kappa - Exemplo


O time decide investigar profundamente o processo de inspeo das discrepncias de pedidos. Dez pedidos foram selecionados, de diferentes dias. Juizes 1 e 2 foram escolhidos para o estudo.

Os dados foram coletados usando amostragem cega.

Pedido 1 2 3 4 5 6 7 8 9 10

Juz 1 Bom Bom Bom Ruim Bom Bom Bom Bom Ruim Bom 80% Bom

Juz 2 Bom Ruim Bom Ruim Bom Bom Ruim Ruim Ruim Bom 50% Bom

Concordncia S N S S S S N N S S 70%

15

MSA Mtodo Kappa - Exemplo

A proporo onde os inspetores concordam : Pobservada = 0.7 Qual proporo pode ter ocorrido por acaso? Pacaso = (P juiz 1 Boas)(P juiz 2 Boas) + (Pjuiz 1 Ruins)(Pjuiz 2 Ruins) Pacaso = (.8)(.5) + (.2)(.5) = .5 Kappa compara a proporo de concordncia entre os inspetores, aps remover a concordncia por acaso. Pobservada - Pacaso
Kappa =

1 - Pacaso 1. Qual seria o Kappa se os inspetores concordassem em todas as peas? 2. Como voc interpretaria um Kappa igual a Zero? 3. Qual seria o Kappa se os inspetores nunca concordassem?
16

Ilustrao de uma Anlise Kappa


Kappa compara a proporo de concordncia entre os inspetores, depois de remover a concordncia por acaso.
Kappa = Pobservada - Pacaso 1 - Pacaso

Ento, neste caso, Kappa resulta:


Kappa =

_____ _____ .......... 1 ____

Baseado nos resultados deste estudo de medio, que aes voc recomenda?

17

Exerccio de MSA usando o Mtodo Kappa

Usando os dados do exerccio anterior, calcule o Kappa usando uma planilha Excel chamada KappaSolver.xls

18

Kappa Prs e Contras

Prs
Os valores de Kappa so facilmente calculados em softwares prontamente disponveis (ex., Excel, Minitab, SAS, SPSS, etc.). Os valores de Kappa so apropriados para testar se as concordncias excedem os nveis do acaso, para classificaes binrias e nominais.

Contras
Kappa no realmente uma medida de concordncia livre do acaso.
Kappa um ndice geral de concordncia. No faz distino entre os diversos tipos e fontes de discordncia.

19

Kappa Prs e Contras

Contras
Kappa influenciado pela distribuio e pelo tamanho da base. Como resultado, o Kappa raramente comparvel entre estudos, procedimentos ou populaes (Thompson & Walter, 1988; Feinstein & Cicchetti, 1990).

O Kappa pode ser baixo mesmo que hajam altos ndices de concordncia, e mesmo que as classes individuais sejam precisas. Saber se um valor de Kappa implica em um bom ou mau sistema de classificao, ou sistema de diagnstico, depende de qual modelo foi definido para a tomada de deciso dos inspetores (Uebersax, 1988). Com dados de categorias valorados, deve-se escolher os pesos arbitrariamente, para se obter um Kappa (Maclure & Willet, 1987).

20

Kappa Prs e Contras

Contras
Kappa requer que os dois inspetores/procedimentos usem as mesmas categorias de classificao. Existem situaes onde estamos interessados em medir a consistncia das classificaes, para inspetores usando diferentes categorias (ex., um usa uma escala de 1 a 3, e outro usa uma escala de 1 a 5).

21

Apndice C: Kappa MSA Algumas Palavras de Cautela


Alguns leitores podem estranhar porque o Kappa no recomendado mais fortemente. Ela cria pressupostos tericos implcitos que so arbitrrios e no testados, ela no separa os diferentes componentes da discordncia, e ela no expressa a concordncia em termos que sejam especialmente teis. H um consenso crescente entre os estatsticos que os coeficientes Kappa esto sendo vastamente superestimados, e que eles no deveriam ser definitivamente vistos como o mtodo padro para medir concordncias.

22

Apndice C: Kappa MSA Algumas Palavras de Cautela


Embora o coeficiente Kappa tenha sido muito popular por muitos anos, existe um criticismo crescente quanto ao seu uso. Por fim, pode ser dito que:
1) O Kappa no deveria ser visto como o mtodo padro para quantificar a concordncia. 2) Deveria ser motivo de preocupao, o uso de uma estatstica que provoca tanta controvrsia.

3) Deveriam ser consideradas algumas das alternativas para se fazer uma tomada de deciso consciente.

23

Apndice C: Kappa MSA Algumas Palavras de Cautela


possvel distinguir dois possveis usos para o Kappa: como uma maneira de testar a independncia entre os avaliadores (ou seja, como uma estatstica de teste), e como uma maneira de quantificar o nvel de concordncia (ou seja, uma medida do tamanho do efeito).
O primeiro uso envolve o teste da hiptese de que no possvel haver mais concordncia do que aquela que seria obtida por acaso, por tentativas randmicas; ou seja, uma deciso binria se os avaliadores so independentes ou no. O Kappa apropriado para este fim (embora saber que os avaliadores no muito informativo - eles so dependentes por definio, j que esto avaliando os mesmos casos).

24

Apndice C: Kappa MSA Algumas Palavras de Cautela


o segundo uso do Kappa - quantificar os nveis reais de concordncia - que causa preocupao. Os clculos do Kappa usam um termo chamado Proporo de Concordncia por Acaso (ou esperada). Esta interpretada como a proporo de vezes que os avaliadores iriam concordar por puro acaso. Porm, o termo relevante apenas sob condies de independncia estatstica dos avaliadores. Porm, como os avaliadores so claramente no dependentes, a relevncia deste termo, e sua propriedade como uma correo para o nvel real de concordncia muito questionvel.

25

Apndice C: Kappa MSA Algumas Palavras de Cautela


Assim, a declarao comum de que o Kappa uma Medida, corrigida quanto ao acaso, do grau de concordncia problemtica. Como uma estatstica de teste, o Kappa pode verificar se a concordncia excede os nveis do acaso. Porm, como uma medida do grau de concordncia, o Kappa no corrigido quanto ao acaso; porque, na ausncia de algum modelo explcito de tomada de deciso do avaliador, no fica claro como o acaso afeta as decises dos avaliadores, e como isto poderia ser corrigido.

26

Apndice C: Kappa MSA Algumas Palavras de Cautela

Uma melhor maneira de usar o Kappa para quantificar a concordncia dos avaliadores seria, sob certas condies, aproximar a correlao intra-classe. Mas isto tambm muito problemtico no sentido que: 1) estas condies no so sempre atingidas, e 2) esta quantificao poderia ser obtida diretamente pelo uso da correlao intra-classe (ICC).

27

Dados por Atributo - ICC


Quando os dados por atributo podem ser representados por 3 ou mais categorias, que podem ser classificados em uma lista, a Correlao IntraClasse pode ser usada para avaliar o sistema de medio. Ao contrrio do Kappa, a Correlao Intra-Classe (ICC) no trata os erros de classificao igualmente, isto , a diferena entre sempre e algumas vezes menor que a diferena entre sempre e nunca. KAPPA: SIM ou NO ICC: SEMPRE / ALGUMAS VEZES / NUNCA Como o Kappa, valores de ICC iguais a 0.7 e acima so considerados aceitveis, e 0,9 considerado excelente. Valores abaixo de 0.7 indicam que melhorias no sistema de medio podem ser requeridas.

28

ICC Concordncia dos Avaliadores


O que o ICC est avaliando o nvel de acordo entre os inspetores. Mas a deciso agora : Algumas vezes (1) Sempre (2) Nunca (3) A pontuao agora baseada em uma tabela relativa de decises. A aceitao para valores maiores que 0,7.

Judge 1 Judge 2 Judge 3 1 2 1 2 2 3 2 2 2 3 3 3 2 2 3 3 3 3 1 2 1 1 1 1 2 2 2 1 1 1 Each Judges ratings ICC = 0,795212766 2 2 3 ICC = 0,920944559 Average of Judges ratings 3 3 3 2 2 2 3 3 3 Estes resultados mostram um alto grau de CONCORDNCIA. 1 2 2 Isto significa um reflexo muito preciso da variao na tomada de deciso baseada no sistema de medio.

29

MSA por Atributo - Mtodo ICC


A qualidade de uma pontuao individual: - MS P Insp* P ICC = MS + (k- 1)MS P Insp* P A pontuao mdia dos inspetores deve ser usada. Neste caso: MS ICC = P - MS MS Insp*P MS

Se voc omitir a interao do modelo, esta ser identificada como erro (MSInsp*Pea = MSErro)

30

ICC_Solver.XLS

31

Referncias

1. Automotive Industry Action Group (AIAG) (1995). Measurement Systems Analysis Reference Manual. Chrysler, Ford, General Motors Supplier Quality Requirements Task Force. 2. Douglas C. Montgomery and George C. Runger (1993-4). "Gauge Capability and Designed Experiments. Part I: Basic Methods," Quality Engineering 6(1), pp.115-135. 3. Minitab Statistical Software, Release 13.3 or higher

32