NDICE DE CONCORDNCIA INTRA E ENTREOBSERVADORES Estatstica k / Coeficiente

Paulo R. Margotto www.paulomargotto.com.br / pmargotto@gmail.com (tau)

de Kendall

Professor do Curso de Medicina da Escola Superior de Cincias da Sade (ESCS)/SES/DF e Coordenador do Internato Sade da Criana da 6 Srie no Hospital Regional da Asa Sul (HRAS) O ndice de concordncia intra e entre-observadores constitui uma medida utilizada para analisar o acordo entre dois intervalos de observao (intraobservadores) e entre avaliadores (entre-observadores) na atribuio de categorias de uma varivel categrica. Em ingls este procedimento geralmente designado por interjudge reliability ou interobserver reliability. uma importante medida para determinar o quo bem funciona uma aplicao de alguma medio. A medida estatstica de confiabilidade o kappa de Cohen, descrito em 1960. O kappa uma medida de concordncia intra e entre-observador e mede o grau de concordncia alm do que seria esperado to somente pelo acaso e varia geralmente de 01 (embora os nmeros negativos sejam possveis) onde um grande nmero significa maior confiabilidade, valores prximos ou menores que zero sugerem que o acrdo atribuvel ao acaso. Como interpetar o kappa: O Kappa varia de +1 a -1 +1: significa que os dois observadores concordaram perfeitamente. Eles classificaram a todos exatamente da mesma forma 0: significa que no existe nenhuma relao entre as classificaes dos dois observadores, acima da concordncia de acasos que seriam esperadas. -1 significa que os dois observadores classificaram exatamente o oposto. Se um observador diz SIM, o outro sempre diz NO A magnitude da Estatstica k uma medida de concordncia bastante mais significativa do que a sua prpria significncia estatstica. O erro padro da estatstica k permite-nos estimar a sua significncia estatstica e tambm o seu intervalo de confiana de 95%. (Pinto et al). Por exemplo, um ndice kappa de 0,77 com erro padro de 0,03, o seu intervalo de confiana ser: multiplique 0,03 por 1,96=0,058 que semelhante a 0,06 e agora subtraia e some ao ndice kappa e teremos: 0,77 -0,06=0,71 e 0,77 + 0,06=0,82 e o intervalo de confiana ser: 0,71-0,82). significativo por no conter a unidade) (Fescina, 23/6/1988). Segundo Pinto, a sua interpretao considerada sempre subjetiva e se d por comparao dos valores obtidos s faixas de valores para verificao da concordncia. Vamos fornecer dois guias para o uso do ndice de kappa em epidemiologia e medicina:

1-Nigel Paneth: kappa > 0,80 : considerado excelente. kappa 0,60 0,80 : considerado bom. kappa 0,40 0,60 : considerado regular. kappa < 0,40 : considerado ruim

2- Landis & Koch, 1977: Valores de Concordncia-ndice Kappa

(esta tabela considerada por demais otimista por alguns autores) Como regra, valores de kappa 0,40-0,59 so considerados moderados, 60-0,79 substancial, e 0,80 excepcional (Landis & Koch, 1977). A maioria dos estatsticos prefere que os valores kappa sejam maiores que 0,6 e na maioria das vezes superiores a 0,7 antes de reivindicar um bom nvel de concordncia. importante que se conhea a prevalncia da patologia em estudo na avaliao da concordncia entre-observadores. O valor de k depende da prevalncia da patologia em estudo. Uma grande prevalncia resulta num alto nvel de concordncia esperada pelo acaso, o que resultar num valor de k mais baixo. Por sua vez, uma patologia de baixa prevalncia dar origem valores de k mais altos. Assim, possvel cometer erro ao se basear neste ndice na comparao de dois estudos com prevalncias distintas (Pinto et al). Vejamos exemplos: 1-Variabilidade interobservadores na graduao do tempo de enchimento capilar por enfermeiras e assistentes de enfermeiras. Estudo realizado por Brabrand et al, em 2010 na Dinamarca. O tempo de enchimento capilar influenciado por muitos fatores. Estudos anteriores de variablidade interobservadores envolveram muitos pacientes, mas poucos observadores. O objetivo do estudo foi determinar como um grande grupo de enfermeiras (9) e assistentes de enfermeiras (37) graduariam o etempo de enchimento capilar.O ndice kappa para o valor de normalidade foi de 0,56 e entre classes, 0,62. Os autores consideraram que houve somente um regular acrdo para o valor exato do tempo de enchimento capilar, assim como para a normalidade. Os autores acreditam que o tempo de enchimento capilar deveria ser usado com cuidado na prtica clnica. 2- Avaliao nutricional (descrio da concordncia entre os avaliadores), do estudo de Beghetto et al. Quando avaliada a concordncia entre o observador de referncia e o segundo observador, considerando-se 4 categorias para o percentual de perda de peso, segundo os autores, foi identificada moderada concordncia entre os observadores (kappa = 0,74; IC95%: 0,63-0,85; p<0,001) e plena concordncia nas duas categorias que agruparam pacientes que perderam > 5% do peso corporal em 6 meses. Considerando-se a classificao do IMC tambm em 4 categorias , foi identificada excelente concordncia entre os observadores (kappa = 0,98; IC95%: 0,95-1,0; p<0,001), quando somente um paciente foi classificado de modo discordante (classificado como eutrfico pelo avaliador de referncia e como sobrepeso pelo avaliador 2). Em relao Avaliao Nutricional subjetiva global (ANSG), avaliada em 3 categorias, foi obtida discreta concordncia entre os observadores (kappa = 0,46; IC95%: 0,31-0,60; p<0,001).

3-Concordncia entre avaliadores, na seleo inicial de artigos em estudo de reviso sistemtica com ou sem metanlise (estudo de Oliveira et al). Os autores usaram como exemplo dados da fase inicial do estudo Suplementao de vitamina A em lactantes: reviso sistemtica. Estes constituem o resultado da leitura, realizada por dois avaliadores, de resumos de artigos selecionados, criteriosamente, em bases bibliogrficas eletrnicas. Para cada resumo, foram respondidas as questes: O estudo envolve mulheres no ps-parto?; Trata-se de um estudo com suplementao de vitamina A?; O estudo ensaio clnico?; seguidas da deciso (incluso/excluso) do trabalho. Os dados foram inseridos em planilha Excel, com dupla digitao e uso de procedimento de validao. Utilizou-se o ndice de concordncia kappa para os aspectos: populao, interveno, tipo de estudo e deciso. Foram identificados 2.553 trabalhos. Os ndices de concordncia kappa foram, quanto adequao da populao de estudo: k=0,46; do tipo de interveno: k=0,59; do tipo de estudo: k=0,59 e, sobre a deciso pela incluso/excluso: k=0,44. Com base nas concordncias razovel (tipo de estudo e interveno) e ruim (populao de estudo) observadas entre avaliadores, enfatiza-se a necessidade da leitura inicial dos trabalhos por pelo menos dois avaliadores. Para os casos discordantes, foram realizadas reunies de consenso na busca de diferenas de interpretao entre os avaliadores, visando a diminuio da chance de excluso um artigo que deveria ser includo 4-Do estudo de Jodas et al a respeito da concordncia intra e entre-observadores na deteco das fraturas da face por meio da tomografia computadorizada de pacientes vtimas de traumatismos faciais. Na figura abaixo, esto os valores dos ndices kappa para cada observador, com uma mdia geral de 0,472 (concordncia moderada). Analisando a concordncia em diferentes regies, os autores relataram que as fraturas observadas nas regies de etmide, corpo mandibular, parede anterior de seio frontal e esfenide, apresentaram ndice de concordncia excelente; as regies de maxila, cndilo mandibular e pirmide nasal, ndice de concordncia substancial; para as regies de parede medial de rbita, parassnfise e ngulo mandibular, soalho e parede lateral de rbitas, ndice de concordncia moderada; para a regio de arco zigomtico, ndice de concordncia considervel; para regio fronto-zigomtica, ndice de concordncia ligeira; para as regies de palato duro, snfise, ramo e processo coronide de mandbula, ndice de concordncia pobre.

ndice de Concordncia Kappa (K) entre-observadores

-Corte LMD e cl analisaram a concordncia entre-observadores em exames de Papanicolaou (Anlise da Concordncia Interobservadores em Exames de Papanicolaou): Embora o exame de Papanicolaou seja um mtodo altamente confivel, ele possui algumas limitaes e tem recebido muita crtica com relao alta taxa de falsos-negativos. A variabilidade interobservadores descreve a falta de reprodutibilidade entre dois ou mais observadores e serve para identificar se os observadores requerem aprimoramento. Para isto, quarenta e sete esfregaos citolgicos crvico-vaginais corados pelo mtodo de Papanicolaou, previamente analisados e classificados segundo o Sistema Bethesda de 2001, foram reescrutinados por sete observadores. Desses, apresentaram um maior grau de concordncia entre os observadores segundo o ndice kappa (0,902 e 0,84, respectivamente) os diagnsticos de negativo para malignidade e de leso intra-epitelial escamosa de baixo grau e, apresentaram um fraco grau de concordncia com ndices de 0,378, 0,321 e 0,135, para o carcinoma de clulas escamosas, as clulas escamosas atpicas de significado indeterminado e clulas escamosas atpicas, no excluindo leso de alto grau, respectivamente. COMO OBTEMOS O CLCULO DO NDICE DE KAPPA NO SPSS: Vamos usar a base de dados de Tatiane Melo de Oliveira (Anlise psicofsica da escala multidimensional de dor Neonatal Pain, Agitation and Sedation Scale (N-PASS). Os escores da escala N-PASS foram pontuados por 2 observadores (identificados na base de dados como MV e T) 3 min antes (antes), imediatamente aps o procedimento doloroso (durante) e 3 min aps (depois). Este estudo foi apresentado na Residncia Mdica em Pediatria do HRAS como trabalho de concluso de curso, disponvel em www.paulomargotto.com.br (Monografias-2011). importante que saibamos que no

SPSS ele s calculado em tabelas 2 x 2, ou seja para comparar dois avaliadores e que apenas atribuam uma classificao dicotmica aos objetos em causa. Para avaliar a concordncia entre dois avaliadores em uma escala ordinal, o coeficiente usado o (tau) de Kendall (mede a associao entre duas variveis medidas por postos). Por exemplo: dois mdicos neonatologistas avaliam o Apgar de seis recmnascidos. A H0 (hiptese nula) que no h concordncia entre a avaliao deste dois mdicos ou seja coeficiente de correlao de Kendall- de Kendall=0 . A H1(hiptese alternativa) informa que h concordncia entre os mdicos, ou seja de Kendall 0 O nvel de significncia 0,05. Aps a anlise dos valores inseridos, digamos que o de Kendall seja igual a 0,78 (p<0,05). Assim, rejeita-se a hiptese nula e se aceita a H1 que diz que h concordncia entre os mdicos na avaliao do Apgar destes 6 recm-nascidos. Segundo Alvarez, o Kendalltau-b leva em conta os empates; j o Kendalltau-c ignora os empates. Para avaliao de vrios conjuntos de postos dos mesmos indivduos, cujas variveis so medidas em escala ordinal, usado o Kendall coefficient of concordance W. Por exemplo, testar o grau de correlao entre o nvel de desempenho de 3 acadmicos de medicina (6 Srie) e as respectivas avaliaes foram realizadas por 3 professores. A H0 diz que no h concordncia entre os 3 professores, ou seja o Coeficiente de Kendall W = 0 e a H1 diz que h concordncia entre os trs professores, ou seja o Coeficiente de Kendall W 0. O nvel de significncia 0,05. Aps a anlise dos resultados, o coeficiente de Kendall W foi de 0,798 (p<0,05) e assim, aceita-se a hiptese alternativa, ou seja, h concordncia entre os avaliadores. Para a anlise de dois avaliares numa classificao dicotmica: Analyse> Descriptive Statistics e escolha Crosstabs

Em Row selecione da Bse de dados Npass avaliao total antes MV (observador 1) e em Column selecione Npassavaliao total antes T (observador 2).

A seguir, clicar em Statistics e escolha Kappa

A seguir, Continue e OK. Os resultados sero:

INTERPRETAO: a correlao entre os observadores antes (kappa de 0,16), durante (kappa 0,28) e depois (0,21) foi ruim, apesar da significncia (como j citado anteriormente, a magnitude da estatstica k uma medida de concordncia bastante mais significativa do que a sua prpria significncia estatstica) A autora explica este achado devido grande subjetividade dos componentes presentes das escalas que avaliam a dor. A melhor concordncia ocorreu no momento durante, pois no momento da presena da dor no to dependente de fatores externos para ser identificada. Diversas pesquisas vem sendo desenvolvidas para se encontrar um padro-ouro de avaliao da dor neonatal. REFERNCIAS

1-Nigel Panet. Validao, integridade e monitoramento das doenas. Disponvel em: Apresentao do PowerPoint - fosjc.unesp.br. Visualizao rpida . Acesso 24/11/2011
2- Pinto JS, Lopes JM, Oliveira JV, Amaro JP, Costa LD. Mtodos para estimao de reprodutibilidade de medidas [home Page]. Porto Portugal: Faculdade de Medicina do Porto; 2008. D i s p o n v e l e m : ndices::Estatstica Kappa. Acesso em 23/11/2011 3- Jodas CRP, Rapoport A, de Souza RP et al. Anlise da concordncia intra e interobservadores na deteco das fraturas da face por meio da tomografia computadorizada. Rev Bras Cir Cabea Pescoo 2009; 38 26 33. Disponvel em: ArtigoOriginal. Acesso em 20/11/2011 4- Mariur Gomes Beghetto, MG, Luft VC, Mello ED, Polanczyk CA. Avaliao nutricional: descrio da concordncia entre avaliadores. Rev Bras Epidemiol 2007; 10: 506-16. Disponvel em: PDF] Avaliao nutricional: descrio da concordncia entre avaliadores ... Acesso em 18/11/2011 5- Oliveira NS, de Oliveira JM, Bergamaschi DP. Concordncia entre avaliadores na seleo de artigos em revises sistemticas. Rev Bras Epidemiol 2006; : 309-15. Disponvel em: PDF] Concordncia entre avaliadores na seleo de artigos em revises ... Acesso em 21/11/2011

6- Interrater reliability (Kappa) using SPSS . Acesso em 18/11/2011 7- Ludbrook J. Statistical techniques for comparing measurers and methods of measurement: a critical review. Clin Exp Pharmacol Physiol. 2002 ;29:527-36 8-Oliveira TM. Anlise psicofsica da escala multidimensional de dor Neonatal Pain, Agitation and Sedation Scale (N-PASS). Monografia apresentada ao Programa de Residncia Mdica em Pediatria do Hospital Regional da Asa Sul HRAS SES/DF. Disponvel em www.paulomargotto.com.br em Monografias-2011. Acesso em 24/11/2011 9-Fescina. H. Tecnologias perinatales. Centro Latinoamericano de Perinatologia y Desarrollo Humano (CLAP). Pub Cient CLAP No 1166, 1988 10- Laboratrio de Epidemiologia e Estatstica. Lee - Anlise de Concordncia Kappa. Acesso em 20/11/2011 11-Braband M, Hosbond S, Folkestad L. Capillary refill time: a study of interobserver reliability among nurses and nurse assistants. Eur J Emerg Med 2010, May 27 12- Ajuda do BioEstat 3.0 Ayres , Jr.Aires M, Ayres DL, dos Santos AAS. BioEstat, Belm,
Par, 2007. Acesso em 18/12/2011

13- [PDF] Tema 3 Tablas lvarez MMR. UNIVERSIDAD DE JAN. Material del curso Anlisis de datos procedentes de investigaciones mediante programas informticos. Acesso em 15/12/2011 14- Anlise da Concordncia Interobservadores em Exames de ...Corte MD, Gonalves JC, Silva CS et al. Anlise da concordncia interobservadores em exames de Papanicolaou.NewLab, Edio 80, 2007 Pesquisado, digitado, revisado por Paulo R. Margotto Braslia, 21 de dezembro de 2011

RESULTADO DO TESTE:parabns por ter chegado at aqui! Agora, vejam a nossa Escola!
1-Quanto concordncia intra e entre-observadores, marcar a errada:

a) o kappa uma medida de concordncia intra e entre-observadores alm do que seria esperada to somente pelo acaso b) a magnitude da estatstica k uma medida de concordncia bastante mais significativa do que a prpria significncia estatstica c) a significncia estatstica do kappa dada pela ausncia da unidade no seu intervalo de confiana d) kappa de -1 significa que os dois observadores classificam exatamente iguais. 2-Quanto estatstica k, marcar a errada: a) a sua interpretao se d por comparao dos valores obtidos s faixas de valores para verificao da concordncia b) o valor do k independe da prevalncia da patologia em estudo c) No SPSS, o kappa calculado em tabelas 2x2, ou seja, compara dois avaliadores que apenas atribuam uma classificao dicotmica aos objetos em causa d) a maioria dos estatsticos prefere que o kappa seja maior que 0,6 e na expressiva maioria das vezes, maior que 0,7 antes de reivindicar um bom nvel de concordncia 3-Quanto concordncia entre-observadores, marcar a errada: a) na avaliao da concordncia entre dois avaliadores em uma escala ordinal, o coeficiente usado o tau de Kendall b) o Kendalltau -b aceita empates, o que no ocorre com o Kendalltau -c c) na avaliao de vrios conjuntos de postos dos mesmos indivduos, cujas variveis so medidas em escala ordinal, usamos o coeficiente de Kendall W d) na anlise de concordncia, a hiptese nula diz que h concordncia entre os dois avaliadores

Fotos Panormicas da ESCS-Dr. Paulo R. Margotto -20/12/2011-10 Anos Inovando!