Modelagem do Coeficiente de Kappa

Ponderado utilizando Equaes de

Estimao Generalizadas
Gonin, Lipsitz, Fitzmaurice e Molenberghs
Applied Statistics (2000), 49, pg 1-18.

Rogrio Antonio de Oliveira
Disciplina: EEG 1
o
. Semestre 2005
Motivao
Avaliao do grau de comprometimento de pacientes em
fonoaudiologia atravs de escalas subjetivas: no h,
baixo, mediano, alto ou fala compreensvel;
Estudar o aumento ou a diminuio de reas de
desmatamento atravs de fotos de satlite de anos
diferentes;
Avaliar o comprometimento do crebro pelo mal de
Parkinson atravs de imagem de tomgrafos
computadorizados do paciente ao longo dos anos de
tratamento;
Avaliao de duas agncias de risco de crdito para um
conjunto de empresas, segundo o risco: baixo, mdio e
alto risco.
Coeficiente de Kappa
Cohen(1960) props o coeficiente de kappa que
pode ser utilizada para avaliar a concordncia
entre observaes em uma mesma unidade
amostral.
Suponha dois examinadores observam o mesmo
nmero de indivduos e ambos avaliam cada
indivduo segunda uma escala que pode variar
de 1 a r.

Exemplo de Tabela r x r
Examinador 2
Examinador 1 1 2 ... r total
1 11
t
12
t
... r 1
t
. 1
t
2 21
t
22
t
... r 2
t
. 2
t


r 1 r
t

2 r
t
... rr
t
. r
t

total

1 .
t

2 .
t

...
r .
t

1

t
ij
a proporo do indivduos que so
classificados na i-sima categoria pelo
examinador 1 e na j-sima categoria pelo
examinador 2.
Coeficiente de Kappa
O coeficiente de kappa definido como


em que
Numerador-> distanciamento entre a proporo de
concordncia;
Denominador -> distanciamento entre a proporo de
concordncia total dos examinadores.
O coeficiente de kappa varia de 1, quando todos os
examinadores discordam em todas as avaliaes e 1, quando
concordam em todas as avaliaes.

=
= =

=
r
j
j j
r
j
r
j
j j jj
1
. .
1 1
. .
1 t t
t t t
k
Coeficiente de Kappa Ponderado
Objetivo distinguir uma discordncia grave (por exemplo,
um juiz classifica como 1 e outro como 3) e uma
discordncia leve por exemplo, um juiz classifica como 1 e
outro como 2).


em que w
ij
so pesos atribudos as propores de forma que
w
ij
e [0;1]. Fleiss e Cohen (1973) propuseram os seguintes
pesos:
,
1
1 1
. .
1 1 1 1
. .

= =
= = = =

=
r
i
r
j
j i ij
r
i
r
j
r
i
r
j
j i ij ij ij
p
w
w w
k
t t
t t t
2
2
) 1 (
) (
1

=
r
j i
w
ij
1
1

=
r
j i
w
ij
Modelo para o Coeficiente de
Kappa Ponderado
Gonin et. al. (2000) propuseram um
modelo para o coeficiente de kappa
ponderado com o intuito de explicar o
comportamento do coeficiente de kappa
ponderado em funo de covariveis
observadas nos indivduos amostrados e
nos prprios juzes.
Modelo para o Coeficiente de
Kappa Ponderado
Considere Y
ir
como a resposta do indivduo i
pelo juiz r, g
i
como um vetor coluna de
covariveis observadas no indivduo i e g
ir
como
o vetor de covariveis do examinador r para o
indivduo i. Logo, tem-se um vetor de
covariveis x
ir
t
= (g
i
t
, g
ir
t
). Portanto, para cada
indivduo, temos uma matriz de covariveis
X
i
=(x
i1
,..., x
iri
)
t
para i=1,2,...,N e R
i
o nmero
de examinadores do indivduo i.
EEG para o Coeficiente de
Kappa Ponderado
A distribuio conjunta de probabilidade das
variveis (Yir, Yis), em que Y
ir
e Y
is
possuem
distribuio multinomial, pode ser apresentada em
uma tabela de contingncia K x K, cujas
probabilidades so dadas por

que a probabilidade do i-simo indivduo ser
classificado no nvel j da escala pelo juiz r e no nvel
k pelo juiz s, para j,k=1,2,...,K.

), ; / ; (
, is ir is ir jk irs
x x k Y j Y P p = = =
Tabela Contingncia K x K
Exemplo de uma Tabela de contingncia K x K
Juiz s
Juiz r 1 2 . . . K Total
1
11 , irs
p

12 , irs
p

. . .
k irs
p
1 ,

1 , ir
p

2
21 , irs
p

22 , irs
p

. . .
k irs
p
2 ,

2 , ir
p

. . . . .
. . . . .
. . . . .
K
1 ,K irs
p
2 ,K irs
p

. . .
KK irs
p
, K ir
p
,
Total
1 , is
p
2 , is
p

. . .
K is
p
,
1

Probabilidade de Concordncia
Cada indivduo possui uma probabilidade
de concordncia que dada pela soma
da diagonal principal da tabela de
contingncia representada por t
irsconc
, ou
seja, que so desconhecidas
e precisam ser estimadas.
,
1
,
=
=
K
j
jj irs irsconc
p t
Clculo das probabilidades de
concordncia
Sob a hiptese de independncia, a
probabilidade de concordncia esperada
definida como a soma das multiplicaes
das probabilidades marginais da tabela de
contingncia definidas por
e que so as probabilidades
do individuo i ser classificado na categoria j
pelo juiz r e na categoria k pelo juiz s.

) / (
, ir ir j ir
x j Y P p = =
) / (
, is is j is
x j Y P p = =
Clculo das probabilidades de
concordncia
Logo, e o coeficiente de Kappa
usual dado por . Incorporando os
pesos nas discordncia entre os juzes, cada
indivduo ter coeficiente de kappa ponderado
dado por em que t
irso
definida como
a soma das probabilidades de concordncia
ponderadas. Portanto, sob independncia entre
os juzes, temos que onde w
ij
so
os pesos atribudos s propores.
,
1 1
, ,
= =
=
K
j
K
k
k is j ir irsesp
p p t
irse
irse irso
irs
t
t t
k

=
1
irsesp
irsesp irsconc
irs
t
t t
k

=
1
,
1 1
, ,
= =
=
K
j
K
k
k is j ir ij irse
p p w t
Funo de ligao do
coeficiente de Kappa
Para trabalhar com o coeficiente de kappa
ponderado sem impor restries s estimativas dos
parmetros, Gonin, et. al. (2000) propem utilizar
uma funo de ligao do coeficiente


que possa variar no conjunto dos nmeros reais,
pois k
irs
pode variar de 1 a 1.
z
t
irs
so as relaes funcionais dos vetores de
covariveis x
ir
e x
is
e o vetor de parmetros de
interesse.
,
1
1
log ) ( irs
t
irs
irs
irs
z
k
k
g =
|
|
.
|

\
|

+
= k
Funo de ligao do
coeficiente de Kappa
Essa relao funcional deve ser criada
de tal forma que o par de juzes (r,s)
tenha a mesma covarivel do i-simo
indivduo como, por exemplo, a mdia
da idade dos juzes ou a especializao
dos juzes.
Equaes de Estimao
Para encontrarmos as equaes de
estimao de , necessrio definir a
varivel aleatria Y
ir
em termos da
varivel indicadora Y
ir,j
, em que
1, se indivduo i recebeu o nvel
Y
ir,j
= j pelo juiz r;
0, caso contrrio.
Equaes de Estimao
Portanto,



Acima, assumiu-se que
ou seja, dado (x
ir
,x
is
), (Y
ir,j
;Y
is,k
) no sofre a
influncia de nenhum outro x
it
(t=r,s), que uma
suposio bastante razovel, pois esperado que
o valor atribudo por um juiz ao indivduo i no
interfira na avaliao de outro juiz.
), , / , ( ) 1 , 1 ( ) (
, , , , , is ir is ir k is j ir k is j ir jk irs
x x k Y j Y P Y Y P Y Y E p = = = = = = =
. ) , / ( ) / (
1 1
,
1 1
, ,
1 1
, , irso
K
j
K
i
jk irs jk
K
j
K
i
is ir k is j ir jk
K
j
K
i
i k is j ir jk
p w x x Y Y E w X Y Y w E t

= = = = = =
= = =
) , / ( ) / (
, , , , is ir k is j ir i k is j ir
x x Y Y E X Y Y E =
Equaes de Estimao
O coeficiente de Kappa ponderado pode ser expresso
como

Substituindo os resultados anteriores


Combinando as expresses anteriores, tem-se uma funo
de estimao

irse irse irs irso
irse
irse irso
irs
t t k t
t
t t
k + =

= ) 1 )( (
1
) (

= = = =
+
|
|
.
|

\
|
=
K
j
K
k
k is j ir ij
K
j
K
k
k is j ir ij irs irso
p p w p p w
1 1
, ,
1 1
, ,
. 1 ) ( k t

= = = = = = = =

)

+
|
|
.
|

\
|
=
K
j
K
k
K
j
K
ki
k is j ir ij
K
j
K
k
k is j ir ij irso k is j ir ij irso
K
j
K
k
k is j ir ij
p p w p p w Y Y w Y Y w
1 1 1 1
, ,
1 1
, , , ,
1 1
, ,
. 1 ) ( k t
Equaes de Estimao
Gonin et. al. (2000) propem a equao de
estimao u
1
para estimar o vetor de parmetros


em que t
irso
encontrado substituindo por


Logo,

0 ) (
1 1
, ,
1
1
=
|
|
.
|

\
|
=

= = = <

K
j
K
k
irso k is j ir ij
N
i s r
s
irs irs
Y Y w v u t o

= = = =
+
|
|
.
|

\
|
=
K
j
K
k
k is j ir ij
K
j
K
k
k is j ir ij irs irso
p p w p p w
1 1
, ,
1 1
, ,
. 1 ) ( k t
,
)) ( (
1
)) ( (
)' (

1 1
, ,
'

t
o o
d
d
p p w
d
d
K
j
K
k
k is j ir ij
irso
irs irs
|
|
.
|

\
|
= = =

= =
Equaes de Estimao
Note que a varincia de trabalho
de , dada por
Quando se utiliza a verdadeira varincia
de no lugar de tem-se um
ganho de eficincia nas estimativa de .
Sob condies de regularidade, uma
estimativa consistente, pois E(u1())=0
para o verdadeiro valor de .

irs
v
k is j ir
K
j
K
k
ij
Y Y w
, ,
1 1

= =
|
.
|

\
|
~

= =
i k is j ir
K
i
K
k
jk irs
X Y Y w v / var
, ,
1 1
k is j ir
K
j
K
k
ij
Y Y w
, ,
1 1

= =
irs
v

Modelagem das Probabilidades

Marginais
Problema que as probabilidades marginais
de classificao nas K categorias de
resposta de medida de interesse, para cada
juiz, so desconhecidas, portanto preciso
modificar a equao de estimao,
introduzindo as probabilidades marginais
por estimativas atravs de uma nova
equao de estimao.
Modelagem das Probabilidades
Marginais
Note que
a probabilidade marginal do indivduo i seja julgado no
nvel j pelo juiz r, o vetor | um vetor px1 de
parmetros. Pode-se utilizar Y
ir,j
para estimar p
ir,j
;
fornecendo um vetor (K-1)x1 correspondente ao juiz r
para o indivduo i, . A distribuio de
multinomial de tamanho 1:
Quando K>2 com categorias ordenadas, p
ir,j
modelada
utilizando a funo logito acumulada ou a funo probito
acumulada com parmetros de regresso |(Agresti,1990).
) , / 1 ( ) , / ( ) (
, , , ,
| | |
ir j ir ir j ir j ir j ir
x Y P x Y E p p = = = =
( )
t
K ir ir ir
Y Y
1 , 1 ,
,...,

= +
ir
+
. ) , / (
1
,
,
[
=
= +
K
j
y
j ir ir ir
j ir
p x f |
Modelagem das Probabilidades
Marginais
Walker e Duncan(1967) propuseram a funo logito
acumulada expressa como

sendo F
k
a funo de probabilidade acumulada at a k-sima
categoria de resposta.Portanto para encontrarmos equaes
de estimao para | e para p
ir,j
, utilizamos um vetor
(K-1)x1,
em que X
i
a matriz de covariveis do indivduo i para o juiz r
Portanto, para cada juiz temos um vetor e a representao
das probabilidades de todos os juzes para o indivduo i
dada por com
), ... (
1
1
log
1 1 p p k
k
X X
F
| | o + + + =
|
|
.
|

\
|

t
K ir ir i i ir
p p X E p ) ,..., ( ) , / ( ) (
1 , 1 ,
= + = | |
t t
iRi
t
i i i i
p p X E p ) ,..., ( ) , / ( ) (
1
= + = | |
t t
iRi
t
i i
) ,..., (
1
+ + = +
Modelagem das Probabilidades
Marginais
Gonin et al. (2000) propem estimar o vetor | com a
equao de estimao em que a
matriz e E
i
a matriz de
covarincias de trabalho de
i
, E
i
~ var(
i
/X
i
). Se a
matriz E
i
especificada for a verdadeira var(
i
/X
i
), tem-
se um ganho de eficincia nas estimativas de |. No
entanto, sob condies de regularidade, a soluo
destas equaes fornecem estimativas consistentes,
independente de como a matriz de covarincias
especificada. As estimativas dos parmetros so
encontrados mediante a soluo das equaes.
, 0 ) (

(
1
1
2
= + =


=
i
i
i
N
i
t
i
p D u |
| | | d p d D D
i
t
i
t
i
/ )) ( ( ) ( = =
Equao de Estimao com
Probabilidades Marginais Estimadas
Para estimarmos as probabilidades marginais de
respostas para cada juiz, temos a cada passo do
processo iterativo novas estimativas de p
ir,j
e p
is,k
.
Logo, os coeficientes do kappa ponderado pode ser
estimado atravs da equao de estimao


em que so substitudas as estimativas de o
irs
, v
irs
e
t
irso
.
0

) (
1 1
, ,
1
3
=
|
|
.
|

\
|
=

= = = <

K
j
K
k
irso k is j ir ij
N
i s r
s
irs irs
Y Y w v u t o
Especificao das Matrizes de
Covarincias
Se v
irs
e E
i
coincidem com a verdadeira matriz de varincia
de e a verdadeira matriz de
i
, tem-se um
ganho de eficincia nas estimativas dos parmetros (|,).
Considere agora a matriz de covarincias de trabalho para
E
i
~ var (
i
/X
i
),



em que E
irr
~ var(
i
/X
i
) e E
irs
~ cov(
ir
,
is
/X
i
).
k is j ir
K
j
K
k
ij
Y Y w
, ,
1 1

= =
|
|
|
|
|
.
|

\
|
E E E
E E E
E E E
= E ~ +
iRiRi iRi iRi
Ri i i i
Ri i i i
i i i
X

2 1
2 22 21
1 12 11
) / var(
Especificao das Matrizes de
Covarincias
A distribuio marginal de
ir
multinomial com
matriz de covarincia (K-1)x(K-1),

em que diag(p
ir
) denota a matriz diagonal com
os elementos de p
ir
na diagonal principal. Como
os elementos da matriz E
i
dependem dos
parmetros |, ento

, ) ( ) / var(
t
ir ir ir i ir
p p p diag X = +
. ) ( ) / var( ) (
t
ir ir ir i ir irr irr
p p p diag X = + = E = E |
Especificao das Matrizes de
Covarincias
Propem-se uma funo das correlaes entre os
elementos
ir
e

is
para especificar as matrizes
fora da diagonal principal de E
i
. O coeficiente de
correlao do j-simo elemento de
ir
e o k-simo
de
is
em que
e
ir,j
o resduo de Pearson padronizado de Y
ir,j
,
que dado por

), ( ) , (
, , , , , k is j ir k is j ir jk irs
e e E Y Y corr = =
2 / 1
, ,
, ,
,
)] 1 ( [
j ir j ir
j ir j ir
j ir
p p
p Y
e

=
Especificao das Matrizes de
Covarincias
Admitindo que a matriz seja invariante para
qualquer par de juzes e portanto s depende
dos nveis j e k. Ento, . Um estimador
proposto pelo mtodo de momentos pode ser


em que
jk jk irs
=
,
,
) 1 (
2
1

1
1
, ,

=
= <

=
N
i
i i
N
i s r
k is j ir
jk
P R R
e e

2 / 1
, ,
, ,
,
)] 1 ( [

j ir j ir
j ir j ir
j ir
p p
p Y
e

=
Especificao das Matrizes de
Covarincias
Agora
jk
e p
ir,j
especificam completamente E
irs
. Em
particular, o elemento da j-sima linha e k-sima
coluna de E
irs
~ cov(
ir
,
is
/X
i
)

que estimado substituindo os parmetros de equao
por estimativas.
E v
irs
pode ser especificada como ,
que pode ser estimada atravs de

) 1 ( ) 1 ( ) , cov(
, , , , , , k is k is j ir j ir jk k is j ir
p p p p Y Y =
|
|
.
|

\
|
~

= =
k is j ir
K
j
K
k
jk irs
Y Y w v
, ,
1 1
var
. ) ) ( (

w p p p diag w
t
irs irs irs
t
irs
= v
Varincia dos Estimadores
Utilizando expanses por sries de Taylor e assumindo
que o modelo para k
irs
, p
ir,j
e p
is,k
so corretamente
especificados, tem-se que , sob condies de
regularidade, consistente e assintticamente normal,
com matriz de covarincias V(|,), que pode ser
estimada por algum mtodo numrico, por exemplo, o
jackknife ou bootstrap(Gonin et. al. 2000), que
requer um certo processamento demorado.
Thompson(2001) prope o uso do estimador sanduche
para estimar os erros dos estimadores dos parmetros.
) ,

( |
Exemplo
Para avaliar uma nova tcnica de restaurao
dentria
Consistiu na observao de 100 restauraes (50
realizadas por alunos de Odontologia, que j
haviam cursado a disciplina e 50, por profissionais
com mais de uma ano de clnica dentria).
Trs examinadores foram devidamente treinados
para avaliar as restauraes, sendo que cada
restaurao foi avaliada por apenas dois
examinadores.
Exemplo
A medida avaliada foi de suco mesio-distal que pode
assumir os seguintes escores:
(1) para ausncia de sulco, (2) presena de sulco sem
forma correta e (3) presena de sulco com forma
correta.
As covariveis utilizadas para explicar a concordncia:
tcnica de restaurao: 0, se o profissional desconhece
e 1, se o aluno que cursou a disciplina; a experincia do
examinador: 0, se o examinador no possuir
especializao em dentstica e 1, quando possui.
Exemplo
Tabela: Propores observadas no Exemplo
Aferio 1 1 2 3 Total
1 0,14 0,03 0,00 0,17
2 0,07 0,58 0,74 0,74
3 0,00 0,02 0,09 0,09
Total 0,21 0,63 0,16 1,00
Aferio 2
Coeficiente de kappa Estimativa
Simples 0,566
Ponderao quadrtica 0,662
Ponderao absoluta 0,604
Exemplo
As estimativas dos parmetros do modelo para o coeficiente
de kappa ponderado so apresentadas abaixo.



A concordncia dos juzes diminui quando os dois possuem
especializao e aumenta com o conhecimento da tcnica,
esta concordncia pode ser calculada pelo preditor linear



Estimativas dos parmetros do modelo para o coeficiente de kappa ponderado
Efeito Erro padro Wald p
Intercepto 1,9686 0,0771 651,72 <0,0001
Tcnica 0,2148 0,1057 4,1326 0,0421
Especializao -0,7797 0,1259 38,35 <0,0001
i i
irs
irs
ao Especializ Tcnica
k
k
7797 , 0 2148 , 0 9686 , 1

1
log + =
|
|
.
|

\
|

+
Exemplo
As estimativas do coeficiente de kappa ponderado para
as categorias de resposta tcnica e especializao




Conhece No conhece
Possui 0,6055 0,5331
No 0,7975 0,7549
Tcnica
Especializao
Concluses
A escolha das covariveis do modelo
fica a critrio do pesquisador;
Seria interessante desenvolver mtodos
de diagnstico para avaliar a adequao
do modelo;
Utilizao de outras estruturas de
correlao de trabalho para verificar
suas eficincias.
Referncias Bibliogrficas
Ginin, Lipsitz, Fitzmaurice e Molenberghs (2000) Applied
Statistics 49, Part I, 1-8

Cohen (1960) Educ. Psychol.Measmnt, 20, 37-46

Dissertao de Rogrio Ruscitto do Prado(2004) Modelagem do
Coeficiente de Kappa Ponderado

Liang e Zeger (1986) Biometrika, 73, 13-22

Thompson (2001) Statistics in Medicine; 20:
pag 2895-2906