AGRICULTURA DE PRECISO

PS-GR ADU A O

AGRONOMIA CINCIA DO SOLO

Avaliao de classificadores
Car l os A l be r t o A l v es V ar e l l a

Introduo
A avaliao de classif icadores pode ser f eita a partir de um a amostra
de ref erncia. Segundo CO NGALTON (1991) a partir dessa amostra de
ref erncia possvel construir a matriz de erros ou de conf uso da
classif icao.
Construo da matr iz de erros
A matriz de erros quadrada e de dimenso igual ao nmero de
classes avaliadas. Os result ados da classif icao so colocados nas
colunas da matriz, sendo que nas linhas correspondent es a diagonal
principal coloca-se o nmero de obser vaes classif icadas corretamente e
nas demais linhas o nmero de observaes omit idas de cada classe.
Dividindo-se o total de obser vaes omitidas da classe pelo total de
obser vaes da classe, ou seja, pelo t otal da coluna, tem -se o erro de
omisso da classe. O total de obser vaes omit idas dividido pelo total de
obser vaes da amostra de ref erncia o erro global.
Na linha, a soma dos valores f ora da diagonal pr inc ipal dividido pelo
total da linha o erro de comisso ou incluso da classe ( Quadro 2). O
erro de omisso (E O ) est relacionado com a 'exat ido do produtor' (1-E O ),
pois o produtor do classif icador tem int eresse em conhecer como ocorreu o
acerto da classif icao dos objetos. O erro de comisso (E C ) est
relacionado com a 'exat ido do usur io' (1-E C ), pois, a conf iabilidade que
o usur io tem quant o aos resultados da classif icao.
1

Quadro 2. Exemplo de uma matriz de erros

Amostra de
referncia
Classe
A
B
C
D

Total
includo

Total
linha

(x i )

Erro de
comisso (%)

65

22

24

50

115

43

81

19

100

19

11

85

19

30

115

26

90

14

104

13

Total omitido

10

22

30

51

113

434

Total coluna (x i )

75 103 115 141

Erro de omisso (%)

13

21

26

36

Erro Global (%)

26,04

Adaptado de KHOURY JR. (2004).

Coeficiente Kappa
Uma maneira simples de avaliar um classif icador p or meio do erro
global. Entretanto, este erro independente dos erros de omisso e
comisso, que so importantes na avaliao de classif icadores. Cohen
(1960), citado por ROSENFI ELD e FITZPATRICK-LI NS ( 1986), desenvolveu
um coef iciente de concordncia denominado Kappa. CONGALTON e MEAD
(1983) af irmam que a estat st ica kappa pode ser utilizada na avaliao de
classif icadores, pois, os dados da matr iz de erros so discretos e com
distr ibuio multinor mal. De acordo com os autor es, est a est at st ica uma
medida do acerto r eal menos o acert o por acaso, e k appa pode ser
estimado pela equao:

P Pc
K = o
1 Pc
em que,

estimat iva do coef iciente Kappa;

Po

proporo de obser vaes corretamente classif icadas;

Pc

proporo esperada de acerto por acaso.

Segundo HUDSON e RAMM (1987), o coef iciente kappa pode ser

estimada a part ir dos totais marginais da matriz de erros, pela seguinte
equao:
c

K =

n x ii x i x i
i =1

i =1

n2 x i x i
i =1

em que,

x ii

valor na linha i e coluna i da matriz de er ros;

x i

total da linha i;

x i

total da coluna i;

total de obser vaes;

nmero total de classes.

Kappa igual a zero signif ica que o acerto obt ido pe lo classif icador
igual ao acerto por acaso. Valores posit ivos de kappa ocorrem quando o
acerto f or maior que o acaso, enquant o os negativos ocor rem quando o
acerto pior do que uma classif icao por acaso. O maior valor de kappa
(+1,00) ocorre, quando existe uma classif icao perf eita (Cohen, 1960
citado ROSENFI ELD e FITZPATRICK- LINS, 1986).
Compar ao entre classificadores
Conf orme proposto por CONGALTON & MEAD (1983), a comparao
entre classif icadores pode ser f eita pelo test e Z. O teste Z compara
coef icientes kappa de dois classif icadores e dado pela equao:

Z=

K 1 K 2

1 + 2

em que:
Z

valor Z calculado;

K
1

coef iciente Kappa do classif icador 1;

K
2 = coef iciente Kappa do classif icador 2;

var incia de Kappa do classif icador 1;

var incia de Kappa do classif icador 2.

(6)

Segundo Bishop et al. (1975), citados por HUDSO N e RAMM (1987) a

var incia de Kappa pode ser estimada por:

2
2
1 1 (1 1 ) 2(1 1 )(21 2 3 ) (1 1 ) 4 4 2

(K ) =
+
+

n (1 2 )2
(1 2 )3
(1 2 )4

em que, 1 =

1
n

x ii ; 2 =

i =1

1
4 = 3
n

1
n2

x i x i ; 3 =

i =1

i =1

j =1

x (x
ij

1
n2

x (x
ii

+ x i ); e

i =1

+ x j .

Se o valor Z calculado para o teste f or maior que o valor Z tabelado,

diz-se que o resultado f oi signif icativo e rejeita-se a hiptese nula
(H o :K 1 = K 2 ), concluindo-se que os dois classif icadores so es tatisticamente
dif erentes. O valor Z tabelado ao nvel de 5% de probabilidade igual a
1,96.

REFERNCI AS BIBLIOGRFIC AS
CONGALTON, R.G. & MEAD R.A. A quantitative method to test for consistency and
correctness in photointerpretation. Photogrammetric Engineering and Remote
Sensing, v.49, n.1, p.69-74, 1983.
CONGALTON, R.G. A review of assessing the accuracy of classifications of remotely
sensed data. Remote sensing of environment, n. 37 p. 35-46, 1991.
HUDSON, W.D.; RAMM, C.W. Correct formulation of the kappa coefficient of agreement.
Photogrammetric Engineering & Remote Sensing, v.53 n.4 p.421-422, 1987.
KHOURY JR. J.K. Desenvolvimento e avaliao de um sistema de viso artificial para
classificao de madeira serrada de eucalipto. Tese de Doutorado. Viosa, UFV,
2004.
ROSENFIELD, G.H.; FITZPATRICK-LINS, K. A coefficient of agreement as a measure of
thematic classification accuracy. Photogrammetric Engineering & Remote
Sensing, v.52 n.2 p.223-227, 1986.