UNIVERSIDADE EDUARDO MONDLANE

FACULDADE DE ENGENHARIA
DEPARTAMENTO DE ENGENHARIA ELECTROTÉCNICA
Engenharia Informática, 4oAno

Inteligência Artificial 2

TPC no: 05

Exercícios sobre Árvores de Decisão

Discente: Docentes:
 VONTADE, Emilson António  Enga Roxa Cadir
 Engo Ruben Manhiça

Maputo, Maio de 2015

Exercício 5:
Considere o conjunto de dados seguinte:

A1 A2 Y
a) É possível obter uma hipótese sem nenhum erro a partir
0 0 1
0 0 0 destes dados?
b) 0 0 1 Qual será a entropia média se escolhermos o atributo A1?
0 1 0
c) 0 1 0 E se escolhermos A2?
d) 0 1 1 Qual é a árvore obtida, tendo em conta que se as folhas não
1 0 1
1 0 0 puderem ser uniformes, se escolhe como valor a classe
1 0 1 mais comum?
1 1 1
e) 1 1 1 Essa árvore poderia ainda ser simplificada?
1 1 1

Resolução:
a) Não! Não é possível obter uma hipótese sem nenhum erro a partir destes dados, dado
que, em alguns casos, tem-se mesmos valores para os dois atributos e na mesma
sequência a resultarem em valores diferentes da função de saída (decisões diferentes).
Isto significa que, para obter uma hipótese, terá de cometer-se o erro de aproximação.

b) De acordo com os dados apresentados na tabela, tem-se 12 registos (T), dos quais,
obtém-se duas partições designadamente: classe com valor de saída igual a “1” (C1) e
a classe com valor de saída igual a “0” (C2). Assim, obtém-se a seguinte distribuição
de probabilidades:

p= ( CT1 , CT2 )=( 128 , 124 )=( 23 , 13 )

A partir desta distribuição acha-se a entropia de Y:

2
 Info ( Y )=Info (T )=I ( 23 , 13 )=−[( 23 )∗log ( 23 )+( 13 )∗log ( 13 )]=0,918
2 2

Então, se escolhe-se A1, teremos:

A1
0
Y1
3
Y0
3
Info ( 0 )=I ( 36 , 36 )=1
6 6
5 1
1
6 6 Info ( 1 )=I ( 56 , 61 )=0,65
6 3 3 6 5 1 1 1
Info ( A 1 ) =
12 ( )
6 6 12 6 6 2 ( )
∗I , + ∗I , = ∗1+ ∗0,65=0,825
2

Resposta: Se escolher o atributo A1 a entropia média será de 0,825.

c) Se escolhermos A2, teremos:

A2 Y1
4
Y0
2
Info ( 0 )=I ( 46 , 62 )=0,918
0
6 6
1
4
6
2
6
Info ( 1 )=I ( 46 , 26 )=0,918
6 4 2 6 4 2 1 1
I ( A 2 )=
12 ( )
6 6 12 6 6 2 ( )
∗I , + ∗I , = ∗0,918+ ∗0,918=0,918
2

Resposta: Se escolher o atributo A2 a entropia média será de 0,918.

d) Tomando em consideração que, os ganhos são respectivamente:

Ganho ( A 1 ) =Info ( Y )−I ( A 1 )=0,918−0,825=0,093

Ganho ( A 2 ) =Info ( Y ) −I ( A 2 )=0,918−0,918=0

Então a árvore obtida será a seguinte:

3
 e) Não! Não poderia ainda ser simplificada (pelo menos com o algoritmo ID3), uma vez
que este não permite simplificar, e para além de que já foram efetuadas todas as
aproximações necessárias.

Exercício 6:
Imagine que quer utilizar o algoritmo ID3 para aprender uma função e que lhe são
apresentados um conjunto de exemplos e de contra-exemplos:

A1 A2 A3 A4 A5
a) Construa a árvore de decisão.
0 1 1 0 0
1 0 1 0 0 b) Como ficaria a árvore de decisão caso o
1 1 1 0 1 processo de sub-divisão da árvore pare
0 0 0 1 1
1 0 0 1 0 sempre que não se puder melhorar o
0 1 0 1 0 ganho médio e se escolher para valor das
folhas a classe mais comum?

Resolução:
a) Para construir a árvore de decisão, primeiro vai-se determinar as seguintes variáveis
(Tomando A5 como função de saída):

4
p= ( 26 , 46 )=( 13 , 32 )
1 2 1 1 2 2
3 3 [3 3 3 3]
Info ( A 5 )=I ( , )=− ( )∗log ( ) +( )∗log ( ) =0,918
2 2

Desta forma, analisar-se- cada caso:

5
  Info (A1):

A1 A5=1 A5=0
0 1 2
3 3
1 1 2
3 3

1 1 2 1 1 2
( ) ( )
Info ( A 1 ) = I , + I , =0.918
2 3 3 2 3 3

Ganho ( A 1 ) =Info ( T )−Info ( A 1 ) =0.918−0.98=0

 Info (A2):

A2 A5=1 A5=0
0 1 2
3 3
1 1 2
3 3

1 1 2 1 1 2
( ) ( )
Info ( A 2 )= I , + I , =0.918
2 3 3 2 3 3

Ganho ( A 2 ) =Info ( T )−Info ( A 1 )=0.918−0.918=0

 Info(A3):

A3 A5=1 A5=0
0 1 2
3 3
1 1 2
3 3

1 1 2 1 1 2
( ) ( )
Info ( A 3 )= I , + I , =0.918
2 3 3 2 3 3

6
 Ganho ( A 3 )=Info ( T )−Info ( A 1 )=0.918−0.918=0

 Info(A4):

A2 A5=1 A5=0
0 1 2
3 3
1 1 2
3 3

1 1 2 1 1 2
( ) ( )
Info ( A 4 )= I , + I , =0.918
2 3 3 2 3 3

Ganho ( A 4 ) =Info ( T )−Info ( A 1 )=0.9118−0.918=0

Assim, escolhemos A1, para ser nossa raiz, uma vez que que tem maior ganho:

A1a1

0 1

Daqui, analisaremos em primeiro lugar: A1=0

Info ( T )=I ( 13 , 23 )=0.918

 Info (A2):

A2 A5=1 A5=0
0 0 2
2 2
1 1 0
1 2

7
 2 0 2 1 1 0
( ) ( )
Info ( A 2 )= I , + I , =0
3 2 2 2 1 2

Ganho ( A 2 ) =Info ( T )−Info ( A 2 )=0.918−0=0.918

8
  Info (A3):

A3 A5=0 A5=1
0 1 0
1 1
1 1 1
2 2

2 1 1 1 1 0 2
( ) ( )
Info ( A 3 )= I , + I , =
3 2 2 3 1 1 3

Ganho ( A 3 )=Info ( T )−Info ( A 3 )=0.918−0.67=0.25

 Info (A4):

A2 A5=1 A5=0
0 1 1
2 2
1 1 0
1 1

2 1 1 1 0 1 2
( ) ( )
Info ( A 4 )= I , + I , =
3 2 2 3 1 1 3

2
Ganho ( A 4 ) =Info ( T )−Info ( A 4 )=0.918− =0.25
3

A1

0 1

A2

0 1

1 0

9
 E agora, vamos analisar: A1=1

Info ( T )=I ( 13 , 23 )=0.918

 Info (A3):

A2 A5=1 A5=0
0 1 1
2 2
1 1 0
1 1

2 1 1 1 1 0 2
( ) ( )
Info ( A 2 )= I , + I , =
3 2 2 2 1 1 3

2
Ganho ( A 2 ) =Info ( T )−Info ( A 2 )=0.918− =0.25
3
 Info (A4):

A2 A5=1 A5=0
0 1 0
1 1
1 1 1
2 2

2 1 1 1 1 0 2
( ) ( )
Info ( A 4 )= I , + I , =
3 2 2 2 1 1 3

2
Ganho ( A 4 ) =Info ( T )−Info ( A 4 )=0.918− =0.25
3

a) Assim, obtemos a seguinte árvore de decisão:

10
 A1

1 0

A2 A2

1 0 1
0

1 0 0 1

b) Para o caso em que, tivéssemos que parar o processo de sub-divisão da árvore

sempre que não se puder melhorar o ganho médio e se escolher para valor das
folhas a classe mais comum, teríamos a seguinte árvore de decisão.

A1

1 0

A2 0

1 0

0 1

11