Escolar Documentos
Profissional Documentos
Cultura Documentos
http://www.r2d3.us/uma-introducao-visual-ao-aprendizado-de-maquina-1/
Árvores de Decisão
Umidade Vento
Sim
Alta Normal Forte Fraco
Não Sim Não Sim
● Por exemplo:
– Tendo a instância:
<Panorama=Ensolarado, Temperatura=Quente, Umidade=Alta>
– Saída:
● Não
Árvores de Decisão
● Pode-se montar uma expressão para verificar quando é
possível jogar tênis, por exemplo:
Panorama
Ensolarado Nublado Chuvoso
Umidade Vento
Sim
Alta Normal Forte Fraco
Não Sim Não Sim
<Panorama=Ensolarado AND Umidade=Normal>
OR <Panorama=Nublado>
OR <Panorama=Chuvoso AND Vento=Fraco>
● Algoritmo ID3
● Considere um conjunto de dados para treinamento
● Ele constrói a árvore em uma abordagem top-down considerando
a questão: “Qual atributo é o mais importante e, portanto, deve
ser colocado na raíz da árvore?”
● Para isso cada atributo é testado e sua capacidade para se tornar
nó raíz avaliada
● Cria-se tantos nós filhos da raíz quantos valores possíveis esse
atributo puder assumir (caso discreto)
● Repete-se o processo para cada nó filho da raíz e assim
sucessivamente
Árvores de Decisão
● No entanto:
● Como avaliar qual o atributo mais adequado?
Árvores de Decisão
● No entanto:
● Como avaliar qual o atributo mais adequado?
– ID3 utiliza a medida de Ganho de Informação
● Histórico:
● Entropia inicia com o trabalho de Lazare Carnot (1803)
● Rudolf Clausius (1850s-1860s) traz novas interpretações
físicas
● Claude Shannon (1948) desenvolve o conceito de Entropia
em Teoria da Informação
Entropia em Teoria da Informação
0 1
0.5
0.5
0 1
1
Entropia em Teoria da Informação
● Assim temos:
1
0 1
0.5
0.5
Após modificar seu
1 comportamento, o sistema
0 agregou maior nível de
incerteza ou energia
1
Uso de Entropia no ID3
Panorama
Panorama
Alta Normal
S = {D1, D2, D8} S = {D9, D11}
[0+, 3-] [2+, 0-]
Não Sim
Exemplo Ilustrativo do ID3
● Continuando...
S = {D1, ..., D14}
[9+, 5-]
Panorama
● Exemplo:
● O quanto um aluno generaliza o conhecimento estudando
na véspera?
● Há alunos que esperam que a pergunta seja exatamente
idêntica à levantada em aula
– Alunos com alto grau de especialização não generalizam
o conhecimento
Viés Indutivo do ID3
● Esse exemplo fará com que ID3 construa uma árvore mais
complexa, ou seja, com mais nós
● Logicamente, essa nova árvore representará perfeitamente
os dados de treinamento
● Mas falhará para dados nunca vistos e que tendem a não
apresentar esse erro
Questões Envolvidas no Aprendizado usando AD