Escolar Documentos
Profissional Documentos
Cultura Documentos
Bibliografa
T. Mitchell. Mitchell. Machine Learning. Learning. Ed. Ed. McGrawMcGraw-Hill. 1997. B. Sierra. Aprendizaje Auomtico. Auomtico. Ed. Ed. PearsonPearson- Prentice Hall. 2006. J.R. J.R. Quinlan. Quinlan. C 4.5: programs for machine learning. learning. Ed. Ed. Morgan Kaufmann. Kaufmann. 1993.
A2
An
oprel(An.v,v1) oprel(An.v,vh)
B.v1
B.v2
Alta
Azcar en sangre ?
Media
ndice de colesterol ?
Baja
Alto
Alergia a antibiticos ?
Bajo
Alto
Bajo
No
S
Otras alergias ?
No
No
No
Los rboles de decisin son adecuados cuando ... Las instancias del concepto son representadas por pares atributo-valor La funcin objetivo tiene valores de salida discretos Las descripciones del objeto son disyuntivas El conjunto de aprendizaje tiene errores El conjunto de aprendizaje es incompleto
raiz
X = x1 X = x2
X = xM T2 TM
finMtodo
T1
Variables independientes p(x,y)=p(x)p(y) Probabilidad condicional y conjunta p(x,y)=p(x|y)p(y) p(x,y)=p(y|x)p(x) Teorema de Bayes ( regla de Bayes )
p( x | y ) =
p( y | x) p( x) p( y)
H(x)
H ( X | y ) = p ( x | y ) log 2 p ( x | y )
x
0.5
p(x)
H ( X | Y ) = p ( y ) p ( x | y ) log 2 p ( x | y )
y x
Teorema.
(1) H(X,Y) H(X) + H(Y) (2) H(X,Y) = H(X) + H(Y) sii X e Y son independientes
Teorema. H(X,Y) = H(Y) + H(X |Y) = H(X) + H(Y | X) Corolario (1) H(X | Y) H(X) (2) H(X | Y) = H(X) sii X e Y son independientes.
S: conjunto de ejemplos clasificados en C clases A: Atributo de los ejemplos Sv: Ejemplos que en el atributo A tienen el valor v
Ganancia( S , A) Entropa ( S )
vValores ( A )
|S |
V
|S|
Entropa ( S v)
Clculo de entropas y ganancia de la informacin respecto del atributo Presi Presin arterial (aplicando Ln)
Entropa ( S ) = p i log 2 p i = i =1 c
Entropa ( S PA = Alta ) = -
Entropa ( S PA = Media ) = -
Ganancia ( S , PA ) = 0.863121
Ganancia ( S , AS ) = 0.863121
3 6 3 6 Entropa ( S IC = Alto ) = - log 2 - log 2 = 0.636514 9 9 9 9 1 4 1 4 Entropa ( S IC = Bajo ) = - log 2 - log 2 = 0.500402 5 5 5 5
Ganancia ( S , IC ) = 0.863121
Clculo de entropas y ganancia de la informacin respecto del atributo Alergia a antibi antibiticos
Entropa ( S ) = pi log 2 pi = i =1
Entropa ( S ) = p i log 2 p i = i =1
Ganancia ( S , OA ) = 0.863121
9 5 0.686962 0 = 0.421509 14 14
Ganancia(S,PA) = 0.453939 Ganancia(S,AS) = 0.264857 Ganancia(S,IC) = 0.275224 Ganancia(S,AA) = 0.275224 Ganancia(S,OA) = 0.421509
Presin arterial ?
Alta
Media
Baja
Paciente 1 2 3 4 5 6 7 8 9 10 11 12 13 14
Presin arterial Alta Alta Baja Media Media Baja Alta Alta Alta Baja Media Alta Baja Baja
Azcar en sangre Alto Alto Alto Alto Bajo Bajo Bajo Bajo Alto Bajo Bajo Bajo Alto Alto
ndice de colesterol Alto Alto Bajo Alto Alto Alto Alto Bajo Bajo Alto Bajo Alto Alto Bajo
Alergia a antibiticos No S No No S S S No S S S S S No
Otras alergias No No No S S S No S S S S S S No
Administrar frmaco F S S S No No S S S No S S No S S
Paciente 1 2 7 8 9 12
Alergia a antibiticos No S S No S S
Otras alergias No No No S S S
Administrar frmaco F S S S S No No
Caractersticas del ID3 Espacio de hiptesis completo Hiptesis nica en cada momento de tiempo No se realiza backtracking Bsqueda no incremental Principio de la navaja de Occam (MDL) Saturacin sobre los datos (overfitting)
10
20
30
40
50
T c
T> c
Problema: Cmo seleccionar el (los) valor(es) de c ? Posible solucin: Seleccionad aquellos valores que mayor ganancia de informacin proporcionen
SplitInformation( S , A)
| Si | |S | log 2 i | S | |S| i =1
RatiodeGanancia( S , A)
Ganancia( S , A) SplitInformation( S , A)
El RatiodeGanacia(S,A) favorece aquellos atributos que, en igualdad de Ganacia, separen los datos en menos clases.
Ganancia 2 ( S , A) Coste( A)
2Ganancia ( S , A) 1 (Coste( A) + 1) w
w es una constante entre 0 y 1 que evala la importancia del Coste frente a la Ganancia
Definimos la funcin E
Vi
E ( ai ) =
j =1
I ( pij , nij )
p = nmero de ejemplos positivos n = nmero de ejemplos negativos pij = nmero de ejemplos positivos con valor vij nij= nmero de ejemplos negativos con valor vij
0 I ( x, y ) = 0 x x y y x + y log x + y x + y log x + y
si x = 0 si y = 0 en otro caso
Ejemplo
(1) expansin
A anuevo anuevo
(2) transposicin
anuevo A A
Un ejemplo (I)
Atributo de salida Altura Bajo Alto Alto Alto Bajo Alto Alto Bajo Color de pelo Rubio Moreno Rubio Moreno Moreno Rojo Rubio Rubio Color de ojos Marrones Marrones Azules Azules Azules Azules Marrones Azules
+ + +
Un ejemplo (II) Inicialmente el rbol es nulo Ejemplo = {-, Bajo, Rubio, Marrones} Salida
valor_de_atributo[+,-]
Altura
Bajo[0,1] Alto[1,1] Azules[1,0]
Ojos
Marrones[0,2]
Ojos
Marrones[0,1]
Ojos
Marrones[0,1]
(Pelo=Rubio, Altura=Alto)
Altura
Bajo[0,1] Alto[0,1]
Pelo
Rubio[0,1] Moreno[0,1] Bajo[0,1]
Altura
Alto[0,1]
Altura
Alto[1,0]
(Altura=Alto) (Pelo=Rubio)
(Pelo=Moreno)
Ojos
Azules[1,0] Marrones[0,1] Azules[0,2]
Ojos
Marrones[0,1]
Altura
Alto[1,0]
Altura
Bajo[0,1]
Ojos
Azules[1,0] Marrones[0,1] Azules[0,2]
Ojos
Marrones[0,1]
+
(Altura=Alto, Ojos=Azules)
Altura
Alto[1,0]
Altura
Bajo[0,1]
Un ejemplo (VII) Ejemplo = {-, Alto, Rubio, Marrones} Ejemplo = {+, Bajo, Rubio, Azules} Salida: La estructura de los atributos del rbol no cambia. Los contadores se actualizan.
Pelo
Rubio[2,2] Moreno[0,3] Rojo[1,0]
Ojos
Azules[2,0] Marrones[0,2] Azules[0,2]
Ojos
Marrones[0,1]
+
(Altura=Alto, Ojos=Azules)
Altura
Bajo[1,0]
Altura
Alto[0,1]
Bajo[0,1] Alto[1,0]
Ojos
Azules Marrones