Estimaci on de los par ametros de una Gaussiana Multidimensional

A continuaci on, se presenta el procedimiento para estimar los par ametros de una Gaussiana multidimensional mediante la maximizaci on de la verosimilitud (ML, Maximum Likelihood). (k ) (k ) (k ) (k ) K Dado un conjunto de datos X = {x }k=1 tal que x(k) = [x1 , x2 , . . . , xD ]T ; siendo K el n umero de observaciones y D la dimensi on de la observaci on x(k) (se supone que las observaciones son independientes e id enticamente distribuidos (i.i.d)). Sea x(k) una variable aleatoria que sigue una distribuci on Gaussiana como sigue: x (k ) N (m, ) (1)

siendo m y el vector media y la matriz de covarianza de dimensi on D 1 y D D, respectivamente1 . La expresi on (1) se escribe del siguiente modo, p( x ( k ) | m , ) = 1 (2 )D/2 det()
1/ 2

1 exp[ (x(k) m)T 1 (x(k) m)] 2

(2)

Para estimar m y mediante ML, se calcula la funci on de verosimilitud de todas las observaciones del conjunto X y se obtiene, p(X |m, ) = p(x(1) , x(2) , . . . , x(K ) |m, ) Como los {x(k) }K k=1 son i.i.d, entonces, (3) se puede expresar como
K

(3)

p ( X| m , ) =
k=1 K

p( x ( k ) | m , ) {
k=1

= =

1
1/ 2 (2 )D/2 det()

1 exp[ (x(k) m)T 1 (x(k) m)]} 2 1 2

K

(4)

1 (2 )D K/2 det()
K/2

exp[

(x(k) m)T 1 (x(k) m)]

k=1

El estimador de ML de m y maximizando el logaritmo de (4), entonces, m ML = arg m ax log p(X |m, )

m

(5a)

ML = arg m ax log p(X |m ML , )

(5b)

respectivamente2 . Se procede a calcular m ML del siguiente modo:

es sim etrica y invertible, por supuesto, su inversa es sim etrica. general, se emplea el log p(X |m , ) en lugar de p(X |m , ) para facilitar el c alculo anal tico correspondiente al m etodo ML, dado que la distribuci on p pertenece a la familia exponencial.
2 En 1

i.- La expresi on (5.a) implica log p(X |m, ) m Seg un la expresi on (4), se obtiene 1 K/2 log{(2 )D K/2 det() } m 2
K

=0
m=m ML

(6)

( x ( k ) m ) T 1 ( x ( k ) m ) = 0
k=1

(7)

Se nota que el primer t ermino de (7) es independiente de m, entonces, se calcula 1 m 2

K

( x ( k ) m ) T 1 ( x ( k ) m ) = 0
k=1

xT Ax = ( A + AT ) x Para calcular dicha derivada, se puede utilizar la siguiente f ormula x donde x y A son un vector y una matriz, respectivamente. Entonces,

1 m 2
K

( x ( k ) m ) T 1 ( x ( k ) m ) = 0
k=1

k=1

( x ( k ) m ) T 1 ( x ( k ) m ) = 0 m

(1 + (1 )T )(x(k) m) = 0
k=1

(8)

Como se sabe que 1 es sim etrica, entonces, (1 )T = 1 y se obtiene

K

21

(x (k ) m) = 0
k=1

Finalmente, se deduce m ML como m ML = que es la media muestral. ML dado m ii.- Ahora, se calcula ML seg un (5.b)
K K k=1

x (k )

(9)

1 K/2 log{(2 )D K/2 det() } 2

(x (k ) m ML )T 1 (x(k) m ML ) = 0
k=1

(10)

 1 log{det()K/2 } 2 1 K log{det()} 2 2

(x (k ) m ML )T 1 (x(k) m ML ) = 0
k=1 K

(11)

(x (k ) m ML )T 1 (x(k) m ML ) = 0
k=1 K

(12)

1 K log{det()} 2 2

(x (k ) m ML )T 1 (x(k) m ML ) = 0
k=1 K

(13)

1 1 K det() 2 det() 2

(x (k ) m ML )T 1 (x(k) m ML ) = 0
k=1

(14)

para resolver las derivadas en (14), se usan las siguientes propiedades sobre derivadas de matrices y vectores: a).b). a T X 1 b = (X1 )T abT (X1 )T X det(X) = det(X)(X1 )T X

donde X es una matriz y a, b son vectores. Identicando t erminos, se tiene 1 1 K det()(1 )T 2 det() 2
K

( 1 )T (x (k ) m ML )(x(k) m ML )T (1 )T = 0
k=1

(15)

eliminando t erminos comunes 1 K I+ 2 2

K

(x (k ) m ML )(x(k) m ML )T (1 )T = 0
k=1

(16)

ML resulta donde I es una matriz identidad de dimensi on D D. Despejando, nalmente ML = 1 K que es la varianza muestral.
K

(x (k ) m ML )(x(k) m ML )T
k=1

(17)