Contenido

Motivaci
on
M
etodos computacionales
Integraci
on de Montecarlo
Muestreo de Gibbs
Rejection
Muestreo Importante
Metropolis - Hasting
Markov Chain Montecarlo Method
Complemento ejemplos libro: Bayesian Computation with R

Metodos Computacionales
Alvaro J. Riascos Villegas
Universidad de los Andes y Quantil

Febrero de 2012

M
etodos Bayesianos - Banco de Guatemala

Alvaro Riascos

Contenido
Motivaci
on
M
etodos computacionales
Integraci
on de Montecarlo
Muestreo de Gibbs
Rejection
Muestreo Importante
Metropolis - Hasting
Markov Chain Montecarlo Method
Complemento ejemplos libro: Bayesian Computation with R

Motivacion

Metodos computacionales

Integracion de Montecarlo

Muestreo de Gibbs

Rejection

Muestreo Importante

Metropolis - Hasting

Markov Chain Montecarlo Method

Complemento ejemplos libro: Bayesian Computation with R

M
etodos Bayesianos - Banco de Guatemala

Alvaro Riascos

Contenido
Motivaci
on
M
etodos computacionales
Integraci
on de Montecarlo
Muestreo de Gibbs
Rejection
Muestreo Importante
Metropolis - Hasting
Markov Chain Montecarlo Method
Complemento ejemplos libro: Bayesian Computation with R

Motivacion
Dado que el objetivo por excelencia del analisis Bayesiano es
la distribucion posterior de los parametros es necesario poder
calularla y hacer calculos con ella. Usualmente se necesita:
1
2
3

Distribuci
on marginal de los datos.
Distribuci
on predictiva.
Estimadores puntuales, etc.

En general los problemas principales son:

1
2

C
omo generar muestras aleatorias de la distribucion expost?
C
omo calcular integrales con respecto a la distribucion expost?

M
etodos Bayesianos - Banco de Guatemala

Alvaro Riascos

Contenido
Motivaci
on
M
etodos computacionales
Integraci
on de Montecarlo
Muestreo de Gibbs
Rejection
Muestreo Importante
Metropolis - Hasting
Markov Chain Montecarlo Method
Complemento ejemplos libro: Bayesian Computation with R

Metodos computacionales

Los principales metodos que vamos a estudiar son:

1
2
3
4
5
6

Integraci
on de Montecarlo.
Muestreo de Gibbs.
Rejection.
Muestreo Importante.
Metropolis Hasting.
Markov Chain Montecarlo Method (MCMM)

M
etodos Bayesianos - Banco de Guatemala

Alvaro Riascos

Contenido
Motivaci
on
M
etodos computacionales
Integraci
on de Montecarlo
Muestreo de Gibbs
Rejection
Muestreo Importante
Metropolis - Hasting
Markov Chain Montecarlo Method
Complemento ejemplos libro: Bayesian Computation with R

Integracion de Montecarlo
Sea 1 , ..., S una muestra aleatoria (i.e., independiente) de la
distribucion expost p( |y ).
Sea g cualquier funci
on de .
Entonces:
S
1 X  k
g E [g ( |y )]
gbS =
S
k=1

M
etodos Bayesianos - Banco de Guatemala

Alvaro Riascos

(1)

Contenido
Motivaci
on
M
etodos computacionales
Integraci
on de Montecarlo
Muestreo de Gibbs
Rejection
Muestreo Importante
Metropolis - Hasting
Markov Chain Montecarlo Method
Complemento ejemplos libro: Bayesian Computation with R

Muestreo de Gibbs
En ocasiones no es facil generar una muestra independiente de
p( |y )
El siguiente metodo explota una forma especial de expresar la
distribucion expost. Supongamos que = (1 , 2 ) entonces:
p( |y ) = p(1 |2 , y )p(2 |y )

(2)

p( |y ) = p(2 |1 , y )p(1 |y )

(3)

y es posible que sea mas facil generar una muestras de las

distribuciones condicionales expost.
M
etodos Bayesianos - Banco de Guatemala

Alvaro Riascos

Ejemplo: Regresion Lineal con Priors Independientes

Considere el modelo de regresi

on lineal en el que la
distribucion muestral es Normal.
Suponga que la prior conjunta es el producto de la marginales
(prior independiente).
Si la prior de es Normal y la prior de es Gamma la
distribucion expost no tiene una forma analtica conocida.
Sin embargo, las distribuciones condicionales de la posterior si
son calculables.
1
2

La distribuci
on condicional expost de es normal multivariada.
La distribuci
on condicional de es Gamma.

El metodo de muestreo de Gibbs capitaliza en esta estructura.

Algoritmo de Gibbs
Suponga que sabemos generar muestras aleatorias de todas
las distribuciones posterior condicionales de p ( |y )
Seleccione un parametro de incio 0
1
2
3
4
5




s1
Genere 1s usando p 1 y , 1


s1
Genere 2s usando p 2 y , 1s , {1,2}



s
s
usando p n y , 1s , ..., n1
Genere n1
Repita este procedimiento para cada i hasta obtener s .
Elimine las primeras S0 simulaciones para independizar el
resultado de la escogencia inicial de los parametros.

De la misma forma que el metodo de integracion de

Montecarlo:

gbS =

1
S S0

S
X
k=S0 +1

 
g k E [g ( |y )]

(4)

Algoritmo de Gibbs

Consideremos de nuevo el caso de dos parametros (o bloques

de parametros): (1 , 2 )
Usando el algoritmo debemos:
1
2
3
4
5
6

Seleccione un parametro de incio
10 , 20


Generar 11 usando p 1 y , 20

Generar 21 usando p 2 y , 11


En este momento hemos generado 11 , 21



Repetimos el procedimiento usando 11 , 21 en vez de 10 , 20 .
Hacemos esto S veces.

Contenido
Motivaci
on
M
etodos computacionales
Integraci
on de Montecarlo
Muestreo de Gibbs
Rejection
Muestreo Importante
Metropolis - Hasting
Markov Chain Montecarlo Method
Complemento ejemplos libro: Bayesian Computation with R

Rejection
Suponga que queremos generar una muestra de la distribucion
expost para la cual podemos incluso desconocer la constante
de normalizacion.
Supongamos que podemos encontrar una funcion de densidad

P()
tal que:
1
2
3

Sea facil obtener realizaciones de P.

Sea similar a la posterior en terminos de media y dispersion.

Existe una contantes c tal que: p( |y ) c P()

M
etodos Bayesianos - Banco de Guatemala

Alvaro Riascos

Rejection

Ahora siga el siguiente algoritmo:

1

2
3

Simule de forma independiente x de una distribucion uniforme

U en el intervalo [0, 1] y de la distribuci

on P.
p(|y )
Si x c P()
acepte la simulaci
on. Caso contrario se rechaza.

Repetir el procedimiento hasta obtener muchas simulaciones

aceptables.

Informalmente, un buen algoritmo de rechazo es uno en el que

se rechazan pocas simulaciones.

Rejection: Intuicion

Suponga que f es una idstribuci

on con soporte en [a, b],
f (x) m para todo x.
El objetivo es simular la distribuci
on f .
Sea X uniforme en [a, b] y Y uniforme en [0, m]
Sea x una realizaci
on de X y y una realizaci
on de Y .
Si y < f (x) acepte a simulaci
on x como una simulacion de
f (x)
Graficamente el efecto que tiene es hacer que las simlaciones
uniformes en [a, b] [0, m] de X Y las acepta u
nicamente
cuando esta bajo el area de la densidad f .
La version del algoritmo general presentado anteriormente
simplemente hace mas eficiente este procedimiento.

Contenido
Motivaci
on
M
etodos computacionales
Integraci
on de Montecarlo
Muestreo de Gibbs
Rejection
Muestreo Importante
Metropolis - Hasting
Markov Chain Montecarlo Method
Complemento ejemplos libro: Bayesian Computation with R

Muestreo Importante
El algoritmo de muestreo importante esta basado en el
siguiente teorema.
Sea g una distribuci
on de la cual es facil obtener realizaciones
y s simulaciones de g .
Definamos los pesos w (s ) =

p(s |y )
q(s )

Entonces:
1X
w (s )g (s ) E [g () |y ]
S

M
etodos Bayesianos - Banco de Guatemala

Alvaro Riascos

(5)

Muestreo Importante

Observese que en en principio la funci

on q es arbitraria.
El problema con este metodo es que puede requerir de muchas
simulaciones porque los pesos son casi cero para muchas
simulaciones. Luego para que sea eficiente la funcion g debe
ser aproximadamente igual a la posterior.
Observese que la idea del algoritmo es darle mas pesos a
aquellas realizaciones de s tales que g (s ) se aproxima a
p(s |y ).

Muestreo Importante: Intuicion

Observese que dada una distribuci

on cualquiera con densidad
q y el mismo soporte de p(s |y ) entonces:
Z
g ()p( |y )
E [g () |y ] =
q()d
(6)
q()

Podemos multiplicar y dividir dentro de la integral que define

E [g ()] y apelar de nuevo al metodo de inegracion de
Montecarlo esta vez generando simulaciones con la
distribucion q.

Contenido
Motivaci
on
M
etodos computacionales
Integraci
on de Montecarlo
Muestreo de Gibbs
Rejection
Muestreo Importante
Metropolis - Hasting
Markov Chain Montecarlo Method
Complemento ejemplos libro: Bayesian Computation with R

Metropolis - Hasting
Al igual que el metodo de Gibbs, este algoritmo es un ejemplo
de Markov Chain Montecarlo Methods(MCMM). En este, la
distribucion que se utiliza para generar una realizacion
depende de la simulaci
on anterior.
Tiene tambien similitudes con el algoritmo de muestreo
importante. En este se reduce el peso de simulaciones que
generan valores de la densidad muy diferentes a los que se
obtienen de la funci
on de muestreo importante.
En MH a todas las simulaciones se les da el mismo peso pero
no todas son aceptables.
M
etodos Bayesianos - Banco de Guatemala

Alvaro Riascos

Metropolis - Hasting
Sea q( |0 ) una funci
on de distribuci
on sobre 0 que depende
de . Esta se denomina la funci
on de densidad candidata
(juega un papel similar a la distribuci
on de muestreo
importante en el algoritmo anterior).
Seleccione un parametro de incio 0 .
1
2
3

4
5

Genere un candidato usando q(s1 |0 ).

Calcule la probabilidad de aceptaci
on (s1 | ).
s

Defina = con probabilidad (s1 | ) y s = s1 con

probabilidad 1 (s1 | ).
Repita este procedimiento para cada i hasta obtener s .
Elimine las primeras S0 simulaciones para independizar el
resultado de la escogencia inicial de los parametros.
Utilice las simulaiones para calcular la integral de la misma
forma que en metodo de Montecarlo.

Ahora definimos la probabilidad de aceptaci

on.

Metropolis - Hasting

La probabilidad de aceptaci
on se define de la siguiente forma:
(


)
|y ) q(  s1
p(
(s1 | ) = mn
,1
(7)
p(s1 |y ) q(s1 | )

Metropolis - Hasting: simetrico

Una pregunta importante es que densidad q utilizar como

candidata. Algunos candidatos importantes son:
Muestreo de metropolis
o simetrico. Corresponde al caso en el


que q( s1 = q(s1 |). En este caso la funcion de
aceptacion no depende de la densidad de candidatos.


p( |y )
s1
(
| ) = mn
,1
(8)
p(s1 |y )
Ejemplos
candidatas
simetricas son:
 s1
de densidades



s1



q(
=f
donde f s cualquier densidad.

Metropolis - Hasting: Independiente y caminata aleatoria

El caso independiente corresponde al caso en que
q s1 |) = f ()
Esta version del algoritmo es u
til cuando existe una
aproximacion adecuada de la posterior que podemos usar
como candidato a densidad generadora.
En este caso el algoritmo se reduce a un algoritmo de
muestreo importante (vease Koop, pagina 95).
El caso de la caminata aleatorio corresponde al caso en que
= s1 + z donde z es una variable aleatoria con cualquier
distribucion independiente de las variables . Si la distribucion
es simetrica alrededor de cero entonces es un caso de
distribucio simetrica.
Esta caso es u
til cuando se tiene no se conoce una
aproximacion adecuada de la densidad de la posterior.

Contenido
Motivaci
on
M
etodos computacionales
Integraci
on de Montecarlo
Muestreo de Gibbs
Rejection
Muestreo Importante
Metropolis - Hasting
Markov Chain Montecarlo Method
Complemento ejemplos libro: Bayesian Computation with R

Markov Chain Montecarlo Method

Un proceso estocastico {Xt }t=0,1.. con valores en un conjunto
finito S es un conjunto finito S = {s1 , ...sS } si la secuencia de
variables aleatorias satisface la Propiedad de Markov:
Para todo s S y t 1,
P(Xt+1 = s|Xt , Xt1 , ...X0 ) = P(Xt+1 = s|Xt )
En este caso definimos 0 como la funci
on de distribucion
(discreta) de X0 (lo representamos con un vector fila) y
Pi,j = P(Xt+1 = sj |Xt = si )
M
etodos Bayesianos - Banco de Guatemala

Alvaro Riascos

Markov Chain Montecarlo Method

Notese que gracias a la propiedad de Markov la definicion

anterior es independiente del perodo t. Estas se llaman
cadenas homogeneas.
La matriz P de coeficientes reales S S es una matriz
estocastica si todos sus elementos son positivos y las filas
suman 1.
Sea n la distribucion no condicional de estar en el periodo n
en cada uno de los estados. Entonces: n = 0 P
Un distribucion es estacionaria si t+1 = t .
Decimos que la cadena de Markov es asyntoticamente
estacionaria si para toda distribuci
on inicial 0 , lm t existe
t
y = lm t es una distribucion estacionaria de la cadena.
t

Markov Chain Montecarlo Method

Simular una cadena de Markov es facil si se puede simular la

distribucion inicial y de la probabilidad de transicion (esto
u
ltimo es trivial en el caso de cadenas pero no en el caso
general de procesos de Markov).
La relevancia para el analisis Bayesiano consiste en poder
identificar la distribuci
on de interes (posterior) como la
distribucion estacionaria de una cadena de Markov
asintoticamente estacionaria.
El metodo de muestreo de Gibbs y Metropolis - Hasting son
ejemplos de cadenas de Markov.

Contenido
Motivaci
on
M
etodos computacionales
Integraci
on de Montecarlo
Muestreo de Gibbs
Rejection
Muestreo Importante
Metropolis - Hasting
Markov Chain Montecarlo Method
Complemento ejemplos libro: Bayesian Computation with R

Complemento ejemplos libro

Example (Distribucion muestral experimento de Bernoulli)

Si en un experimento de Bernoulli la probabilidad de 1 es p,
entonces una muestra de tama
no y {0, 1}n con s unos y f ceros,
n = s + f la distribuci
on muestral es:


p(y p) = p s (1 p)f
(9)

M
etodos Bayesianos - Banco de Guatemala

Alvaro Riascos

Complemento ejemplos libro

Example (Prior discreta beta)
Supongamos que la prior sobre el parametro el

P() a1 (1 )b1

Entonces:
a
a+b
(1 )
Var [p] =
a+b+1
= E [p] =

(10)
(11)