Cadenas de Markov

(Tomado de Inverse Problems, G.K. Nicholls, The University of Auckland 7-1

Chapter 7 Stochastic Simulation)
Introduccin
Supongamos que { }
0
n
n
X

M (o { }
n
n
X

M ) es una sucesin de variables

aleatorias correlacionadas, donde cada (estado)
n
X
proviene de algn conjunto
conocido como el espacio de estados. Se supone que los estados en pueden
ser etiquetados mediante enteros, es decir, es discreto.
El proceso es una cadena de Markov si ste satisface la condicin de Markov
( ) ( )
1 1 1 0 0 1
Pr , ,..., Pr
n n n n n n
X j X i X x X x X j X i
+ +

Una distribucin inicial ( )
0
Pr X i
para
0
X
y la probabilidad de transicin
para
1 n
X
+
dado
n
X
, ( )
1
Pr
n n
X j X i
+

determinan una cadena de Markov.
Si la probabilidad de transicin no depende de
n
, es decir, si
( ) ( )
1 1
Pr Pr ;
n m n m n n
X j X i X j X i m
+ + + +

decimos que la cadena de Markov M es homognea y escribimos la
probabilidad de transicin como una matriz
P
donde sus elementos estn dados
por
( )
1
Pr
ij n n
P X j X i
+

Note que
ij
P
es la probabilidad condicional para pasar al estado
j
en el prximo
paso dado que el estado actual sea i . Las probabilidades de transicin satisfacen
la condicin de normalizacin
1
ij
j
P

ya que la cadena debe estar en algn estado en el prximo paso.

Una matriz de esta naturaleza, cuyas filas suman uno es conocida como matriz
estocstica.
Ejemplo 1: Supongamos que { } 1, 2, 3
, la matriz de transicin es
2 1 1
5 2 10
7 1 1
5 10 10
2 2 1
5 5 5
P
_

,
1
y la distribucin inicial es ( ) ( )
1 1 1
0 3 3 3
Pr , , X i
.
Se puede representar a la matriz de transicin como un grafo, donde un vrtice
corresponde a un estado y un enlace orientado del vrtice i al vrtice
j
le
corresponde una probabilidad de transicin
ij
P
de i a
j
cuando sta sea
diferente de cero. Para el ejemplo tenemos su correspondiente representacin en
un grafo orientado en la Figura 1.
Figura1: Grafo orientado correspondiente al Ejemplo 1.
Simulacin: Note que si 1 a b c + + y deseamos elegir un estado en
{ } 1, 2, 3
con probabilidad
a
para 1, b para 2 y
c
para, solamente necesitamos
generar un nmero aleatorio
p
distribuido uniformemente en [ ] 0,1
y si
p a <
se
toma 1, si
a p a b < +
se toma 2 y si
1 a b p a b c + < + +
se toma 3.
Se usar esta tcnica para similar la cadena del ejemplo 1. Los siguientes
nmeros aleatorios
1
u
2
u
3
u
4
u
5
u
6
u
0. 429 0. 156 0.146 0. 951 0. 921 0. 644
han sido muestreados a partir de una distribucin uniforme en [ ] 0,1
. Nuestra
simulacin es como sigue:
1.- Tomar
0
X
usando la distribucin inicial ( ) ( )
1 1 1
0 3 3 3
Pr , , X i
, ya que
tenemos que a b c y
1
0.429 u
seleccionamos a
0
2 X
.
2
1
2 3
0.4
0.5
0.2
0.4
0.1
0.4
0.1
0.2 0.7
2.- Ya que estamos en el estado 2 debemos elegir un nuevo estado saltando
del estado 2. Ya que ( )
7 1 1
2 5 10 10
, ,
j
P
, por lo que como
1
2 5
0. 156 u a <

entonces seleccionamos
1
1 X
.
3.- Estamos ahora en el estado 1. Ya que ( )
2 1 1
1 5 2 10
, ,
j
P
, por lo que como
2
3 5
0.146 u a <
entonces seleccionamos
2
1 X
.
Y as sucesivamente se obtiene una realizacin de la cadena:
0
X
1
X
2
X
3
X
4
X
5
X ...
2 1 1 3 3 2 ...
Mediante la simulacin del proceso se obtiene una realizacin del mismo.
Podemos ver a partir del procedimiento de simulacin que el proceso estocstico
satisface la condicin de Markov: slo se usa el valor del ltimo estado
n
X
para
calcular la distribucin del estado
1 n
X
+
.
La distribucin de
n
X
Considere ( ) Pr
n
X j
, la cual es la probabilidad que despus de una simulacin
de una cadena de Markov para
n
pasos, el estado alcanzado sea
n
X j
.
Estas probabilidades pueden ser arregladas en un vector fila
( ) n

donde, por
definicin
( )
( ) Pr
n
j n
X j . Cuando 1 n , vemos que
( ) ( ) ( ) ( )
1 1 0 1 0 0
Pr Pr , Pr Pr
i i
X j X j X i X j X i X i



Esto puede ser escrito en forma matricial como
( ) ( ) ( ) ( )
[ ]
1 0 1 0
o 0,1
j i ij
i
P P

De manera similar
( ) ( ) 1

n n
P

Supongamos que se cumple que

P
es decir, es un vector propio izquierdo normalizado de la matriz
P
, ya que
1
i
i

y con valor propio 1. Entonces es una distribucin estacionaria para

P

3
ya que si
( )

n
entonces
( ) ( ) 1 n n
P
+
tambin, es decir, una vez que la
cadena est en la distribucin sta se queda en esta distribucin.
Ejemplo 2: ( )
5 11 1
18 18 9
, ,
es la distribucin estacionaria para la matriz en el primer
ejemplo, es decir
( ) ( )
2 1 1
5 2 10
5 5 7 11 1 11 1 1 1
18 18 9 18 18 9 5 10 10
2 2 1
5 5 5
, , , ,
_

,
Definicin: Supongamos que
( )

n
cuando
n
para cualquier
( ) 0
.
Entonces es la distribucin de equilibrio de la cadena M y la cadena se dice
que es ergdica.
Para una cadena ergdica y para
n
suficientemente grande, los estados de M
estn distribuidos como y el sistema est en equilibrio.
Ejercicio 1: Suponga que M es ergdica con distribucin de equilibrio .
Mostrar que cuando
n
n
P

,
K L
K L
M
K K
donde ...
n
P PP P es la matriz multiplicada
n
veces.
Solucin: Mediante iteracin
( ) ( ) 1

n n
P

vemos que
( ) ( ) 0

n n
P . Si M es
ergdica
( )

n
cuando
n
para cualquier
( ) 0
. En particular si elegimos
( )
( )
0
0, 0, ,1, , 0 K K donde 1 est en la posicin k , entonces
( ) 0 n
P es igual a la
fila k de
n
P y por suposicin, sta tiende a cuando
n
. Ya que esto se
cumple para cualquier k , la matriz
n
P tiene la forma mostrada.
Ejercicio 2: Verificar que cuando
n
resulta:
2 1 1
5 2 10
7 1 1
5 10 10
2 2 1
5 5 5
5 11 2
1
5 11 2
18
5 11 2
n
_ _

, ,
4
Ejercicio 3: Determinar la distribucin estacionaria si
1
1
a a
P
b b
_

,
donde
0 , 1 a b
.
Solucin: Si 0 2 a b < + < entonces ( ) ( ) ( )
b a b a a b + +
es la distribucin
estacionaria. Si 0 a b , entonces { } 0,1
es reducible bajo
P
, es decir,
dependiendo del estado inicial
( )
( ) 1 0
n
o
( )
( ) 0 1
n
y
( ) ( ) 0 1 0 1 c d +
es una distribucin estacionaria para cualquier
c
y d . Por
otra parte si 1 a b la cadena de Markov es peridica.
Distribuciones de Equilibrio
Bajo que circunstancias una distribucin estacionaria existe?
Si existe, sta es nica?

( )

n
cuando
n
para cualquier
( ) 0
?
Aqu buscaremos condiciones suficientes para la ergodicidad.
Irreductibilidad
Si nosotros podemos hallar una sucesin de estados
1 2
...
n
i k k k j
tal que las probabilidades de transicin
1 1
, , ,
0, 0, 0
m m n
i k k k k j
P P P
+

, entonces existe
una sucesin de estados de i a
j
con una probabilidad de ocurrencia no cero en
M . Se dice que i y
j
se comunican y se escribe
i j
. Si
j
e i tambin se
comunican, es decir, si
j i
, se dice que i y
j
se intercomunican y se escribe
i j
. Conjuntos de estados intercomunicados de clases de equivalencia, si
i m y
m j

i j
y del mismo modo, i m pero
m j
/
i j
/ .
Si todos los estados en se intercomunican, entonces se dice que es
irreducible bajo
P
, es decir, para cualquier dos estados i y
j
en , existe una
trayectoria con probabilidad no cero que enlaza a i con
j
y una trayectoria con
probabilidad no cero que enlaza a
j
con i . En caso contrario se dice que es
reducible bajo
P
.
Si existe ms de una clase de equivalencia distinta de estados intercomunicados
en , la cadena de Markov es reducible bajo
P
y una distribucin estacionaria no
necesita ser nica.
5
Ejemplo 4: Suponga que { } 1, 2, 3, 4
y que
0.4 0.6 0 0
0.2 0.8 0 0
0 0 0.4 0.6
0 0 0.2 0.8
P
_

,
Entonces queda claro a partir del grafo orientado de la figura 2 que { } 1, 2
y { } 3, 4

son clases de equivalencia de estados interconectados. Existen dos vectores
propios izquierdos de
P
con valor propio 1, que son ( )
3 1
4 4
, , 0, 0
y ( )
3 1
4 4
0, 0, ,
.
Si el estado inicial { }
0
1, 2 X
la distribucin estacionaria es

y si es { }
0
3, 4 X
entonces la distribucin estacionaria correspondiente es

.
Figura2: Grafo orientado correspondiente al Ejemplo 4.
Reversibilidad
Si tenemos una realizacin de un proceso reversible de Markov pero no sabemos
en que direccin fue simulado resulta imposible determinar la direccin de la
simulacin a partir de la secuencia de los estados de la realizacin. Esta es una
propiedad rara y especial.
Considere, por ejemplo, la cadena en { } 1, 2, 3
con la matriz de transicin
6
2
4
0.4
0.6
0.2
0.6
0.2
0.8
1
3
0.4
0.8
1 1 1
3 3 3
1 0 0
0 1 0
P
_

,
Esto define una cadena irreducible. Se puede notar que la secuencia
1 3 2 1 es posible en esta cadena pero la sucesin invertida 1 2 3 1
es imposible ya que
23
0 P
. Entonces existe una secuencia de estados para los
cuales es posible decir en qu direccin la simulacin ocurri y la cadena no es
reversible.
Lema: Sea { }
n
n
X

M sea una cadena de Markov con matriz de transicin

P
.
Entonces si se define a las variables aleatorias
n n
Y X

la sucesin { }
n
n
Y

M
es tambin una cadena de Markov, conocida como la cadena invertida de M .
Prueba: Considere la probabilidad condicional ( )
1 1
Pr , ,...
n n n
Y Y Y
+
. Se quiere mostrar
que esta es igual a ( )
1
Pr
n n
Y Y
+
. Por definicin de probabilidades condicionales
tenemos que
( )
( )
( )
( ) ( )
( )
( ) ( )
( )
1 1
1 1
1
1 2 1 1
1
1 2 1 1
1
Pr , , ,...
Pr , ,...
Pr , ,...
Pr , ,... , Pr ,
Pr , ,...
Pr , ,... , Pr ,
Pr , ,...
n n n
n n n
n n
n n n n n n
n n
n n n n n n
n n
Y Y Y
Y Y Y
Y Y
Y Y Y Y Y Y
Y Y
X X X X Y Y
Y Y
+
+

+ +

+ + +

Usando la propiedad de Markov de M

( ) ( )
1 2 1 1 2
Pr , ,... , Pr , ,...
n n n n n n n
X X X X X X X
+ + + +

tenemos que
( )
( ) ( )
( )
( ) ( )
( )
( )
( )
( )
1 2 1
1 1
1
1 2 1
1
1
1
Pr , ,... Pr ,
Pr , ,...
Pr , ,...
Pr , ,... Pr ,
Pr , ,...
Pr ,
Pr
Pr
n n n n n
n n n
n n
n n n n n
n n
n n
n n
n
X X X Y Y
Y Y Y
Y Y
Y Y Y Y Y
Y Y
Y Y
Y Y
Y
+ + +
+

+
+

Por lo que M es tambin una cadena de Markov.
7
Definicin: Una cadena de Markov homognea M es reversible si la matriz de
transicin para la cadena invertida M coincide con la de M , de manera que
( ) ( )
1 1
Pr Pr
n n n n
X j X i X j X i
+ +

Si las matrices de transicin son las mismas, el valor de cualquier estadstico que
se desee medir en una realizacin tendr la misma distribucin, si la realizacin
viene de la cadena directa o la inversa.
Por esto no podemos determinar cual fue la direccin de la simulacin mirando a
los resultados.
Condiciones necesarias y suficientes para la reversibilidad
Teorema: Suponga que { }
n
n
X

M sea una cadena de Markov con matriz de

transicin
P
, distribucin de probabilidad nica y que para todo
n
,
n
X
est
distribuida como . M es reversible si y slo si
; ,
i ij j ji
P P i j
Esta es frecuentemente conocida como la condicin detallada de balance.
Prueba: Sea ( )
ij
Q Q
la matriz de transicin de la cadena inversa { }
n
n
Y

M ,
donde
n n
Y X

, es decir
( )
1
Pr
ij n n
Q Y j Y i
+

Se debe probar que
ij ij
Q P
si y slo si el balance detallado se cumple. Por
definicin del proceso Y ,
( )
( )
( )
( ) ( )
( )
1
1
1 1
Pr
Pr ,
Pr
Pr Pr
Pr
ij n n
n n
n
n n n
n
Q X j X i
X j X i
X i
X i X j X j
X i

la cual es esencialmente el teorema de Bayes. Ya que cada

n
X
est distribuida
como para todo
n
,
( )
1
Pr
n n j ji j
ij
i i
X i X j P
Q





por definicin de la matriz de transicin
P
de M . Entonces
ij ij
Q P
y la cadena
es reversible si y slo si el balance detallado se cumple, es decir
ji j i ij
P P
.
8
Ejemplo 8: Modelo de Ehrenfest de difusin
Dada la dinmica microscpica de un proceso fsico reversible, este ejemplo
muestra como la distribucin estacionaria puede ser encontrada mediante el uso
de la condicin detallada de balance.
Considere dos cajas A y B conectada una con la otra. Dentro de las dos cajas
hay
m
partculas. En el momento t , sea
t
X
el nmero de partculas en la caja
A, as que hay
t
m X
partculas en la caja B . Si se selecciona una partcula de
manera aleatoria y se transfiere a la otra caja (cualquiera que sea). Esto conduce
a la situacin en el tiempo 1 t + .
Se desea verificar que { }
0
t
t
X

M es una cadena de Markov homognea. Su

matriz de transicin
P
satisface que
0
ij
P
a menos que
1 j i
o
1 j i +
.
Ahora,
, 1 i i
P

es la probabilidad de que
1
1 1
t t
X X i
+

o la probabilidad de que la
partcula seleccionada aleatoriamente est en la caja A la cual es i m. De
manera anloga ( )
, 1 i i
P m i m
+

.
Cualquier secuencia de movimientos dada es igualmente probable que ocurra
hacia delante o en reversa (imagine poner una etiqueta en cada bola), as el
proceso es reversible. Entonces la distribucin estacionaria debe satisfacer la
condicin detallada de balance. Poniendo
1 j i +
en la condicin,
, 1 1 1, i i i i i i
P P
+ + +

o
( ) ( )
( )
( )
1
1
1
1
i i
i i
m i i
m m
m i
i


+
+
+

+
Usando la relacin, vemos que
( ) ( )
1 0 2 1 3 2
1 2
, , , ...
2 3
m m
m


as que
( ) ( )
( )
0 0
1 ... 1
!
m
i i
m m m i
i

+

Se puede encontrar todas las
i

mediante la condicin de normalizacin ya que

( )
0 0
0 0
1 2
m m
m m
i i
i i




De ah que la distribucin estacionaria deseada sea
( )
2
m m
i i

la cual es la distribucin binomial ( )

1
2
, B m
.
9
Cadenas peridicas (un detalle tcnico)
Si los elementos de la diagonal principal de la matriz de transicin
P
de una
cadena es Markov son ceros, es decir
0;
ii
P i
, la cadena puede ser peridica.
Sea M una cadena de Markov irreducible con matriz de transicin
P
y sea i un
estado fijo. Se define el conjunto
( ) { }
: 0, 0
k
ii
T k P k > >
Estos son los pasos en los cuales es posible para una cadena que comience en el
estado i revisitarlo. El mayor comn divisor de los enteros en T es conocido
como el perodo del estado i . Es posible mostrar que el perodo de una cadena
irreducible para el estado i es una constante independiente de i .
La cadena se dice que es peridica si el perodo de cualquiera de sus estados es
mayor que uno.
Ejemplo 9: Considere la cadena definida por el espacio de estados { } 1, 2, 3, 4
,
el estado inicial
0
1 X
y la matriz de transicin es
1 1
2 2
1 1
2 2
1 1
2 2
1 1
2 2
0 0
0 0
0 0
0 0
P
_

,
Esta es peridica con perodo 2 ya que
( )
0
1
2
0, si es par
Pr 2 1
, si es impar
n
n
X X
n

'

Las cadenas peridicas no son ergdicas, aunque esta dificultad puede ser
eliminada mediante el sub-muestreo.
10
Teorema de ergodicidad para cadenas reversibles
Teorema: Para una cadena de Markov M irreducible, no peridica en un espacio
de estados contable con matriz de transicin
P
, si existe ( )
i

tal que
0 1, 1
i i
i

y
,
i ij j ji
P P
entonces M es reversible y ergdica con distribucin de equilibrio nica .
Note que si se suma la condicin de balance detallada con respecto a
j
se
obtiene
,
i ij j ji
j j
P P
_

,

o
i j ji
j
P

lo cual muestra que es una distribucin estacionaria. En general, dado un

proceso estocstico con matriz de transicin
P
, es muy difcil hallar la distribucin
de equilibrio a menos que la cadena sea reversible.
Se supuso tambin que

es contable y que
M

es homognea.
Ejercicio 4: Suponga que
M

es una cadena de Markov irreducible en un espacio
finito de N estados, con
ij ji
P P
, es decir, la matriz de transicin es simtrica.
Probar M es reversible, y que la distribucin uniforme
1
i
N
es su nica
distribucin de equilibrio.
Solucin: Ver ejemplo 11 en la prxima seccin.
Monte Carlo cadena de Markov
Algunos casos especiales
En la seccin anterior se consider el problema de hallar la distribucin de
equilibrio de una cadena con una matriz de transicin dada
P
. En esta seccin
se considerar el problema inverso. Dada una distribucin , cmo construir la
matriz de transicin
P
de una cadena de Markov de manera que la distribucin de
equilibrio de esta cadena sea ?
11
Una cadena de Markov puede ser especificada por una matriz de transicin, o
dando la dinmica microscpica (es decir, un algoritmo que determina a
1 n
X
+
dado
n
X
). El algoritmo de manera implcita fija la matriz de transicin. Los problemas
reales son usualmente demasiado complicados para poder dar la matriz de
transicin de manera explcita. As que el problema de especificar una CM con
una distribucin de equilibrio deseada ser sustituido por el problema de
suministrar un algoritmo que se pueda probar que genera una CM con la
distribucin de equilibrio correcta. Se usa la idea de reversibilidad.
Ejemplo 11: Construir una cadena de Markov
M

ergdica y reversible en el
espacio de estados { } 1, 2, 3, 4
con distribucin de equilibrio
1
4 i

, es decir
uniforme en .
Ya que M es reversible, la matriz transicin debe satisfacer
,
i ij j ji
P P
Y como
1
4 i j

tenemos que
ij ji
P P
. Si es irreducible bajo
P
(es decir, la
cadena puede tomar cualquier estado en ) entonces se han satisfecho las
condiciones del teorema de ergodicidad para cadenas reversibles. As que
cualquier matriz de transicin
P
simtrica e irreducible servira.
Si por ejemplo,
3 4 1 4 0 0
1 4 1 2 1 4 0
0 1 4 1 2 1 4
0 0 1 4 3 4
P
_

,
se satisface que
1
ij
j
P

y
ij ji
P P
. Ahora, ( )
1 1 1 1
4 4 4 4
, , ,
es un vector propio
izquierdo de
P
. Todas las condiciones de ergodicidad estn satisfechas de
manera que se espera que
( ) ( ) 0 n n
P tiende a ( )
1 1 1 1
4 4 4 4
, , ,
cuando
n
desde
cualquier estado inicial. De manera explcita, se puede hallar que
2
.625 .3125 .625 0
.3125 .375 .25 .625
.625 .25 .375 .3125
0 .625 .3125 .625
P
_

,
4
.49219 .32813 .14063 .03906
.32813 .30469 .22656 .14063
.14063 .22656 .30469 .32813
.03906 .14063 .32813 .49219
P
_

,
12
100
.25000 00567 .25000 00235 .24999 99765 .24999 99433
.25000 00235 .25000 00097 .24999 99903 .24999 99765
.24999 99765 .24999 99903 .25000 00097 .25000 00235
.24999 99433 .24999 99765 .25000 00235 .2500
P
0 00567
_





,
Note que este problema es trivial ya que se puede simplemente tomar
1 4
ij
P

para todo
, i j
en . En cada actualizacin se muestrea uniformemente en .
Entonces
( ) n
para todo
n
.
Ejercicio: Considere el espacio de estados
( ) { } { }
, , : 0 y , , 9, 8,..., 8, 9 a b c a b c a b c + +
Construya una cadena de Markov reversible con una distribucin de equilibrio la
cual sea uniforme en .
Solucin: Para moverse del estado
n
X i
al estado
1 n
X j
+

donde i y
j
estn
en , tomar un vector u con elementos ( ) 0,1, 1
en orden aleatorio, y poner
j i u + . Este movimiento respeta la restriccin que 0 a b c + + . Si i u + no est
en , el movimiento no es hecho y se pone
1 n n
X X i
+

. Existen seis opciones
para u . Se puede notar que
1. Para cada par de estados i y
j
existe un o ningn vector u de la forma dada
arriba que los relaciona. Si j i u + , entonces ( ) i j u +
. Debido que la
probabilidad de elegir u es la misma que la de elegir u , vemos que
1
6 ij ji
P P
si existe un u tal que i j u + . Tambin,
0
ij ji
P P
si no existe tal
u .
2. La regla que no se hace movimiento llevndonos fuera de slo afecta la
probabilidad
ii
P
para algn i y no echa a perder la simetra de la matriz de
transicin
P
.
Debido que
P
es simtrica, es claro que una distribucin uniforme en
satisface
i ij j ji
P P
. La cadena es claramente irreducible como para cualquier
par de estados i y
j
en , existe una sucesin de vectores vlidos u los cuales
nos llevan de i a
j
. Mediante el teorema de ergodicidad para cadenas
reversibles,
( )
1
Pr , uniforme en
n
X i

para cualquier distribucin inicial. Note que

designa el nmeros de estados en

.
13
Monte Carlo cadena de Markov de Metropolis-Hastings
Hasta el momento parece que se pueden manejar distribuciones uniformes. Pero,
se podrn generar distribuciones no uniformes?
Monte Carlo con cadena de Markov y Metropolis-Hastings es un cierto tipo de
algoritmo que genera una cadena de Markov con distribucin de equilibrio
. El algoritmo es como sigue:
Sea
n
X i
.
1 n
X
+
es determinado de la siguiente manera.
1. Paso de generacin: Generar un estado candidato
j
a partir de i con alguna
distribucin ( )
g j i
. ( )
g j i
es una distribucin que estamos en libertad de
elegir y que debe satisfacer las condiciones
a) ( ) ( )
0 0 g j i g i j
, (no poder ir hacia delante implica que no se
puede ir hacia atrs)
b) ( )
g j i
es la matriz de transicin de una cadena de Markov
irreducible en .
2. Paso de aceptacin: Con probabilidad
( )
( )
( )
min 1, ,
j
i
g i j
j i
g j i

' ;


aceptar
1 n
X j
+

, en caso contrario rechazar, es decir, poner
n
X i
.
Note que debido a que los pasos de generacin y aceptacin son independientes,
la probabilidad de transicin para ir de i a
j
es
( ) ( ) ( )
1
Pr para
n n
X j X i g j i j i i j
+

Esto dice que la probabilidad de pasar al estado
j
a partir del estado actual i es
igual a la probabilidad de generar el estado
j
a partir del estado actual i
multiplicada por la probabilidad de que el nuevo estado
j
sea aceptado. La
probabilidad
ii
P
puede ser hallada a partir del requerimiento de que
1
ij
j
P

.
Afirmacin: (Metropolis et al. 1953, Hastings 1970)
Sea una distribucin de probabilidad dada. La cadena de Markov simulada
mediante el algoritmo de Metropolis-Hastings es reversible con respecto a . Si
esta es adems irreducible y aperidica, entonces sta define una cadena de
Markov ergdica con distribucin de equilibrio nica .
14
Prueba: Hay que mostrar que la matriz de transicin
P
determinada por el
algoritmo de Metropolis-Hastings satisface
i ij j ji
P P
para
i j
(el caso
i j
es trivial). Si ste es el caso entonces la cadena es
reversible y el resto de la afirmacin sale a partir del teorema de ergodicidad.
Suponga sin prdida de generalidad que
( ) ( )
j i
g i j g j i >
Debido que
( ) ( )
( )
( )
( )
( )
P
min 1,
ij
j
i
g j i j i
g i j
g j i g j i
g j i

' ;


por la suposicin. Por otra parte
( ) ( )
( )
( )
( )
( )
( )
( )
( )
P
min 1,
ji
i i
j j
i
j
g i j i j
g j i g j i
g i j g i j
g i j g i j
g j i

' ;

tambin por suposicin. A partir de estas expresiones queda claro que

i ij j ji
P P

como requerido.
Note que si ( )
g j i
no es irreducible, entonces
ij
P
no es irreducible. Sin embargo,
la irreductibilidad de ( )
g j i
no es suficiente para garantizar la irreductibilidad de
ij
P
ya que puede ser que ( )
0 j i
(si
0
j

), y esto puede impedir que la
cadena alcance todos los estados en .
Ejemplo 12: Use el mtodo de Metropolis-Hastings para construir una cadena de
Markov reversible y ergdica en { } 1, 2, 3
con distribucin de equilibrio
( )
5 11 2
18 18 18
, ,
.
Solucin: Supongamos que ( )
1
3 ij
g g j i
para todo
, i j
, es decir, el paso de
generacin selecciona un estado candidato uniformemente a partir de . Por la
definicin de ( )
ij
j i
, se ve que
15
1 1 2 5
min 1, 5 11 1 2 11
1 1 1
j
ij
i

_



' ;



,
Ya que
ij ij ij
P g
para
i j
y
1
ii ij
j i
P P

produce las entradas de la diagonal,

se calcula
8 15 1 3 2 15
5 33 26 33 2 33
1 3 1 3 1 3
P
_

,
Es fcil comprobar que
P
y que las filas de
n
P tienden a a medida de que
n
se hace grande.
Ejemplo 13: Construir la matriz de transicin
P
de una cadena de Markov espacio
de estados { } 0,1, 2,...
y distribucin de equilibrio
( ) exp
!
i
i
i

que es una distribucin de Poisson con valor medio

+
.
Como es usual, existen dos partes, un esquema de actualizacin para generar
estados candidatos y un esquema para aceptar o rechazar estos estados.
Sea
n
X i
.
1 n
X
+
es determinado de la siguiente manera.
1. Generacin: Cualquier esquema simple har,
( )
1 2 si 1
1 2 si 1
0 en caso contrario
j i
g j i j i
+

'

es decir, dado
n
X i
, el estado candidato para
1 n
X
+
es elegido uniformemente
de { } 1, 1 i i +
.
2. Aceptacin/Rechazo: La probabilidad de aceptacin es determinada mediante
la frmula de Metropolis-Hastings
( )
( )
( )
min 1, ,
j
i
g i j
j i
g j i

' ;


Ahora ( ) ( )
1 2 g i j g j i
as que
16
( )
1
1 min 1, min 1, ,
1
i
i
i i
i

+


+
' ; ' ;
+


y
( )
1
1 min 1, min 1, ,
i
i
i
i i

' ; ' ;

Note que si
0
n
X
y el estado candidato
1 j
es elegido, se rechaza ste y
ponemos
1
0
n
X
+

. Esto afecta a
ii
P
pero deja a
ij
P
correcta para que el balance
detallado se cumpla.
Ejercicio: Implementar el algoritmo para el ejemplo anterior en su lenguaje
favorito. Usando
1
, comprobar la media y la varianza de las muestras
0
...
n
X X

estn cercanas a

cuando
n
es grande.
Ejemplo 14: Campo aleatorio binario de Markov
Considere el espacio ( ) { }
{ } 2
1 2
, ,..., : 1,1
m
N
x x x x
. Se puede considerar
m
x

como el color del pxel
m
donde
1
m
x
es un pxel negro y
1
m
x
es uno blanco.
Entonces es el espacio de todas las imgenes en blanco y negro con
2
N
pxeles. Suponga que la probabilidad de que x est dada por
( )
( )
,
1
Pr exp
1
exp 2 #
m n
m n
x J x x
Z
J x
Z
_

para algn 0 J > y donde

, m n
indica una suma sobre los pxeles
m
y
n
los
cuales son adyacentes en la malla de la imagen y # x es el nmero de lados que
conectan pxeles de valores distintos. La constante Z normaliza la distribucin de
probabilidad.
Referencia:
G.R. Grimmet and D.R. Stirzaker, Probability and Random Processes.
17
Ejercicio: Show that Phm;ni xmxn = 2#x+2N2 2N. What happened to exp(2N2
2N)
?
The probability distribution above favours smooth images. We wish to generate
samples X s
Pr (X = x) from this distribution. Each sample X is an array of N2 binary values x =
(x1; x2; :::; xN2) :
The normalising constant Z is not in general available (though see L. Onsager,
Phys Rev, vol65,
pp117, 1944) and classical sampling methods will not work. The distribution (7.51)
is called a
binary Markov random eld, or Ising model.
Exercise 7.2.4 Construct a reversible Markov chain on with
equilibrium distribution x =
Pr (x) :
Solution: We use the Metropolis Hastings prescription:
Let Xn = x. Xn+1 is determined in the following way.
1. Generate a candidate state x0 from x using some process we can choose. Here
is a simple
method: given x = (x1; x2; :::; xN2) ; pick a pixel n at random from 1; 2; :::;N2: Set
x0 =
(x1; x2; :::;xn; :::; xN2) : Notice that
(a) we can get to any state in by
a sequence of such updates,
(b) if x0 and x dier by more than one pixel, g (x0jx) = g (xjx0) = 0;
(c) if x0 and x dier by exactly one pixel, g (x0jx) = g (xjx0) = 1=N2;
so our generation scheme is suitable for MH MCMC.
2. Work out the Metropolis-Hastings acceptance probability with x = Pr(x) :
x0jx=min1;
x0
x
g (xjx0)
g (x0jx)
=min1; exp 2J(#x0 #x) (7.53)
Notice that both the gs and the normalization Z cancel. Since x and x0 are the
same except
at xn where x0n = xn;, we write #x0 #x = #x0n #xn where #xn is the number of
disagreeing neighbours around xn: So we set Xn+1 = x0 with probability
x0jx=minf1; exp (2J#n)g (7.54)
(where #n =#x0n#xn is the change in the number of disagreeing neighbours at
pixel n).
Otherwise we set Xn+1 = x, ie no change.
Notice that
1. If #n < 0; i.e., the change from x to x0 gives a smoother image with fewer
disagreeing
neighbours, then = 1 and the proposed change is accepted with probability 1:
18
2. If #n > 0; the change leads to a more irregular image with fewer agreeing
neighbours. Then
= exp(2J#n) and the proposed change is accepted with probability < 1:
Algorithm for generating a realization of the Markov chain
A Matlab script le for generating realizations from a random binary Markov eld
is
Xpix = 64;
Ypix = 64;
J = 1;
l = 0;
F = -ones(Ypix,Xpix);
while 1,
for k = 1:4096
% Select a pixel at random
ix = ceil(Xpix*rand(1)); iy = ceil(Ypix*rand(1));
Fc = F(iy,ix); pos = (ix-1)*Ypix + iy; % Index of pixel
nbhrs = pos + [-1 1 -Ypix Ypix]; % Find indicies of neighbours
nbhrs(find([iy==1 iy==Ypix ix==1 ix==Xpix])) = []; % Remove those outside picture
nagree = sum(Fc==F(nbhrs)); ndisagree = sum(Fc~=F(nbhrs));
change = nagree - ndisagree;
if rand(1)<exp(-2*J*change) % if change<0, this happens with certainty
F(iy,ix) = -Fc;
end
l = l + 1;
end
figure(1); image(63*F);colormap(gray); title([Iteration num2str(l)]);
drawnow
end
The only non-straightforward part is handling pixels on the edges which have fewer
than four
neighbours. If you run it you will see images sampled from Pr(x). Increasing the
value J leads
to images dominated by one color, as the average number of disagreeing edges
decreases with
increasing J. Some examples are given in Figure 7.3.
B C A
Figure 7.3 Samples x exp(2J#x)=Z with N = 64 and (A) J = 0:45 (B) J = 0:4 (C) J
= 0:35.
19