UNIDAD 2. ANLISIS DE MARKOV.

2.1. Conceptos bsicos.

Los modelos de procesos de Markov son tiles para estudiar la evolucin
de sistemas a lo largo de ensayos repetidos lo que, a menudo son periodos
sucesivos donde el estado del sistema en cualquier periodo particular no
puede determinarse con certeza. Por ello, para describir la manera en que el
sistema cambia de un periodo al siguiente se emplean probabilidades de
transicin. Por tanto, estamos interesados en la probabilidad de que el sistema
est en un periodo particular en un periodo dado.
Los modelos de Markov se pueden usar para describir la probabilidad de
que una mquina que est funcionando en un periodo continuar funcionando
en el siguiente periodo (o se estropear). Tambin se puede usar estos
modelos para describir la probabilidad de que un consumidor que compra la
marca A en un periodo, compre la marca B en el siguiente periodo.
2.2. Procesos de Markov (Anlisis de participacin en el mercado).
2.2.1. Estados, ensayos y probabilidades de transicin.
Suponga que hay inters por analizar la participacin en el mercado y
lealtad del cliente para dos supermercados en un poblado pequeo (M y A), se
enfocar en la secuencia de los viajes de compras de un cliente y se supone
que hace un viaje de compras cada semana ya sea a M o A, pero no a ambos.
Utilizando la terminologa de los procesos de Markov, a los periodos
semanales o viajes de compras se les llama ensayos del proceso. Por lo tanto,
en cada ensayo el cliente comprar ya sea en M o en A. La tienda particular
seleccionada se conoce como estados del sistema en ese periodo. Como el
cliente tiene dos alternativas de compra en cada ensayo se dice que el sistema
tiene dos estados. Con una cantidad finita de estados los identificamos como
sigue:
Estado 1. El cliente compra en M.
Estado 2. El cliente compra en A.
Por ejemplo, si decimos que el sistema est en el estado 1 en el
ensayo3, solo se est diciendo que el cliente compra en M durante la tercera
del periodo de compras. Esto hace que no se tenga una certeza donde va a
comprar el cliente durante una semana o ensayo dados, porque puede ser
cliente de M o de A, pero usando a Markov se puede ser capaz de calcular la
probabilidad de que el cliente compre en cada tienda durante cualquier
periodo. Ejemplo: Se puede encontrar una probabilidad e 0.6 de que el cliente
compre en M durante una semana en particular y una probabilidad de 0.4 de
que el cliente compre en A.
Suponga que como parte de un estudio de investigacin de mercado se
obtienen datos de 100 compradores a lo largo de un periodo de 10 semanas.
Los resultados del estudio se muestran en la siguiente tabla:
Probabilidad de transicin para las tiendas M y A.
Siguiente periodo de compra
semanal
1

Periodo de
compra
M
A
semanal
M
0.9
0.1
A
0.2
0.8
Estas probabilidades indican que un cliente puede moverse o hacer una
transicin de un estado en un periodo dado a otro estado en el siguiente
periodo estas probabilidades se llaman probabilidades de transicin. Observe
que la suma de probabilidades de cada rengln es uno y proporciona una
distribucin de probabilidad. La tabla tiene un rengln y una columna para
cada estado del sistema. Usando Po para representar la matriz de
probabilidades de transicin, es decir:
Po =
probabilidad de hacer una transicin del estado i en un periodo
dado al estado j en el
siguiente periodo.
Para el problema tenemos:
P11

P12

Po =

0.9

0.1

0.2

0.8

=
P21

P22

Con esta matriz de probabilidades se determina la probabilidad de que

un cliente visite M o A en algn periodo en el futuro.
2.2.2. Representaciones de rbol.
Para el problema que nos ocupa se usa un diagrama o representacin de
rbol que muestra la distribucin de probabilidad que describe dos viajes de
compras semanales de un cliente que compr en M: (Ver ejemplo en pizarrn).
El diagrama de rbol es til cuando solo se quiere analizar 2 semanas
pero si se quiere extender a ms periodos se vuelve tedioso y laborioso. Para
calcular ms periodos primero se debe introducir una notacin que permite
representar estas probabilidades para cualquier periodo dado. Sea:
i (n) = probabilidad de que el sistema est en el estado i en el periodo n

El ndice
denota
estado

Denota el
periodo de
tiempo

Por ejemplo, 1(1) denota la probabilidad de que el sistema est en estado

1 en el periodo 1, mientras que 2(1) denota la probabilidad de que el sistema
est en el estado 2 en el periodo 1. Como i(n) es la probabilidad de que el
sistema est en el estado i en el periodo n, esta probabilidad se conoce como
una probabilidad de estado.

1(0) y 2(0) son la probabilidad de que el sistema est en el estado 1 o en

el estado 2 en algn periodo inicial o de partida. La semana 0 representa el
periodo ms reciente cuando estamos comenzando el anlisis de un proceso
de Markov. Si se establece 1(0) = 1 y 2(0) = 0 se est diciendo que, como una
condicin inicial el cliente compr la ltima semana en M. Y de manera
alternativa si establecemos 1(0) = 0 y 2(0) = 1 el sistema comenzara diciendo
que el cliente compr la ltima semana en A.
2.2.3. a 2.2.6.
Si se considera la situacin donde el cliente compr en M la ltima vez.
Por tanto:
[1(0) 2(0)] = [1 0] es un vector que representa las probabilidades de estado
iniciales del sistema.
En general usamos la notacin:
(n) = [1(n) 2(n)]
En general:
[1(0) 2(0)]

P11
P21

P12
P22

o sea:
[1 0]

0.9
0.1
0.2 0.8

1 X 0.9 = 0.9
= + 0 X 0.2 = 0
0.9

1 X 0.1 = 0.1
0 X 0.8 = 0
0.1

Las probabilidades de estado 1(1) = 0.9 y 2(1) = 0.1 son las

probabilidades de que un cliente que compr en M durante la semana 0
comprar en M o A durante la semana 1.
Usando la misma ecuacin para calcular la semana 2 se tiene: (Ver
ejemplo en pizarrn).
Conforme se contina el proceso de Markov se encuentra que la
probabilidad de que el sistema est en un estado particular despus de una
gran cantidad de periodos es independiente del estado inicial del sistema. Las
probabilidades a las que nos aproximamos despus de una gran cantidad de
transacciones se conocen como probabilidades de estado estable. Denotando a
1 y 2 como las probabilidades del estado estable 1 y 2 debido a que i(n) ya no
es necesaria.
Los anlisis de las tablas anteriores indican que conforme n se hace ms
grande la diferencia entre las probabilidades de estado para el n-simo
periodo y el (n + 1)simo periodo se vuelve ms pequeo sabemos que:
3

P11
P21

P12
P22

0.9
[1 2]
0.2
en pizarrn).

0.1
0.8

[1(n) 2(n)]

Por lo tanto tenemos:

Realizando multiplicaciones, se tiene: (Ver ejemplo

1 = 0.91 + 0.22..Ecuacin 1
2 = 0.11 + 0.82..Ecuacin 2
Sin embargo, como las probabilidades de estado estable deben sumar 1:
1 + 2 = 1Ecuacin 3
Despejando a 1 y 2, se tiene:
2 = 1 1..Ecuacin 3A
1 = 1 2..Ecuacin 3B
Usando a la ecuacin 3 y sustituyendo a 2 con 3A en la ecuacin 1, en
otras palabras, dejando a 1 en funcin de 1, tenemos:
1 = 0.91 + 0.2 (1 1)
1 = 0.91 + 0.2 0.21
1 = 0.71 + 0.2
1 0.71 = 0.2
0.31 = 0.2; 1 = 0.2/0.3 = 2/3 por lo tanto: 1 = 2/3
Luego, usando 3A para despejar 2 tenemos:
2 = 1 1 = 1 2/3 = 1/3 por lo tanto:

2 = 1/3

En conclusin, empleando las ecuaciones 1 y 3A podemos resolver

directamente para las probabilidades de estado estable. Se puede comprobar
que se obtendra el mismo resultado usando las ecuaciones 2 y 3B.
Si se tienen 1000 clientes en el sistema el modelo de procesos de
Markov nos dice que a la larga con probabilidades de estado estable: 1 = 2/3 y
2 = 1/3 con 1000 clientes:
1 = 2/3 (1000) = 667 clientes de M y
2 = 1/3 (1000) = 333 clientes de A
Total: 1000 clientes
667 clientes para M y 333 clientes para A se puede interpretar como la
participacin en el mercado para las dos tiendas.
4

Si mediante estrategias de mercadotecnia el supermercado A tratara de

captar ms clientes las probabilidades cambiaran y se elaborara un nuevo
estudio que mostrara lo cambios por ejemplo, con una nueva tabla de
probabilidades debido a una campaa publicitaria de A las probabilidades
quedaran como sigue:
Siguiente periodo de compra
semanal
Periodo de
compra
M
A
semanal
M
0.85
0.15
A
0.20
0.80
Entonces la ecuacin 1 quedara como sigue:
1 = 0851 + 0.202
Usando a 3A se tiene: 1 = 0.851 + 0.20 (1 1)
1 = 0.851 + 0.2 0.21
1 = 0.651 + 0.2
1 0.651 = 0.2
0.351 = 0.2; 1 = 0.2/0.35 = 4/7 por lo tanto: 1 = 0.57
y 2 = 1 4/7 = 3/7 por lo tanto: 2 = 0-43
Suponga que el mercado es de 6000 clientes por semana. La nueva
estrategia de promocin aumentar el nmero de clientes semanales de A de
2000 a 2580. Si se tiene una utilidad promedio semanal de $10 las ganancias
de A aumentaran en $5800 por semana. Si la campaa cost menos de $5800
por semana el supermercado A debera considerar poner en prctica la
estrategia.
Con 6000 clientes para A:
Con:
2 = 1/3 (6000) = 2000 clientes
2 = 0.43 (6000) = 2580 clientes
El anlisis de Markov puede ser til en la toma de decisiones con
respecto a la participacin en el mercado y puede ser til en muchas otras
aplicaciones como por ejemplo cuentas por pagar.