UniversidadCatlicaBoliviana

InvestigacinOperativaII

Mgr. RamiroLujnM.

Captulo 1 Procesos de Markov

Mtodos Cuantitativos para los Negocios Anderson, Sweeney, Williams; Slides: J. Loucks

QUANTITATIVE
METHODS FOR Cochabamba,2015
BUSINESS 8e Slide 1
 Captulo 1
Procesos de Markov

Probabilidades de Transicin
Probabilidades de Estado Estable (Steady-State)
Estados Absorbentes
Matriz de Transicin con Sub matrices
Matriz Fundamental

Slide 2
 Captulo 1
Glosario Procesos de Markov
Ensayos: Eventos que desencadenan las transiciones del
sistema de un estado a otro.
Estado del Sistema: Condicin del sistema en cualquier
ensayo o periodo particular
Probabilidad de transicin: Dado que el sistema est
en el estado i durante un periodo, la probabilidad de
transicin pij es la probabilidad de que el sistema est
en el estado j durante el siguiente periodo
Probabilidad de estado: Probabilidad de que el sistema
est en cualquier estado particular. (Es decir, i (n) es la
probabilidad de que el sistema est en el estado i en el
periodo n)

Slide 3
 Captulo 1
Glosario Procesos de Markov
Probabilidad de estado estable: Probabilidad de que el
sistema est en cualquier estado particular despus de
un nmero grande de transiciones. Una vez que se ha
alcanzado el estado estable, las probabilidades de
estado no cambian de un periodo a otro.

Slide 4
 Procesos de Markov

El Objetivo de este captulo es que el estudiante,

cuente con una herramienta til, para estudiar la
evolucin de sistemas a lo largo de ensayos
repetidos, los que a menudo, son periodos sucesivos
donde el estado del sistema en cualquier periodo
particular no puede determinarse con certeza.

Probabilidad de que una mquina est

funcionando el siguiente periodo
Probabilidad de que una persona que hoy compra
una marca A, maana compre la marca B

Slide 5
 Procesos de Markov

El captulo se restringe a situaciones consistentes en

una cantidad finita de estados, en los que
permanecen constantes las probabilidades de
transicin a lo largo del tiempo y la probabilidad de
estar en un estado particular en cualquier periodo,
depende nicamente del estado en el periodo
inmediatamente anterior. A esto se conoce como
Cadenas de Markov con probabilidades de
transicin estacionarias.
Anlisis de participacin en el mercado
Anlisis de cuentas por cobrar

Slide 6
 Probabilidades de Transicin

Las Probabilidades de transicin gobiernan la manera en

la cual el estado de un sistema cambia de una etapa a la
siguiente. Esto es representado por la matriz de
transicin.
Un sistema tiene una cadena finita de Markov con
probabilidades de transicin estacionaria si:
Hay un nmero finito de estados,
Las probabilidades de transicin permanecen
constantes de una etapa a la otra y
La probabilidad de que un proceso est en un estado
particular en la etapa n+1 est completamente
determinada por el estado del proceso en la etapa n (y
no por el estado en la etapa n-1). Esto se refiere como
la propiedad sin memoria.

Slide 7
 Probabilidades de Estado Estable

Las probabilidades de estado en cualquier etapa de

un proceso puede ser calculada recursivamente
multiplicando el estado inicial de probabilidades por
el estado del proceso en la etapa n.

. .

La probabilidad de que un sistema permanezca en un

estado particular luego de un gran nmero de etapas
es llamado probabilidad de estado estable.

Slide 8
 Probabilidades de Estado Estable

Las probabilidades de estado estable pueden ser

halladas resolviendo el sistema de ecuaciones P =
junto con la condicin de las probabilidades cuya suma
debe ser i = 1. Aqu la matriz P es la matriz de
probabilidades de transicin y el vector , es el vector
de probabilidades de estado estable.

Slide 9
 Grafos de Transicin
P 11
P12 P22

1 P 21 2

P2m
P13 P32
P m2
P 31 P23

P3m
3 m
P m3
P1m
P33

P12 P22
P m1 P 11

1 P 21 2

P1m
P m2

P m1 P2m

P mm

Slide 10
 Proceso Ergdigo en una CM

Un PROCESO ERGDICO describe matemticamente aquel proceso

donde es posible avanzar desde un estado cualesquiera hacia
cualquier otro

Slide 11
 Ejemplo: Hardware Norths

Henry, un persistente hombre de ventas, llama a

la tienda de Hardware North's una vez a la semana
esperando hablar con la agente de compras de la
tienda, Shirley. Si Shirley no acepta la llamada de
Henry esta semana, la probabilidad de que ella haga
lo mismo la siguiente semana es .35. Por otra parte,
si ella acepta la llamada de Henry esta semana, la
probabilidad de que no lo haga la siguiente semana
es .20.

Slide 12
 Ejemplo: Hardware Norths

Matriz de Transicin

Next Week's Call

Rechaza Acepta

This Rechaza .35 .65

Week's
Call Acepta .20 .80

Slide 13
 Ejemplo: Hardware Norths

Probabilidades de Estado Estable

Pregunta
Cuntas veces al ao espera Henry hablar con
Shirley?
Respuesta
Para encontrar el nmero esperado de llamadas
aceptadas por ao, encuentre la proporcin
(probabilidad) de largo plazo de que una llamada
sea aceptada y multiplquela por 52 semanas.

. . . continua

Slide 14
 Ejemplo: Hardware Norths

Probabilidades de Estado Estable

Respuesta (continuacin)
Sea 1 = la proporcin a largo plazo de llamadas
rechazadas
2 = la proporcin de largo plazo de llamadas
aceptadas
Luego,
.35 .65
[ ] = [ ]
.20 .80

Slide 15
 Ejemplo: Hardware Norths

Probabilidades de Estado Estable

Respuesta (continuacin)
Entonces, + = (1)
+ = (2)
y, + = 1 (3)
Resuelva usando las ecuaciones (2) y (3),
(ecuacin 1 es redundante), sustituyendo = 1 -
dentro de (2) para obtener:
.65(1 - 2) + = 2
Esto d = .76471. Sustituyendo dentro la (3)
obtenemos = .23529.
Entonces el nmero esperado de llamadas
aceptadas este ao es (.76471)(52) = 39.76 o cerca de 40.
Slide 16
 Ejemplo: Hardware Norths

Probabilidad de Estado
Pregunta
Cul es la probabilidad de que Shirley acepte las
siguientes dos llamadas de Henry si es que ella no
acept su llamada esta semana?
Respuesta RECHAZA
.35 P = .35(.35) = .1225
RECHAZA
ACEPTA
.35
.65 P = .35(.65) = .2275
RECHAZA
RECHAZA
.20 P = .65(.20) = .1300
ACEPTA ACEPTA
.65 .80 P = .65(.80) = .5200
Slide 17
 Ejemplo: Hardware Norths

Probabilidad de Estado
Pregunta
Cul es la probabilidad de que Shirley acepte
exactamente una de las siguientes dos llamadas de
Henry si es que ella acepta su llamada esta semana?
Respuesta
La probabilidad de que exactamente una de las
siguientes dos llamadas sea aceptada, si esta semana la
llamada fue aceptada, puede ser calculada de la
siguiente manera: (Aceptar la llamada la siguiente
semana y rechazar la subsiguiente) y (rechazar la
siguiente semana y aceptar la subsiguiente semana) =
.13 + .16 = .29 -- 0,2*0,65+0,8*0,2
Slide 18
 Estados Absorbentes - Glosario

Estado Absorbente: Se dice que un estado es

absorbente si la probabilidad de hacer una transicin
para salir de ese estado es cero. Por tanto, una vez que
el sistema ha hecho una transicin a un estado
absorbente, permanecer ah.
Matriz Fundamental: Matriz necesaria para el clculo
de probabilidades asociadas con los estados
absorbentes de un proceso de Markov.

Slide 19
 Estados Absorbentes

Un estado absorbente es aquel en el cual la

probabilidad de que el proceso permanezca en ese
estado una vez que se entra en ese estado es 1.
Si existe ms de un estado absorbente, entonces la
condicin de estado estable independiente de las
condiciones iniciales del estado no existen.

Slide 20
 Matrices de Transicin con Sub matrices

Si una cadena de Markov tiene ambos estados,

absorbentes y no absorbentes, los estados pueden ser
reordenados de tal manera que la Matriz de
Transicin pueda ser escrita como la siguiente
composicin de cuatro sub matrices: I, 0, R, y Q:
I 0

R Q

Slide 21
 Matrices de Transicin con Sub matrices

I = la matriz de identidad indica aquella que una vez

que se ha alcanzado un estado absorbente,
siempre se permanece en ese estado.
0 = la matriz cero representa la probabilidad 0 de
pasar de un estado absorbente a uno no
absorbente
R = las probabilidades de transicin de un estado no
absorbente a uno absorbente
Q = las probabilidades de transicin entre estados no
absorbentes

Slide 22
 La Matriz Fundamental y NR

La matriz fundamental, N, es la inversa de la

diferencia entre la matriz identidad y la matriz Q:
N = (I - Q )-1
La matriz NR, es el producto de la matriz
fundamental y la matriz R, proporciona las
probabilidades de moverse eventualmente de cada
estado no absorbente a cada estado absorbente.
Multiplicando cualquier vector de probabilidades
inicial de estado no absorbente por NR proporciona
el vector de probabilidades de que el proceso
eventualmente alcance cada uno de los estados
absorbentes. Estos clculos permiten anlisis
econmicos de sistemas y polticas.

Slide 23
 Ejemplo: Jetair Aerospace

El vice presidente de personal en Jetair Aerospace se ha

fijado que las promociones de personal anuales pueden ser
modeladas por un proceso de Markov. La matriz de
transicin es:
Siguiente Ao
Misma
Posicin Promocin Retiro Aba. Desp.
Ao Actual
Misma Posicin .55 .10 .05 .20 .10
Promocin .70 .20 0 .10 0
Retiro 0 0 1 0 0
Abandono 0 0 0 1 0
Despido 0 0 0 0 1
Slide 24
 Ejemplo: Jetair Aerospace

Matriz de Transicin
Next Year
Retire Quit Fired Same Promotion
Current Year
Retire 1 0 0 0 0
Quit 0 1 0 0 0
Fired 0 0 1 0 0

Same .05 .20 .10 .55 .10

Promotion 0 .10 0 .70 .20

Slide 25
 Ejemplo: Jetair Aerospace

Matriz Fundamental
-1
1 0 .55 .10
N = (I - Q )-1 = -
0 1 .70 .20

-1
.45 -.10
=
-.70 .80

Slide 26
 Ejemplo: Jetair Aerospace

Matriz Fundamental
El determinante, d = aa - aa
= (.45)(.80) - (-.70)(-.10) = .29
Entonces,
.80/.29 .10/.29 2.76 .34
N = =
.70/.29 .45/.29 2.41 1.55

Slide 27
 Ejemplo: Jetair Aerospace

Matriz NR
Las probabilidades de moverse de un estado no
absorbente a un estado absorbente estn dadas por:

2.76 .34 .05 .20 .10

NR = x
2.41 1.55 0 .10 0

Retire Quit Fired

Same .14 .59 .28
=
Promotion .12 .64 .24

Slide 28
 Ejemplo: Jetair Aerospace

Estados Absorbentes
Pregunta
Cul es la probabilidad de que alguien que
recientemente fue promovido, eventualmente se retire?
. . . Abandone(quitting)? . . . Sea despedido (being
fired)?
Respuesta
Las respuestas estn dadas por la fila inferior de la
matriz NR. Las respuestas son entonces:

Eventually Retiring = .12

Eventually Quitting = .64
Eventually Being Fired = .24

Slide 29
 Fin del captulo 1

Gracias

Mgr. Ramiro Lujn - UCB Slide 30