UNIVERSIDAD DE LA SERENA

FACULTAD DE INGENIERIA
DEPARTAMENTO DE INGENIERIA INDUSTRIAL

INVESTIGACION
DE
OPERACIONES
II
Ing. Boris M. Olgun Tapia
bolguin@userena.cl
@borisolguintapi
+56 9 93537789

Procesos Estocsticos

Procesos Estocsticos

Un Proceso Estocstico se define como

secuencia de variables aleatorias {Xt} tT,
donde el conjunto de ndices T puede ser
un conjunto discreto, por ejemplo
T = {0,1,2,3,...}, caso en el cual decimos
que el proceso es tiempo discreto o bien T
puede ser un intervalo, por ejemplo
T = [0,), caso en el cual decimos que el
proceso es en tiempo continuo.

Procesos Estocsticos

El proceso estocstico {Xt} tT puede representar

por ejemplo:
El nmero de vehculos esperando en una
plaza de peaje en el instante t.
El nmero total de llamadas recibidas
solicitando un determinado servicio hasta el
instante t.
El nmero de mquinas descompuestas o en
reparacin en un determinado taller en el
instante t.

Procesos Estocsticos

El nivel de inventario de cierto producto al final

del da t.
El valor de una determinada accin en el
instante t.
Por ejemplo:
La evolucin del nmero de compradores en
una tienda al ser abierta al pblico, entre las
8:00 y 9:40 de la maana (100 minutos) puede
ser representada por un proceso estocstico y
una posible realizacin de ste se observa en la
siguiente grfica:

Procesos Estocsticos

Nmero
de
4
compradores
3
en el
sistema
2
1
0

20

40

60

80

100

Tiempo (en minutos)

Cadenas de Markov
Si se considera un ejemplo simple relacionado con la
propagacin de una enfermedad contagiosa. La
transmisin de la enfermedad se produce desde un
individuo infectado a uno susceptible de contagio.
Teniendo presente periodos semanales.
Sea p la probabilidad de que durante una semana
cualquiera un individuo infectado le transmita la
enfermedad a uno susceptible de contagio. Se considera
que cuando una persona ha sido infectada, sta queda
inmune una vez que ha sido tratada.

Cadenas de Markov
Cadenas de Markov en tiempo discreto.
Sea Xn el nmero de individuos susceptibles de contagio
en la poblacin al final de la semana n=1,2,...
Se define, como la probabilidad de que haya j individuos
susceptibles al final de la semana n+1 dado que hay
exactamente i individuos susceptibles de contagio al
final de la semana n (i j ).
Entonces:

i i j
pij
p (1 p) j
j

Cadenas de Markov
Cadenas de Markov en tiempo discreto.

Un proceso estocstico en tiempo discreto

{Xn}n=1,2,.... se denomina una Cadena de Markov
en tiempo discreto si satisface las siguientes
propiedades:
i) Propiedad Markoviana:
Donde i0, i1, ..., in-1, i, j son los posibles
estados o valores que puede tomar dicho
proceso estocstico en las distintas etapas.

Cadenas de Markov
Cadenas de Markov en tiempo discreto.

ii) Propiedad estacionaria:

La probabilidad, no depende de la etapa n.
Las probabilidades pij son llamadas probabilidades de
transicin en una etapa del estado i al estado j.
Suponiendo que en cada etapa n la v.a. Xn toma un nmero
finito de valores (estados), por ejemplo 1,2,... M; estas
probabilidades definen una matriz P de probabilidades de
transicin en una etapa.

Cadenas de Markov
Cadenas de Markov en tiempo discreto.
Matriz P de Probabilidades de Transicin en una Etapa

p11

p12

p21

p22

P ( pij ) i 1...M
j 1... M

p1M
p2 M

p( M 1)1
pM 1

p( M 1) 2
pM 2

p( M 1) M
pMM

Cadenas de Markov
Cadenas de Markov en tiempo discreto.
Adicionalmente, se supone conocida la distribucin de probabilidad de la
Cadena de Markov en la etapa inicial, que denotamos segn

IP( X 0 1)
IP( X 2)
0
0

IP( X 0 M )

, donde :

Cadenas de Markov
El conocimiento del proceso estocstico {Xn}n=0,1,2,..., consiste en poder
determinar la distribucin de probabilidad en cada etapa, es decir

IP (Xn = j)
1,2,.....,M.
calcular

para

cada

n 1

estado

j=

Se debe tener presente que para cada j:

IP( X n j ) IP( X n j / X n 1 i ) IP( X n 1 i )

i

pij IP( X n 1 i )
i

Cadenas de Markov
Matricialmente esto equivale a tener:

IP( X n 1)
IP( X 2)
n

p11
p
12

fn

p21
p22

p2 M

IP( X n M )

p1M

De manera recursiva se tiene entonces:

= PT f

n-1

= (PT)n f

pM 1 IP( X n 1 1)
pM 2 IP( X n 1 2)

pMM IP( X n 1 M )

Cadenas de Markov
Tambin es posible obtener las probabilidades de transicin de un estado
a otro al cabo de k etapas, que denotamos por :
Que resumidas en una matriz (para el caso de un nmero finito de
estados).
(k )
ij
n k
n
k
0

IP( X

j / X i ) IP( X j / X i )

Estas satisfacen las ecuaciones de:

P ( k ) ( pij( k ) )
Chapman- Kolmogorov que implican:

P(k) = Pk

Cadenas de Markov
Ejemplo a.Considere una tienda que mantiene un inventario de un producto dado
para satisfacer una demanda (aleatoria). La demanda diaria D, tiene la
siguiente distribucin:

IP (D = 0) = 1/4, IP (D = 1) = 1/2,
IP (D = 2) = 1/4, IP (D >= 3) = 0
Xn el nivel de inventario al inicio del da n y suponga que la tienda
tiene la poltica de mantencin de inventario (s, S), que consiste en
que si al final del da se posee menos de s, se hace una orden de pedido
que al inicio del da siguiente eleva las existencias al nivel S y en caso
Sea

contrario, no se pide nada.

Cadenas de Markov
Asuma que la demanda no satisfecha es demanda perdida y que al inicio
del horizonte de planificacin hay

S unidades en inventario con s = 1

S = 2.

Se tiene que:

Xn {1, 2}; n = 0, 1, 2, ...

IP( x0 1) 0
f

IP( x0 2) 1
pi , j IP( X n 1 j / X n i ) ; i, j {1,2}
0

Cadenas de Markov

p11 IP( D 0) 1 / 4
p12 IP( D 1) 3 / 4
p21 IP( D 1) 1 / 2
p22 IP( D 0) IP( D 2) 1 / 2
Entonces la matriz de probabilidades de transicin en una etapa
corresponde a:

1 / 4 3 / 4
P

1
/
2
1
/
2

Cadenas de Markov
Ejemplo b.Suponga que en el sistema de las AFP existen solo 2; las AFP A y las AFP
B.
Sea N el nmero de personas afiliadas al sistema; la superintendencia
est preocupada de que las cuentas individuales estn al da. Para ello ha
establecido un sistema de control basado en el siguiente procedimiento:
al final de cada mes escoge una persona al azar de los N existentes en el
sistema.

Cadenas de Markov
Si la AFP a la cual pertenece la persona no tiene su cuenta individual al da;
la persona es traspasada de inmediato a la otra AFP, en caso contrario la
deja en la AFP en la que estaba.
Suponga que la probabilidad de que un afiliado en la AFP A tenga su cuenta
al da es

P1 y que esta probabilidad para la AFP B es P2.

Se desea estudiar la movilidad de los clientes en cada AFP en cada mes del
horizonte de planificacin.

Cadenas de Markov
Se tiene:

Xn: el nmero de personas en la AFP A al final del mes n; con n = 0,

1, 2, ..., n
xn {0, 1, 2, ..., N}
Calculemos las probabilidades de transicin en una etapa (mes):

i
(1 P1 ) ; 1 i N 1
N
i
( N i)
pi ,i P1
P2
N
N
( N i)
pi ,i 1
(1 P2 )
N
pij 0 ; j i 1, i, i 1
pi ,i 1

p0, 0 P2

p0,1 (1 P2 )

p N , N 1 1 P1

p N , N P1

p0, j 0 j 0,1
p Nj 0 j N 1, N

Cadenas de Markov
Clasificacin de los estados y distribucin lmite.
En esta seccin se presentan algunos resultados que tienen relacin con
la existencia y clculo de una distribucin para la Cadena de Markov en
el largo plazo. Previamente, se enumeran algunas definiciones que
clasifican los estados de una cadena:
i) Un estado j se dice accesible desde el estado i si para algn n

(n)
ij

IP( X n j / X 0 i ) 0

Cadenas de Markov
ii) Si tanto el estado i es accesible desde j como viceversa decimos que los
estados i y j se comunican.
iii) Dos estados que se comunican estn en una misma clase de estados.
iv) Se dice que una cadena es irreducible si hay una sola clase de estados.

Cadenas de Markov
v) Un estado se dice que tiene periodo d, para el mayor valor del
entero d que cumple:

pii( n ) IP( X n i / X 0 i ) 0
slo para valores de n pertenecientes al conjunto
{d, 2d, 3d, ....}. Si d=1 decimos que el estado es aperidico.

Cadenas de Markov

vi) Se define T(i,j) como el nmero de etapas requeridas por el proceso

para pasar de estado i al estado j por primera vez.
De igual modo se define:
es decir :

Fk (i, j ) IP(T (i, j ) k )

como la probabilidad de que comenzando en i, ocurra la primera transicin

al estado j al cabo de exactamente k etapas.

Fk (i, j ) IP( X k j , X k 1 j ,..., X 1 j / X 0 i )

Cadenas de Markov
Puede probarse por induccin, la siguiente formula:

F1 (i, j ) pij
Fk (i, j ) pim Fk 1 (m, j ),

k 1

m j

vii) En particular, se denota por Fk(i,i) la probabilidad de que el proceso

retorne al estado i por primera vez al cabo de k etapas.
De modo que:

F (i, i ) Fk (i, i )
k 1

Cadenas de Markov

que es la probabilidad que partiendo en i , el proceso regrese al estado i

alguna vez.
viii) Un estado se dice recurrente ssi F(i,i) = 1
ix)

Un estado se dice transciente ssi F(i,i)< 1

x) Sea IE(T (i, i)) k Fk (i, i) , el valor esperado de el nmero de etapas

k 1
que le toma al proceso volver al estado i por primera vez, partiendo del
estado i.

Cadenas de Markov

Un estado se dice recurrente positivo ssi:

F(i, i) 1 y

IE(T (i, i))

Un estado se dice recurrente nul ssi :

F(i, i) 1 y

IE(T(i, i))

Cadenas de Markov
Ejemplo

0
1/ 2 1/ 2
p 0 1/ 3 2 / 3

1/ 3 1/ 3 1/ 3

1/ 2 1/ 2 0
p 1 / 2 1 / 6 1 / 3
1 / 5 3 / 5 1 / 5

Define una cadena

de estados irreducible
con estados recurrente
positivos peridicos

Posee dos clases

de estados y uno de
los estados es
transciente.

Cadenas de Markov

0
1/ 2
p
0
1

1 0
0 1/ 2
0 0
0 0

0
0

1
0

Es una cadena
irreducible, de
estados recurrentes
positivos y todos
sus estados son
peridicos de
periodo d=2.

Cadenas de Markov
Si la distribucin de probabilidad del proceso en el largo plazo
existe y es independiente de la distribucin inicial (o del estado
inicial), decimos que el proceso tiene una distribucin
estacionaria

p = (p1, p2, ..., pM)T

j lim IP(X n j) lim pij(n)

n

Cadenas de Markov
Proposicin.
Sea {Xn}n=0,1,2 una cadena de Markov irreducible con estados recurrentes
positivos aperidicos, entonces existe una distribucin estacionaria
tal que

> 0 y que se obtiene como la solucin nica del sistema:

P
j 1
j

j 0

Cadenas de Markov
Ejemplo. Se desea calcular las probabilidades estacionaria j, que
tambin representan la fraccin del tiempo que el sistema esta en el
estado j en el largo plazo

1/2

1/2

0
1/ 2 1/ 2
p 0 1/ 3 2 / 3

1/ 3 1/ 3 1/ 3

1/3

1/3

2/3

P
1 2 3 1

1/3

1/3

Cadenas de Markov
Sistema que corresponde a las siguientes ecuaciones:

1
1
(1) 1 1 3
2
3
1
1
1
(2) 2 1 2 3
2
3
3
2
1
(3) 3 2 3
3
3
( 4 ) 1 2 3 1

Cadenas de Markov

de
de

2
(1) 1 3
3
(2) 2 3

2
as
3 3 3 1
3
1
3
Solucin 1
2 3
4
8

Cadenas de Markov
Ejemplo:
Una compaa esta considerando emplear cadenas de markov para
analizar los cambios en las preferencias de los usuarios por tres marcas
distintas de un determinado producto. El estudio ha arrojado la
siguiente estimacin de la matriz de probabilidades de cambiarse de
una marca a otra cada mes:

1
2
3

0.8
0.03
0.2

0.1
0.95
0.05

0.1
0.02
0.75

Cadenas de Markov

En la actualidad los porcentajes de mercado son 45%, 25% y

30%, respectivamente.
Cuales sern los porcentajes de mercado de cada marca en dos
meses ms?
xn{1,2,3}: marca que adquiere un cliente cualquiera en el mes
n=0,1,2,3,...

IP(X 0 1) 0.45
f 0 IP(X 0 2) 0.25

IP(X 0 3) 0.30

0 .1
0.1
0 .8
P 0.03 0.95 0.02

0.2 0.05 0.75

IO2

Parte 2: Procesos Estocsticos

Al trmino del mes siguiente:

IP(X 1 1) 0.4275
f 1 P T f 0 IP(X 1 2) 0.2975

IP(X 1 3) 0.2750
Y dos meses despus:

IP(X 2 1) 0.4059
f 2 PT f 1 IP(X 2 2) 0.3391

IP(X 2 3) 0.2550

b.- Cadenas de

Cadenas de Markov
De aqu las cuotas de mercado en dos meses a cambiado de un
45% a un 40.59%; de un 25% a un 33.91% y de un 30% a un
25.50%, para las marcas 1,2 y 3 respectivamente.
Cul es la cuota de mercado en el largo plazo para cada una de
las marcas?
La cadena resultante es irreducible con estados recurrentes
positivos y aperidicos . Denotando por
=( 1, 2, 3)T, las probabilidades estacionarias de largo plazo,
las cuales satisfacen:

Cadenas de Markov
Cadenas de Markov en tiempo continuo.
Se desea estudiar el comportamiento de sistemas que dependen en
forma continua del tiempo:
Xt: nmero de ambulancias disponibles en el instante t.
Xt: nmero de personas esperando ser atendidas en el banco o en el
supermercado en el instante t.
Xt: nmero de mquinas funcionando correctamente en un taller en el
instante t.

Cadenas de Markov

Propiedad Markoviana:

IP(X t s j / X u X(u), 0 u t, X t i)
IP(X t s j / X t i)
Propiedad Estacionaria
depende
de t, slo de s.
IP(X t s , no
j/ X
t i)

Cadenas de Markov

Una realizacin posible del proceso estocstico es:

4
3

Xt

2
1
t

Cadenas de Markov

Cmo representar el proceso?

- Se necesitan las probabilidades de que ocurra un salto de un estado
a otro.
- La distribucin de los tiempos de permanencia en un estado.
Se necesita explicitar:
i) Probabilidades de transicin pij (asumiendo pii=0)
ii) Tasas vi de los tiempos exponenciales Ti de permanencia en el estado
i.

Cadenas de Markov
Distribucin de Xt :

pij (t ) IP(X t j / X 0 i)
Estas probabilidades satisfacen:

d
pij ( t ) pik (t )vkpkj v jpij (t )
dt
k j
Si existe una distribucin estacionaria:

j lim pij (t )
t

Cadenas de Markov

La ecuacin diferencial anterior provee el siguiente sistema de

ecuaciones para las probabilidades estacionarias (de existir):

k vkpkj v j j ; j 1,2,...

j 1

k j

O equivalentemente el sistema:

v j j

k vkpkj ; j 1,2,...

k j

j 1
j

Clasificacin de Estados de una Cadena de

Markov

Tiempos de Primera Pasada

Propiedades de largo plazo de las cadenas

de Markov

Estados absorbentes

Cadenas de Markov en tiempo contino