Unidad II: Procesos Estocsticos

Investigacin de
Operaciones II
Ing. Paulina Gonzlez Martnez

Contacto: clasesdii@gmail.com

Unidad II: Procesos Estocsticos
Procesos Estocsticos.

Cadenas de Markov. Ecuaciones de Chapman-Kolmogorov.

Clasificacin de estados de una cadena de Markov.

Tiempos de primera pasada.

Propiedades de lago plazo de las cadenas de Markov.

Cadenas de Markov en tiempo continuo.

Una Cadena de Markov es una serie de eventos, en la cual la
probabilidad de que ocurra un evento depende del evento inmediato
anterior. En efecto, las cadenas de este tipo tienen memoria.
Recuerdan el ltimo evento y esto condiciona las posibilidades de
los eventos futuros. Esta dependencia del evento anterior distingue a
las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado.

Por ejemplo: consideremos la propagacin de una enfermedad
contagiosa. La transmisin de la enfermedad se produce desde un
individuo infectado a uno susceptible de contagio. Teniendo presente
periodos semanales.

Sea p la probabilidad de que durante una semana cualquiera un
individuo infectado le transmita la enfermedad a uno susceptible de
contagio. Se considera que cuando una persona ha sido infectada,
sta queda inmune una vez que ha sido tratada.
CADENAS DE MARKOV




Sea X
n
el nmero de individuos susceptibles de contagio en la
poblacin al final de la semana n=1,2,...


Se define , como la probabilidad de que haya j
individuos susceptibles al final de la semana n+1 dado que hay
exactamente i individuos susceptibles de contagio al final de la
semana n (i > j ).

Entonces:
) i X / j X ( IP p
n 1 n ij
= = =
+
j j i
ij
) p 1 ( p
j
i
p |
.
|

\
|
=

Cadenas de Markov en tiempo discreto
Para mayor claridad, veamos un ejemplo:

Estamos interesados en cmo la distribucin de una poblacin entre estados puede cambiar durante un
perodo de tiempo.

La tendencia de una poblacin a moverse entre n estados se puede describir a veces mediante una matriz
de n x n.

Consideremos una poblacin distribuida entre n = 3 estados, que llamaremos estado 1,estado 2 y estado 3.
Se supone que conocemos la proporcin pij de la poblacin del estado j, que se mueve al estado i en
determinado perodo de tiempo fijo.

Supongamos que la poblacin de un pas, est clasificada de acuerdo con los ingresos en

Estado 1: pobre
Estado 2: ingresos medios
Estado 3: rico

Adems en cada perodo de 20 aos tenemos los siguientes datos para la poblacin y su descendencia:

De la gente pobre, el 19% pas a ingresos medios, y el 1% a rica; de la gente con ingresos medios, el 15%
pas a pobre, y el 10% a rica; de la gente rica, el 5% paso a pobre, y el 30%, a ingresos medios.
Construccin elementos pij matriz de transicin

Considerando que la matriz de transicin es una matriz de probabilidades, se tiene:


MATRIZ DE TRANSICION
OBSERVACIONES:

Las entradas de la diagonal de la matriz representa la proporcin de la poblacin que no
cambia de estado en un perodo de 20 aos.
La suma de los registros de cada columna de la matriz T es 1, pues la suma refleja el
movimiento de toda la poblacin para el estado relacionado en la parte superior de la
columna.
Estado 1 Estado 2 Estado 3
Estado 1
0.80 0.19 0.01
Estado 2
0.15 0.75 0.10
Estado 3
0.05 0.30 0.65
(
(
(
(
(
(

= =

=
=
MM M M
M M M M
M
M
M j
M i ij
p p p
p p p
p p p
p p p
p P
2 1
) 1 ( 2 ) 1 ( 1 ) 1 (
2 22 21
1 12 11
... 1
... 1
) (
Matriz P de Probabilidades de Transicin en una Etapa
MATRIZ DE TRANSICION
CADENAS DE MARKOV EN ETAPA INICIAL
(
(
(
(

=
=
=
=
) (
) 2 (
) 1 (
0
0
0
0
M X IP
X IP
X IP
f
f
n
= P
T
f
n-1
= (P
T
)
n
f
0

Adicionalmente, se supone conocida la distribucin de probabilidad de la
Cadena de Markov en la etapa inicial, que denotamos segn f 0, donde :
El conocimiento del proceso estocstico {Xn}n=0,1,2,..., consiste en
poder determinar la distribucin de probabilidad en cada etapa,
es decir calcular IP (Xn = j) para cada n > 1 y estado j=
1,2,.....,M.

Se debe tener presente que para cada j:

= =
= = = = =

i
n ij
n
i
n n n
i X IP p
i X IP i X j X IP j X IP
) (
) ( ) / ( ) (
1
1 1
MATRIZ DE TRANSICION


Sea {X
n
}
n=0,1,2
una cadena de Markov irreducible con estados recurrentes positivos
aperidicos, entonces existe una distribucin estacionaria t, tal que t > 0 y que
se obtiene como la solucin nica del sistema:
t t
T
P =
PROPOSICION
Matricialmente esto equivale a tener:











De manera recursiva se tiene entonces:

f
n
= P
T
f
n-1
= (P
T
)
n
f
0
(
(
(
(
(
(

=
=
=
(
(
(
(
(
(

=
(
(
(
(
(
(

=
=
=
=

) (
) 2 (
) 1 (
) (
) 2 (
) 1 (
1
1
1
2 1
2 22 12
1 21 11
M X IP
X IP
X IP
p p p
p p p
p p p
M X IP
X IP
X IP
f
n
n
n
MM M M
M
M
n
n
n
n
MATRIZ DE TRANSICION
Tambin es posible obtener las probabilidades de transicin de un
estado a otro al cabo de k etapas, que denotamos por :





Que resumidas en una matriz (para el caso de un nmero finito de
estados).


Estas satisfacen las ecuaciones de:



Chapman- Kolmogorov que implican: P(k) = Pk
) / ( ) / (
0
) (
i X j X IP i X j X IP p
k n k n
k
ij
= = = = = =
+
) (
) ( ) ( k
ij
k
p P =
Cadenas de Markov en tiempo discreto
EJERCICIO N1
Dada la matriz de transicin de un sistema determine:
a. Podra confeccionar un diagrama de transicin?
b. Podra determinar los estados a largo plazo de la matriz?
0.080 0.184 0.368 0.368
0.632 0.000 0.000 0.368
0.264 0.368 0.368 0.000
0.080 0.184 0.368 0.368
P=

a. Debemos verificar las propiedades de matriz de transicin:
Diagrama de transicin para n=4:
1
3
2
4

b. Estados a largo plazo:



0.080 0.184 0.368 0.368
0.632 0.000 0.000 0.368
0.264 0.368 0.368 0.000
0.080 0.184 0.368 0.368

4

=
1

2

3

4

1=
1
+
2
+
3
+
4

1
= 0.2451

2
= 0.2011

3
=.02940

4
= 0.2598


EJERCICIO N2


Suponga que toda la industria de gaseosas produce solo 2 colas: Coca-Cola y Pepsi.
Cuando una persona ha comprado CC hay una posibilidad de 90% de que siga
comprndola la vez siguiente; si una persona compr Pepsi, hay 80% de que repita
la vez siguiente.
a) Si una persona actualmente es comprador de Pepsi cul es la probabilidad
de que compre CC pasadas 2 compras a partir de hoy?
b) Si en la actualidad una persona es comprador de CC cul es la probabilidad
de que compre CC pasadas 3 compras a partir de hoy?
c) Supongamos que el 60% de toda la gente toma hoy CC y el 40% Pepsi, a 3
compras a partir de ahora, qu fraccin de los compradores estar tomando
CC?
d) Determine el estado estable del mercado.
EJERCICIO N3
Un fabricante de grabadoras est tan seguro de su calidad que est
ofreciendo garanta de reposicin total si el aparato falla en dos aos.
Basndose en datos compilados la compaa ha notado que solo el 1 % de
las grabadoras falla durante el primer ao y 5 % durante el segundo. La
garanta no cubre grabadoras ya reemplazadas.
Modele el sistema como una cadena de Markov.



Solucin:

1) Definir cuantos estados existen

2) Escribir claramente los estados

3) Construir el sistema
Estados:
E1: Grabadoras funcionando durante el 1
ao
E2: Grabadoras funcionando durante el 2
ao
E3: Grabadoras reemplazadas por garanta
E4: Finaliza la garanta

0 0.99 0.01 0
0 0 0.05 0.95
0 0 1 0
0 0 0 1
Nota:
Como solo falla el 1% de las grabadoras el 1 ao, el 99% restante
corresponde a las grabadoras funcionando el 2 ao y adems es la cantidad
de grabadoras reemplazadas por derecho de garanta.

EJERCICIO N4
Un taxi efecta sus servicios en las ciudades R y S. si el taxi est en
R, la probabilidad de que un pasajero quiera ir a S es de 0.8. si est en
S, la probabilidad de ir a R es de 0.3.
Se sabe adems que el beneficio esperado por carrera es:
Dentro de R: $1000
Dentro de S: $1200
Entre R y S: $2000
a) Obtener la probabilidad, a largo plazo de estar en R
b) Suponiendo que realiza 10 viajes, calcular, a largo plazo, el
beneficio esperado por carrera.

EJERCICIO N5
La produccin de uvas en una empresa del Valle del Limar se
clasifican segn la cantidad y calidad de sol recibida durante el ao y
estas pueden ser A, B C. la uva de tipo A, se destina a la produccin
de licores aejados, la de tipo B para vinos de seleccin y la tipo C
para producir licores econmicos. Por los antecedentes del ao
anterior se determin que si la cosecha de uvas fue de tipo A, las
probabilidades de tener durante la cosecha siguiente, una cosecha de
uvas igual es de 0,4, y se espera una cosecha de uvas de tipo C de
0,3. Si la cosecha de uvas fue del tipo B, entonces se espera contar
con uva del tipo A en una probabilidad de 0,6 y B de 0,4. Si durante el
ao la cosecha de uva es de tipo C, entonces para el ao siguiente, se
espera que la produccin sea de tipo C con una probabilidad de 0,4 y
de tipo B de 0,6.
En promedio se producen anualmente 125000 kgs. De uva, y el ultimo
ao se produjo solo uva del tipo B.
Se le solicita que apoye al ingeniero a cargo del programa de
produccin en la elaboracin del programa de produccin para los
prximos 5 aos y establezca la produccin que se espera para 10
aos ms.

EJERCICIO N6
Ante la problemtica actual de la crisis energtica, el gobierno ha decidido analizar el
uso de las energas disponibles para generar energa elctrica, con el fin de destinar
recursos para investigar aquellas que son alternativas sustentables (Elica). El
Ministerio de Transporte y Energa le solicita a Ud. determinar cuales sern las
proporciones de uso de dicha energa en un horizonte de 10 aos. Las energas
actualmente en uso son: Petrleo, Carbn, Hidrulica y Elica. Por estudios
realizados, se ha establecido que en la actualidad se utiliza el 60% en energa
Hidrulica, 15% en Petrleo y 20% en Carbn. Por otra parte se analiz que: de la
energa Hidrulica el 95% se mantiene usando la misma energa y el 5% cambia a
Elica; del uso del Carbn, el 25% se cambia a Hidrulica, un 45% contina usando
Carbn y un 5% cambia a Petrleo; del uso de Petrleo, un 40% se mantiene usando
Petrleo, un 15% se cambia a Carbn y un 30% se cambia a Hidrulica; tambin se
sabe que quienes usan energa Elica lo siguen haciendo. Se le solicita a Ud.:
a) Matriz inicial del caso
b) Matriz de Transicin para resolver la situacin planteada
c) Diagrama de Transicin
d) Proporcin de uso para los prximos 3 aos
e) Es conveniente de acuerdo a la tendencia del uso de los medios de generar
energa elctrica que se realice investigacin en energa alternativa (Elica) o
buscar mejores mecanismos para obtener petrleo, Carbn o Hidrulica a mas
bajos costos?