LABORATORIO DE PROCESOS ESTOCASTICOS

CADENAS DE MARKOV
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende
del evento inmediatamente anterior. Es decir, las cadenas de este tipo tienen memoria. "Recuerdan" el ltimo
evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como es el lanzar una moneda al
aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra de los
consumidores, para pronosticar las concesiones por deudores morosos para planear las necesidades de
personal y para analizar el reemplazo de equipo.
Matriz de transicin: Es aquella matriz que esta formada por las probabilidades condicionales o de transicin
de moverse de un estado a otro y cada fila debe ser un vector de probabilidad, por lo tanto la suma de los
elementos de cada fila debe ser 1 y todos los elementos de la matriz deben ser mayores o iguales a cero.
Las cadenas de Markov poseen una propiedad en cuanto a que tienden a aproximarse a lo que se llama estado
estable.
Ejemplos:
1.- Un proceso de produccin contiene una mquina que se deteriora con rapidez bajando tanto en la calidad
como en el rendimiento de su produccin, bajo un uso pesado, de modo que se inspecciona peridicamente,
digamos al final de cada da. Inmediatamente despus de la inspeccin, se observa la condicin de la
mquina y se clasifica en uno de cuatro estado.
ESTADO | CONDICION
0
| Buena como nueva.
1
| Operable ( deterioro menor ).
2
| Operable (deterioro importante ).
3
| Inoperable ( produccin de calidad inaceptable ).
La Matriz de transicin es la que se entrega a continuacin:
Estado
0
1
2
3

|
|
|
|
|

0
0
0
0
0

1
2
7/8 1/16
3/4 1/8
0
1/2
0
0

3 .
1/16
1/8
1/2
1

Supuesto: Los costos en que se incurre mientras el sistema se desarrolla contienen varios componentes. As,
si el sistema est en el estado 0, 1 2, pueden producirse unidades
defectuosas en el da siguiente y los costos esperados seran:
| COSTO ESPERADO DEBIDO A LA PRODUCCION
ESTADO | DE ARTICULOS DEFECTUOSOS DEL DIA SIGUIENTE
0
|
0
1
|
$ 1.000
2
|
$ 3.000
Si se reemplaza la mquina se incurre en un costo de reemplazo de $ 4.000, junto con un costo de
produccin perdida (utilidad perdida) de $ 2.000. Por lo tanto, el costo total del sistema en el estado 3 es de $
6.000.
Con la poltica de mantenimiento antes mencionada, es decir, reemplazar una mquina inoperable, nuestra
matriz de transicin, se transforma en:
Estado | 0
0
| 0

1
2
7/8 1/16

3 .
1/16

1
2
3

| 0
| 0
| 1

3/4 1/8
0
1/2
0
0

1/8
1/2
0

En el estado 3 existe un reemplazo, por lo tanto en el estado 0 se pone un 1 porque la mquina queda " tan
buena como nueva ".
DETERMINACION DEL COSTO DE LA POLITICA DE MANTENIMIENTO:
En base a la matriz de transicin anterior, se plantea un sistema de ecuaciones simultneas, denominado
estado estacionario, que se pueden escribir, como:
0 = 3
|
1 = 7/8 0 + 3/4 1
|
2 = 1/16 0 + 1/8 1 + 1/2 2 |
3 = 1/16 0 + 1/8 1 + 1/2 2 |
0 + 1 + 2 + 3 = 1
|
___________________________|
la solucin del sistema es:
0 = 2/13

1 = 7/13

2 = 2/13

3 = 2/13.

De donde, el costo promedio esperado a largo plazo por da, est dado por:
C.T. = 0 * 0 + 1.000 * 1 + 3.000 * 2 + 6.000 * 3
C.T. = 0 * 2/13 + 1.000 * 7/13 + 3.000 * 2/13 + 6.000 * 2/13
C.T. = $ 25.000/13 = $ 1.923,08.
Y esto representa el costo de esta poltica de mantenimiento.
Se pueden definir distintas polticas de mantenimiento, como por ejemplo:
a) Reemplazar la mquina cuando est en el estado 2 3.
b) Reemplazar la mquina si se encuentra en el estado 3 reparar la mquina si se encuentra en el estado 2
y dejarla en el estado 1.
c) Reemplazar la mquina si se encuentra en el estado 3, 2, 1.
El costo de reparar es de $ 2.000 ms $ 2.000 por concepto de la produccin perdida y esto conlleva a un
costo total de reparacin de $ 4.000.
Las matrices de transicin para las polticas mencionadas anteriormente se presentan a continuacin:
a)

Estado
0
1
2
3

|
|
|
|
|

0
0
0
1
1

1
2
7/8 1/16
3/4 1/8
0
0
0
0

3 .
1/16
1/8
0
0

c) Estado | 0
0
| 0
1
| 1
2
| 1
3
| 1

1
2
7/8 1/16
0
0
0
0
0
0

3
1/16
0
0
0

b) Estado
0
1
2
3

|
|
|
|
|

0
0
0
0
1

1
2
7/8 1/16
3/4 1/8
1
0
0
0

3 .
1/16
1/8
0
0

Las probabilidades de cada estado estable y los costo de las distintas polticas se resumen a continuacin:
POLITICA| PROBABILIDADES | COSTO TOTAL
| 0
1 2
3 |
( en miles de pesos)
.
a
| 2/11 7/11 1/11 1/11 | 1/11 ( 2* 0 + 7*1 + 1*6 + 1*6 ) = 19/11 = 1,727
b
| 2/21 15/21 2/21 2/21 | 1/21 ( 2* 0 + 15*1 + 2*4 + 2*6 ) = 35/21 = 1,667 Min
c
| 16/32 14/32 1/32 1/32 | 1/32 ( 16* 0 + 14*6 + 1*6 + 1*6 ) = 96/32 = 3,000

Resultado: La poltica b) es la ptima, por involucrar un menor costo de mantenimiento y la decisin es

reemplazar si la mquina se encuentra en el estado 3 reparar si la mquina se encuentra en el estado 2, con
un costo promedio esperado de $1.667 por da.Las probabilidades que conforman la matriz del estado estable, se pueden obtener elevando la matriz de
transicin a un exponente alto por ejemplo, 64.
Esta operacin se realiza ocupando planilla EXCEL, como sigue:
Poltica a)

0
7/8
1/16
1/16
0
0
3/4
1/8
1/8
1
1
0
0
0
2
1
0
0
0
3
Para elevar al cuadrado esta matriz, lo primero que debe realizarse es seleccionar el nmero de filas y
columnas que determinan el orden de la matriz resultado, en la celda que corresponde a la interseccin de la
primera fila con la primera columna se posesiona el cursor y se aplica la funcin MMULT: en la primera
matriz, que aparece en el cuadro de dilogo se marcan las probabilidades de la matriz de transicin y lo
mismo se hace con la segunda matriz. Para visualizar las probabilidades de la matriz producto, en vez de
seleccionar aceptar ud. debe presionar las teclas: CTR, SHIFT y ENTER al mismo tiempo y se desplegarn
los elementos de su nueva matriz. Repita el proceso anterior unas seis veces, considerando el producto de la
nueva matriz obtenida y as, se aproximar a la matriz de probabilidades del estado estable.
Ejercicios:
1.- Un gerente de crdito estima que el 75 % de aquellos que pagan sus cuentas a tiempo un mes tambin lo
harn el siguiente mes. Sin embargo, de aquellos que se tardan slo el 45 % pagar a tiempo la prxima vez.
Si una persona paga a tiempo, cul es la probabilidad de que pagar a tiempo durante los cinco meses
desde ahora?
2.- Una empresa se preocupa por intermedio de su departamento tcnico de inspeccionar una mquina muy
especial al final de cada da y la clasifica en uno de los siguientes estados:
ESTADO
CONDICION
0
como nueva sin deterioro
1
como nueva con deterioro menor
2
operable con deterioro mayor
3
inoperable
Las polticas posibles son:
a) reparar, si la mquina se encuentra en el estado 2 y dejarla en el estado 1
b) reemplazar, si la mquina se encuentra en el estado 3 y dejarla en el estado 0
c) si la mquina se encuentra en el estado 2 se repara para dejarla en el estado 1 si se encuentra en estado 3
se reemplaza, para dejarla en el estado 0
Los costos por produccin defectuosa son los siguientes:
ESTADO
COSTO
0
0
1
500
2
2000
El costo de reparar ser $ 5.000 ms $ 4.000 por la produccin perdida en el da de la reparacin.
El costo de reemplazar es de $ 10.000 ms $ 4.000 por la produccin perdida en el da del reemplazo.
La matriz de transicin es la siguiente:
ESTADO
0
1
2
3
0
0,05
0,75
0,15
0,05
1
0
0,70
0,20
0,10
2
0
0
0,80
0,20
3
0
0
0
1
Determine, la poltica ms conveniente para implementar.

3.- Una empresa se preocupa por intermedio de su departamento tcnico de inspeccionar una mquina muy
especial al final de cada da y la clasifica en uno de los siguientes estados:
ESTADO
CONDICION
0
como nueva sin deterioro
1
como nueva con deterioro menor
2
operable con deterioro mayor
3
inoperable
Las polticas posibles son:
a) reparar, si la mquina se encuentra en el estado 2 y dejarla en el estado 1
b) reemplazar, si la mquina se encuentra en el estado 3 y dejarla en el estado 0
c) si la mquina se encuentra en el estado 2 3, se reemplaza, para dejarla en el estado 0
d) no hacer nada.
Los costos por produccin defectuosa son los siguientes:
ESTADO
COSTO
0
0
1
1500
2
2000
3
6000
El costo de reparar ser $ 5.000 ms $ 4.000 por la produccin perdida en el da de la reparacin.
El costo de reemplazar es de $ 8.000 ms $ 4.000 por la produccin perdida en el da del reemplazo
La matriz de transicin es la siguiente:
ESTADO
0
1
2
0
0,15
0,65
0,15
1
0
0,80
0,15
2
0
0
0,85
3
0
0
0
Determine cual poltica es ms conveniente implementar.

3
0,05
0,05
0,15
1

4.- Una empresa se preocupa por intermedio de su departamento tcnico de inspeccionar una mquina muy
especial al final de cada da y la clasifica en uno de los siguientes estados:
ESTADO
CONDICION
0
como nueva sin deterioro
1
como nueva con deterioro menor
2
operable con deterioro mayor
3
inoperable
Las polticas posibles son:
a) reparar, si la mquina se encuentra en el estado 2 y dejarla en el estado 1
b) reemplazar, si la mquina se encuentra en el estado 3 y dejarla en el estado 0
c) si la mquina se encuentra en el estado 2 3, se reemplaza, para dejarla en el estado 0
Los costos por produccin defectuosa son los siguientes:
ESTADO
COSTO
0
0
1
500
2
2000
3
5000
El costo de reparar ser $ 6.000 ms $ 4.000 por la produccin perdida en el da de la reparacin.
El costo de reemplazar es de $ 10.000 ms $ 4.000 por la produccin perdida en el da de
La matriz de transicin es la siguiente:
ESTADO
0
1
2
0
0,05
0,80
0,10
1
0
0,70
0,20
2
0
0
0,80
3
0
0
0
Determine cual poltica es ms conveniente implementar.

3
0,05
0,10
0,20
1

5.- Una empresa se preocupa por intermedio de su departamento tcnico de inspeccionar una mquina muy
especial al final de cada da y la clasifica en uno de los siguientes estados:
ESTADO
CONDICION
0
como nueva sin deterioro

1
2
3

como nueva con deterioro menor

operable con deterioro mayor
inoperable

Las polticas posibles son:

a) reparar, si la mquina se encuentra en el estado 2 y dejarla en el estado 1
b) reemplazar, si la mquina se encuentra en el estado 3 y dejarla en el estado 0
c) si la mquina se encuentra en el estado 2 3, se reemplaza, para dejarla en el estado 0
d) no hacer nada.
Los costos por produccin defectuosa son los siguientes:
ESTADO
COST0
0
0
1
1200
2
1700
3
4500
El costo de reparar ser $ 4.500 ms $ 3.500 por la produccin perdida en el da de la reparacin.
El costo de reemplazar es de $ 7.200 ms $ 3.500 por la produccin perdida en el da del reemplazo
La matriz de transicin es la siguiente:
ESTADO
0
1
2
0
0,10
0,70
0,15
1
0
0,75
0,15
2
0
0
0,80
3
0
0
0
Determine cual poltica es ms conveniente implementar.

3
0,05
0,10
0,20
1

6.- Una compaa emplea ingenieros de tres niveles de clasificacin: paga US$ 10.000 al ao a los ingenieros
nuevos, un promedio de US$ 15.000 al ao a los ingenieros veteranos y un promedio de US$ 20.000 al ao a
los consultores. Cada ao el 20 % de los nuevos, el 15 % de los veteranos y el 10 % de los consultores dejan
la compaa. Aquellos que se van son reemplazados por ingenieros nuevos. La compaa tiene ahora 500
ingenieros nuevos, 100 veteranos y 10 consultores. Cuntos ingenieros nuevos y veteranos se deben
promover cada ao para mantener estable los niveles de empleados?. Cuntos ingenieros nuevos se deben
contratar al ao?.
7.- El pabelln geritrico de un hospital clasifica a sus pacientes como encamados o no encamados. Los datos
histricos indican que durante un perodo de una semana, 30 % de todos los pacientes no encamados son
dados de alta, 40 % continan no encamados y 30 % son encamados. Durante el mismo perodo, 50 % de
todos los pacientes pasan a no encamados, 20 % permanecen encamados y 30 % fallecen. Normalmente el
hospital tiene 100 pacientes en su pabelln geritrico, con treinta pacientes encamados y setenta no
encamados. Determnese el estado de estos pacientes: a) despus de dos semanas, y b) a largo plazo. (El
estado de un paciente dado de alta no cambia si el paciente muere. )
8.- Una empresa A estima la siguiente matriz de transicin, para la cantidad demandada de un producto que
es fabricado por ella y tres de sus competidores (B, C y D ).
A
DE

A
B
C
D
A
0,80 0,05 0,07 0,08
B
0,12 0,70 0,15 0,03
C
0,10 0,15 0,56 0,19
D
0,08 0,07 0,12 0,73
La utilidad unitaria despus de impuesto que genera el producto a la compaa A es de $ 100. Las ventas del
producto por cada compaa en el ltimo perodo fue la siguiente.
COMPAA
A
B
C
D
N unidades vendidas 50000 20000 40000 60000
La compaa B ha decidido realizar una campaa publicitaria y estima que sta le permitir mejorar su
participacin en el mercado, que sera la siguiente:
Participacin Compaa
COMPAA
A
B
C
D
B
0,05 0,80 0,13 0,02

El departamento de estudio de la compaa A, se enter de lo que iba a realizar la compaa B y decidi

implementar una campaa publicitaria agresiva, la cual tiene un costo de $ 600000 y estima que su
participacin en el mercado sera la siguiente:
Participacin Compaa
COMPAA
A
B
C
D
Es conveniente que la empresa lleve
A
0,90 0,02 0,03 0,05
a cabo su campaa publicitaria ?
9.- Una empresa A necesita determinar cuntas mquinas adquirir para un proceso productivo, a fin, de tener
una mayor participacin en el mercado. Cada mquina, tiene un costo de US $ 100000 y la utilidad unitaria
que genera el producto a la empresa A es de US$ 5.
La distribucin del mercado es la siguiente:

N unidades vendidas

EMPRESA
A
B
C
200000 140000 160000

Las matrices de transicin dependiendo del nmero de mquinas que disponga la empresa A son:
1 Mquina

2 Mquinas
A

DE

A
A
B
C
0,70 0,20 0,10
0,05 0,92 0,03
0,08 0,02 0,90

A
B
C
3 Mquinas

DE
A
B
C

A
0,80
0,10
0,12

B
C
0,12 0,08
0,85 0,05
0,02 0,86

A
DE
A
B
C

A
B
C
0,90 0,06 0,04
0,10 0,85 0,05
0,15 0,02 0,83

Cul sera su decisin en el largo plazo?

Asuma que la vida til de la mquina es de un perodo