INVESTIGACION DE OPERACIONES

1




























INVESTIGACION DE OPERACIONES

2
CADENA DE MARKOV




PRESENTADO (POR):
MARCOS BOLIVAR ALVAREZ
JUAN CARLOS MADURO BARRETO
ALVARO CARDENA DONADO

PRESENTADO (A):
PRUDENCIA MEDINA MONTERROSA



FUNDACIN UNIVERSITARIA TECNOLGICO COMFENALCO
FACULTAD DE CIENCIAS ADMINISTRATIVAS Y CONTABLES
PROGRAMA DE ADMINISTRACIN DE EMPRESAS
VIII SEMESTRE
CARTAGENA DE INDIAS D. T. Y C.
27 DE NOVIEMBRE 2010


INVESTIGACION DE OPERACIONES

3
TABLA DE CONTENIDO
1) INTRDUCCION.--------------------------------------------------------------------PAG 4
2) OBJETIVOS.------------------------------------------------------------------------PAG 5
3) CADENA DE MARKOV.---------------------------------------------------------PAG 6
CONCEPTO.------------------------------------------------------------------------
4) CLASIFICACION DE LAS CADENAS DE MARKOV.---------------------
CADENAS ABSORBENTES.-----------------------------------------------------
GENERALIZANDO.----------------------------------------------------------------PAG 7
Ejemplo (Paseando por la peatonal).---------------------------------------PAG 8
5) CADENA DE MARKOV IRREDUCIBLE.----------------------------------------PAG 9
6) CLASIFICACIN SEGN EL NMERO DE CLASES FINALES.-------PAG 12
Cadena Ergdica.-----------------------------------------------------------------
Cadenas (ergdicas) Regulares.---------------------------------------------
Ejemplo (El clima en la Tierra de Oz).--------------------------------------
Cadena recurrente.---------------------------------------------------------------PAG 14
Cadenas irreducibles.----------------------------------------------------------
Cadenas regulares.--------------------------------------------------------------PAG 15
CADENA SEMI- ERGODICA.--------------------------------------------------PAG 16
CADENAS NO ERGODICAS.-------------------------------------------------
CADENAS INFINITAS.----------------------------------------------------------
CADENAS PERIDICAS ------------------------------------------------------

7) BIBLIOGRAFA.---------------------------------------------------------------------PAG 17
8) CONCLUCION.----------------------------------------------------------------------PAG 18


INVESTIGACION DE OPERACIONES

4

1) INTRODUCCIN

Las cadenas de Markov se incluyen dentro de los denominados procesos
estocsticos.
Dichos estudian el comportamiento de variables aleatorias a lo largo del tiempo
X(t,w).

Los procesos estocsticos se pueden clasificar atendiendo a dos aspectos: si el
espacio de estados posibles de la variable aleatoria contiene valores discretos o
continuos y de si los valores del tiempo son discretos o continuos.
Las cadenas de Markov es un proceso estocstico en el que los valores del tiempo
son discretos y los estados posibles de la variable aleatoria contiene valores
discretos, es decir, es una cadena estocstica de tiempo discreto.
Las cadenas de Markov, se clasifican, adems, dentro de los procesos
estocsticos de Markov, que son aquellos en el que el estado futuro de un proceso
es independiente de los estados pasados y solamente depende del estado
presente. Por lo tanto las probabilidades de transicin entre los estados para los
tiempos k-1 y k solamente depende de los estados que la variable adquiere dichos
tiempos.







INVESTIGACION DE OPERACIONES

5
2) OBJETIVOS


GENERAL:
Aplicar la teora fundamental de cadenas de markov para determinar el
comportamiento de la materia prima a futuro en cada proceso.


ESPECIFICOS:
- Mostrar que el proceso es una cadena de Markov.
- Construir la matriz de transicin.
- Mostrar que los estados son accesibles.
- Mostrar que los estados se comunican.
- Mostrar que los estados son recurrentes.
- Mostrar que los estados son aperidicos.
- Determinar el polinomio caracterstico y los valores propios











INVESTIGACION DE OPERACIONES

6
3) CADENA DE MARKOV
CONCEPTO
Las cadenas de Markov es una herramienta para analizar el comportamiento y el
gobierno de determinado de procesos estocsticos, esto es, procesos que
evolucionan de forma no deterministica a lo largo del tiempo en torno a un
conjunto de estados.
Una cadena Markov, por tanto, representa un sistema que vara su estado a lo
largo del tiempo, siendo cada cambio una transicin del sistema. Dichos cambios
no estn predeterminados, aunque s lo est la probabilidad del prximo estado
en funcin de los anteriores, probabilidad que es constante a lo largo del tiempo
(sistema homogneo en el tiempo). Eventualmente, en una transicin, el nuevo
estado puede ser el mismo que el anterior y es posible que exista la posibilidad de
influir en las probabilidades de transicin actuando adecuadamente sobre el
sistema (decisin).
4) CLASIFICACION DE LAS CADENAS DE MARKOV
CADENAS ABSORBENTES
En una cadena absorbente tenemos una probabilidad positiva de llegar en algn
momento a un estado absorbente, ya que en otro caso se formara un conjunto
ergdico (que no es el total) con ms de un punto porque hay un nmero finito de
estados.

En toda cadena de Markov absorbente, la probabilidad de absorcin (que
empezando en cualquier lugar se llegue a un estado absorbente) es 1.

Los estados que pueden sucederse a s mismos y, adems, es posible alcanzar,
por lo menos, alguno de los restantes desde ellos se llaman estados transitorios.


INVESTIGACION DE OPERACIONES

7
Un estado tal que si el proceso entra en l permanecer indefinidamente en este
estado (ya que las probabilidades de pasar a cualquiera de los otros son cero), se
dice estado absorbente.

De una cadena de Markov que consta de estados transitorios y absorbentes se
dice que es una cadena absorbente de Markov.

Si una cadena de Markov contiene algn estado absorbente, la lnea de la matriz
de transicin correspondiente a las probabilidades de transicin de dicho estado
constar de un 1 en la diagonal principal y ceros en los dems elementos. Ser
por lo tanto una matriz no regular.

Para poder estudiar las cadenas de Markov absorbentes es preciso reordenar la
matriz de transicin de forma que las filas correspondientes a los estados
absorbentes aparezcan en primer lugar. As ordenada se dir que la matriz de
transicin est en la forma cannica.

Podemos dividir la matriz en forma cannica en cuatro submatrices. La primera es
la matriz unidad I, del orden correspondiente. La segunda, la matriz nula. La
tercera contiene las probabilidades de paso de estados transitorios a estados
absorbentes. La cuarta contiene las probabilidades de estados transitorios a
estados transitorios.

GENERALIZANDO:
Una cadena de Markov absorbente contiene p estados transitorios y q estados
absorbentes. La matriz cannica del proceso presentar el aspecto siguiente:

I: matriz identidad de dimensin q
I O
Q M
| |
|
\ .

INVESTIGACION DE OPERACIONES

8
O: matriz nula de dimensin qxp
Q: matriz de dimensin pxq que contiene las probabilidades de paso de estados
transitorios a absorbentes.
M: matriz pxp con las probabilidades de los estados transitorios a estados
transitorios.

Se llama matriz fundamental de la cadena a la matriz resultado de la operacin:
F=(I-M)
-1


1) Escribe en la forma cannica las siguientes matrices, indicando el o los
estados absorbentes y los transitorios. Observa el diagrama correspondiente y
aydate de las escenas siguientes realizadas para matrices de orden 3


Ejemplo (Paseando por la peatonal). La peatonal de mi pueblo tiene 6 cuadras
de largo, que van de norte a sur. Estoy con ganas de deambular y pasar el tiempo,
y como tengo una moneda, se me ocurre tirarla y caminar una cuadra hacia el
norte si sale cara o una cuadra hacia el sur si sale sello. Y contino este juego
hasta salir de la peatonal, ya sea hacia el norte o hacia el sur.
En este caso, podemos pensar que los estados son 0,1, . . . ,5,6, donde 0 es la
esquina sur donde empieza la peatonal, 6 la esquina norte, y las esquinas
intermedias se numeran entre 1 y 5.
La matriz de transicin puede escribirse entonces como
|
|
|
.
|

\
|
|
|
|
.
|

\
|
|
|
|
.
|

\
|
0 5 2 5 3
0 1 0
3 1 0 3 2
5 2 5 2 5 1
0 1 0
4 3 0 4 1
5 3 5 2 0
0 1 0
3 1 0 3 2
/ /
/ /
;
/ / /
/ /
;
/ /
/ /

INVESTIGACION DE OPERACIONES

9

En este caso tenemos que pensar que las filas y columnas corresponden a los
estados 0, 1,. . . , 6. Sin embargo, tenemos la novedad de que al llegar al estado 0
(la esquina sur) o 6 (la esquina norte), el juego se termina, por lo que ponemos
un 1 en la entrada correspondiente indicando que ya nos quedamos para siempre
en esa posicin.

5) CADENA DE MARKOV IRREDUCIBLE
Se dice que una cadena de Markov es irreducible si cada estado Ej. se puede
alcanzar desde cualquier otro estado Ei despus de un numero finito de
transiciones; o sea, para i = j,
Pij (n) > o, para 1 n <
En este caso todos los estados de la cadena se comunican.
Estados absorbentes y estados de conjunto cerrado
En una cadena de Markov un conjunto C de estados se denomina cerrado si el
sistema, una vez en uno de los estados de C, permanece en C indefinidamente.
Un ejemplo especial de conjunto cerrado es un estado particular Ej. que tenga una
probabilidad de transicin Pij = 1. En este caso Ej se denomina estado
absorbente. Todos los estados de una cadena irreducible deben formar un
conjunto cerrado y ningn otro subconjunto puede ser cerrado. El conjunto cerrado

INVESTIGACION DE OPERACIONES

10
C tambin debe satisfacer todas las condiciones de una cadena de Markov y por
ello, puede estudiarse en forma independiente.
Todos los estados en una cadena de Markov infinita irreducible pueden pertenecer
a una y solo a una, de las siguientes tres clases: estados transitorios, estados
recurrentes nulos o estados recurrentes no nulos. En cada caso, los estados se
comunican y tienen el mismo periodo. En el caso especial cuando la cadena tenga
un nmero finito de estados, la cadena no puede constar solo de estados
transitorios, ni tampoco puede contener algn estado nulo.
Ejemplo
En un juego participan dos jugadores, A y B. En cada turno, se lanza una moneda
al aire. Si sale cara, A le da 1 a B. Si sale cruz, B le da 1 a A. Al principio, A
tiene 3 y B tiene 2 . El juego contina hasta que alguno de los dos se arruine.
Calcular:
La probabilidad de que A termine arruinndose.
La probabilidad de que B termine arruinndose.
El nmero medio de tiradas que tarda en acabar el juego Tendremos una CM con
un estado por cada posible estado de cuentas de A: S={1, 2, 3, 4, 5, 0}.
Descomponemos Q:

|
|
|
|
|
|
|
|
.
|

\
|
=
1 0 0 0 0 0
0 1 0 0 0 0
0 5 , 0 0 5 , 0 0 0
0 0 5 , 0 0 5 , 0 0
0 0 0 5 , 0 0 5 , 0
5 , 0 0 0 0 5 , 0 0
Q
|
|
|
|
|
.
|

\
|
=
0 5 , 0 0 0
5 , 0 0 5 , 0 0
0 5 , 0 0 5 , 0
0 0 5 , 0 0
' Q
|
|
|
|
|
.
|

\
|
=
0 5 , 0
0 0
0 0
5 , 0 0
R

INVESTIGACION DE OPERACIONES

11
Realizamos los clculos necesarios:








Probabilidad de que A termine arruinndose.
La ruina de A est representada por el estado 0, que es el 2 estado absorbente.
Como empezamos en el 3
er
estado transitorio (A empieza con 3 ), debemos
consultar la 3 fila, 2 columna de (IQ)
1
R, que nos da una probabilidad de 0,4 de
que A empiece con 3 y termine en la ruina.
Probabilidad de que B termine arruinndose
Como es el suceso contrario del apartado a), su probabilidad ser 10,4=0,6.
Tambin podramos haber consultado la 3 fila, 1 columna de (IQ)
1
R.
Nmero medio de tiradas que tarda en acabar el juego
Sumamos los nmeros medios de etapas que se estar en cualquier estado
transitorio antes de la absorcin, suponiendo que empezamos en el 3
er
estado
transitorio. Dichos nmeros medios son los que forman la 3 fila de la matriz (I
Q)
1
. El promedio es: 0,8+1,6+2,4+1,2=6 tirada.
( )
|
|
|
|
|
.
|

\
|
=
|
|
|
|
|
.
|

\
|

6 , 1 2 , 1 8 , 0 4 , 0
2 , 1 4 , 2 6 , 1 8 , 0
8 , 0 6 , 1 4 , 2 2 , 1
4 , 0 8 , 0 2 , 1 6 , 1
1 5 , 0 0 0
5 , 0 1 5 , 0 0
0 5 , 0 1 5 , 0
0 0 5 , 0 1
'
1
1
Q I
( )
|
|
|
|
|
.
|

\
|
=

2 , 0 8 , 0
4 , 0 6 , 0
6 , 0 4 , 0
8 , 0 2 , 0
'
1
R Q I

INVESTIGACION DE OPERACIONES

12
Nota: si observamos la 1 columna de (IQ)
1
R, vemos que los valores van
creciendo. Esto se debe a que, cuanto ms dinero tenga al principio A, ms
probabilidad tiene de ganar el juego.

6) CLASIFICACIN SEGN EL NMERO DE CLASES FINALES
- Cadena Ergdica: cuando la cadena tiene una nica clase final y no
tiene clases de paso.

- Cadenas (ergdicas) Regulares: Son cadenas en las que el total
forma un conjunto ergdico y existe N e K tal que
) (k
ij
P
> 0 para
cualquier par de estados i, j.

Una cadena de Markov se dice regular si existe alguna potencia positiva de la
matriz de transicin cuyas entradas sean todas estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transicin de la
cadena se tiene que:
Donde W es una matriz con todos sus renglones iguales a un
mismo vector de probabilidad w, que resulta ser el vector de probabilidad
invariante de la cadena. En el caso de cadenas regulares, ste vector invariante
es nico.
Ejemplo (El clima en la Tierra de Oz). Segn el cuento, en la Tierra de Oz nunca
hay dos das buenos en sucesin. Despus de un da con buen tiempo, le sigue
(con igual probabilidad) un da con lluvia o nieve. Del mismo modo, si nieva (o
llueve), el da siguiente nevar (o llover) con probabilidad 1=2, pero si cambia el
tiempo slo la mitad de las veces ser un lindo da.
Para estudiar este problema primeramente encontramos las probabilidades de
transicin, es decir las probabilidades de que teniendo cierto clima un da, al da

INVESTIGACION DE OPERACIONES

13
siguiente se tenga otro clima. As, si indicamos con b a un da bueno, con ` a uno
lluvioso y n si nieva, tendremos
- pbb = 0 de un buen da a un buen da,
- pb` = 1=2 de un buen da a un da lluvioso,
- pbn = 1=2 de un buen da a un da con nieve,
- p`` = 1=2 de un da lluvioso a un da lluvioso,
- p`b = 1=4 de un da lluvioso a un buen da,
- p`n = 1=4 de un da lluvioso a un da con nieve,
- pnn = 1=4 de un da con nieve a un buen da,
- pn` = 1=4 de un da con nieve a un da con lluvia,
- pnb = 1=2 de un da con nieve a un buen da.
- Es conveniente ordenar estos datos en una tabla o matriz,

Donde las filas indican el clima en el da, las columnas el clima en el da siguiente,
y las entradas son las probabilidades de cambio o transicin. No es sorprendente
que la matriz se llame matriz de transicin (o transiciones).
Observamos que en esta matriz no slo los coeficientes son no-negativos, sino
que al sumarlos por filas obtenemos 1, indicando que alguna de las posibilidades,
en este caso b, ` o n, debe necesariamente suceder: una matriz con esta
propiedad
no-negatividad y suma 1 por filas tambin se llama de probabilidad o
estocstica.
En cambio, al sumar por columnas, a veces obtenemos menos de 1, a veces ms,
y habr casos donde dar 1.

INVESTIGACION DE OPERACIONES

14
El ejemplo del clima en la Tierra de Oz es un ejemplo tpico de cadena de Markov:
1. tenemos ciertos estados, en este caso b, ` y n,
2. en cada momento estamos en uno de estos estados,
3. en el prximo momento (los momentos considerados son discretos)
volveremos a estar en ese u otro estado,
4. pasamos de un estado a otro con cierta probabilidad,
5. que slo puede depender del estado inmediatamente anterior,
6. y esta probabilidad no cambia con el transcurso del tiempo.
La cadena de Markov es uno de los modelos ms sencillos para tratar de predecir
el comportamiento de un sistema, en este caso el clima en Oz. Por ejemplo nos
podemos preguntar: en 100 das.
Cadena recurrente
Una cadena recurrente es un conjunto de estados de los que el sistema no puede
salir. Un estado transitorio conduce al sistema dentro de este conjunto de estados.
El sistema hace saltos dentro de este conjunto indefinidamente. La cadena
recurrente es tambin llamada subcadena de Markov irreducible o de clases
recurrentes.
Cadenas irreducibles
Una cadena de Markov se dice irreducible si se cumple cualquiera de las
siguientes condiciones (equivalentes entre s):
1. Desde cualquier estado de E se puede acceder a cualquier otro.
2. Todos los estados se comunican entre s.
3. C(x)=E para algn xE.
4. C(x)=E para todo xE.

INVESTIGACION DE OPERACIONES

15
5. El nico conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son
ejemplos de cadenas de Markov irreducibles.
Cadenas regulares
Una cadena de Markov se dice regular (tambin primitiva o ergdica) si existe
alguna potencia positiva de la matriz de transicin cuyas entradas sean todas
estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transicin de la
cadena se tiene que:

donde W es una matriz con todos sus renglones iguales a un mismo vector de
probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena.
En el caso de cadenas regulares, ste vector invariante es nico.
Finalmente se presentan unos tiles factores de las cadenas de Markov:
Cada cadena de Markov debe tener al menos una cadena recurrente
Una cadena recurrente es un estado absorbente generalizado
Un proceso de Markov que tiene una cadena recurrente ser completamente
ergdica desde dondequiera que el inicie finalizara en cadena recurrente
Si un proceso tiene dos o ms cadenas recurrentes, entonces la propiedad
ergdica no se mantiene en el tiempo
Un estado transitorio es un estado que ocupa el sistema antes de convertirse en
una cadena recurrente.



INVESTIGACION DE OPERACIONES

16
CADENA SEMI- ERGODICA
Las cadenas de Markov regulares con algunas de las columnas de la matriz de
probabilidades estacionaria igual cero.
CADENAS NO ERGODICAS
Cuando la cadena tiene ms de una clase final y una o varias clases de paso.
CADENAS INFINITAS
Cuando la cadena no es finita y que el proceso continua de manera indefinida, se
entiende por visita a un estado j como la tapa o momento en el la cadena se
encuentra en el estado j, y se denota Nj el nmero de visitas que se hacen en el
estado j en el proceso.
CADENAS PERIDICAS
Si un estado j es peridico con periodo y otro estado i comunica con l, entonces
el estado i tambin es peridico con el mismo periodo. De este modo, el periodo
es una caracterstica comn del conjunto irreducible y cerrado, se puede hablar
del periodo de una subcadena irreducible.









INVESTIGACION DE OPERACIONES

17
7) BIBLIOGRAFA


INTRODUCCIN A LAS CADENAS DE MARKOV
Investigacin de operaciones, 5 edicin, Editorial taha

















INVESTIGACION DE OPERACIONES

18
8) CONCLUSIN

Como conclusin de las cadenas de Markov nos permite hacer anlisis sobre el
estudio de los comportamientos de ciertos sistemas en ciertos periodos que
pueden ser cortos o largos. Adems se tiene una relacin con las probabilidades
absolutas. Pero sin embargo lo ms importante es el estudio del comportamiento
sistemas a largo plazo, cuando el nmero de transiciones tiene al infinito.
Los estados en las cadenas de Markov sern tiles para el estudio del
comportamiento de los sistemas a largo plazo.
Que todos los estados en una cadena de Markov infinita irreducible pueden
pertenecer a una, y solo una, de las siguientes tres clases: estados transitorios,
estados recurrentes nulos o estados recurrentes no nulos.
Al abordar este tema es para conocer ms o menos las probabilidades de un
experimento, esto a su vez nos permitir conocer a corto y plazo los estados en
que se encontraran en periodos o tiempos futuros y tomar decisiones que
afectarn o favorecern nuestros intereses, y tomar una decisin de manera
consciente y no se comentan muchos errores.









INVESTIGACION DE OPERACIONES

19