Escolar Documentos
Profissional Documentos
Cultura Documentos
Cadenas de Markov
Agenda
1.
2.
3. 4.
5.
6. 7.
Objetivo Introduccin Conceptos bsicos Qu es un proceso estocstico? Definicin formal de un proceso estocstico Qu es una cadena de Markov? Ejemplos de cadenas de Markov
Objetivo
Definir lo qu es un proceso estocstico e introducir los
Introduccin
Determinismo Indeterminismo
Toma de decisiones
Conceptos bsicos
Espacio muestral: es el conjunto de posibles valores
resultados de un experimento
Probabilidad: es la posibilidad de ocurrencia de un evento Evento: subconjunto del espacio muestral Funcin de distribucin: funcin que asigna a cada evento
una probabilidad
Variable aleatoria: una funcin que asigna valores reales a los
resultados de un experimento.
Qu es un proceso estocstico?
Es un proceso que se desarrolla de manera aleatoria en el tiempo.
Mutaciones de un virus
Qu es un proceso estocstico?
Otros ejemplos:
Los ingresos por ventas de una compaa El desarrollo del trfico en una ciudad Cantidad de productos en inventario ndice de homicidios de una regin
Definicin formal
Proceso estocstico: es una familia de variables
Cadenas de Markov
Una cadena de Markov es un proceso estocstico que cumple con la propiedad de perdida de memoria.
Los estados futuros del proceso dependen nicamente del presente, por lo mismo son independientes del pasado.
Cadenas de Markov
Definicin formal de un proceso markoviano: Considere el proceso ( +1 , , 1 ,, 1 , 0 ) Si = el proceso se encuentra en el estado i en el tiempo o etapa n. Un proceso cumple con la propiedad markoviana si:
Presente Pasado
(+1 = / = , 1 = 1 ,, 1 = 1 , 0 = 0 )
= (+1 = / = )
Cadenas de Markov
Probabilidad de transicin
La probabilidad (+1 = / = ) se denomina probabilidad de transicin.
Probabilidades estacionarias
Si (+1 = / = ) = ( = /1 = ) = = (1 = /0 = ) se dice que la probabilidad es estacionaria y se denota como
Se cumple: 0
1 , , = 0,1,2,
=0
=1
Cadenas de Markov
Matriz de transicin de una etapa: matriz cuadrada formada por las probabilidades de transicin.
00 01 02 10 11 12 = 20 21 22 0 1 2
0 1 2
, = 0,1,2,
=0
=1
Resume todas las probabilidades de transicin para las los M estados posibles del sistema.
Cadenas de Markov
Representacin grfica de un proceso de Markov
1
0 1
0 1
1
1
Un proceso de Markov puede representarse grficamente si se conocen los M estados posibles del sistema y las probabilidades de transicin asociadas a ellos.
3.
Se trata de una cadena de Markov? Si lo es cul es la matriz de transicin? Si lo es represente grficamente la cadena de Markov?
Sea Xn el estado del clima en el da n. Este es una cadena de Markov pues el clima actual depende del anterior. = , 0.6 0.4
LL
S LL
LL 0.7 0.3
Se trata de una cadena de Markov? Si lo es cul es la matriz de transicin? Si lo es represente grficamente la cadena de Markov?
Tenemos que = 1 +
1 0 0 0 1 0 0 0 1 0 0 0 0 1
necesaria para elevar el inventario al nivel S = 3 cuando el inventario es menor que s = 1, en caso contrario no se pide nada. Los pedidos se entregan al principio de la siguiente semana. La demanda semanal tiene la siguiente distribucin de probabilidad (Poisson con tasa = 1.5)
Demanda Probabilidad 0 1 2 0.251 3 0.126 4 0.047 5 0.018
0.223 0.335
Dado que la cantidad mxima en inventario es de 3 unidades, los posibles estados son: = 0,1,2,3 Calculemos las probabilidades de transicin:
00 01 02 03 = ( = ( = ( = ( = 0/1 = 1/1 = 2/1 = 3/1 = 0) = = 0) = = 0) = = 0) = 3 =2 =1 =0 = 0.126 + 0.047 + 0.018 = 0.191 = 0.251 = 0.335 = 0.223
00 + 01 + 02 + 03 = 1
11 = ( = 1/1 = 1) = = 0 = 0.223 12 = ( = 2/1 = 1) = 0 13 = ( = 3/1 = 1) = 0 10 + 11 + 12 + 13 = 1 20 21 22 23 = ( = ( = ( = ( = 0/1 = 1/1 = 2/1 = 3/1 = 2) = 2 = 0.251 + 0.126 + 0.047 + 0.018 = 0.442 = 2) = = 1 = 0.335 = 2) = = 0 = 0.223 = 2) = 0
20 + 21 + 22 + 23 = 1
0 1 2 3
Bibliografa
Hillier, Frederick S., and Gerald J. Lieberman. Introduction to Operations
Research. McGraw-Hill, 2001. Schwartz, B. (2004). The Paradox of Choice: Why More Is Less. New York: Ecco. Simon, H. (1957)."A Behavioral Model of Rational Choice", in Models of Man, Social and Rational: Mathematical Essays on Rational Human Behavior in a Social Setting. New York: Wiley Calderon, B. (2006) Cadenas de Markov. Notas de clase.