Cadena de Markov

Integrantes: Francisco Canto

Definición de proceso Estocástico
• Sucesión de observaciones 𝑋1 , 𝑋2 , …
1. Los valores de estas observaciones no se pueden
medir con exactitud.

2. Pero se pueden especificar las probabilidades para los

distintos valores posibles en cualquier instante de
tiempo.
𝑋1 : VA que define el estado inicial del proceso.
𝑋𝑛 : VA que define el estado del proceso en el instante
del proceso n.
Espacio Paramétrico, T
• De un proceso estocástico es el conjunto de todos
los posibles valores que puede tomar el tiempo.
𝑇 = 𝑡/𝑡 ∈ 𝑇 días, minutos, segundos.

Espacio paramétrico puede ser en tiempo continuo y

en tiempo discreto.
Espacio de Estados, S
• De un proceso estocástico es el conjunto de todos
los posibles valores que puede tomar dicho
proceso.
S= 𝑋𝑡 ȁ𝑡 ∈ 𝑇
Espacio paramétrico

Espacio de estados puede ser continuo o discreto.

 Cadena de Markov (CM)
• Es un proceso estocástico en el que el estado actual
𝑋𝑛 y los estados previos 𝑋1 , … , 𝑋𝑛−1 son conocidos.
• La probabilidad del estado futuro 𝑋𝑛+1 no depende
de los estados anteriores 𝑋1 , … , 𝑋𝑛−1 y solamente
depende del estado actual 𝑋𝑛 .
• Es decir, para 𝑛 = 1, 2, … y cualquier sucesión de
estado 𝑠1 , … , 𝑠𝑛+1 Pasado

𝑃 𝑋𝑛+1 = 𝑆𝑛+1 ȁ𝑋1 = 𝑆1 , 𝑋2 = 𝑆2 , … , 𝑋𝑛 = 𝑆𝑛

Estado Futuro

= 𝑃 𝑋𝑛+1 = 𝑆𝑛+1 ȁ𝑋𝑛 = 𝑆𝑛 Presente

Cadena de Markov
𝑃 𝑋𝑛+1 = 𝑆𝑛+1 ȁ𝑋𝑛 = 𝑆𝑛 Propiedad Markoviana

En Resumen Un proceso de Markov finito tiene las

siguientes características generales.
1. Es un proceso Estocástico.
2. Tiene la Propiedad Markoviana.

Conocido el estado del proceso en un momento

dado su comportamiento futuro no depende del
pasado dicho de otro modo, “Dado el presente, el
futuro es independiente del pasado”.
Cadena de Markov
Espacio Paramétrico 𝑇 = 0, 1, 2, …

Espacio de Estado S = 0, 1, 2, …

𝑋𝑡+1 = 𝑗
𝑃 = 𝑞𝑖𝑗
𝑋𝑡 = 𝑖
𝑞𝑖𝑗 es la probabilidad de transición en una etapa
desde el estado i hasta el estado j, se puede expresar
en forma matricial
Matriz de transición
n+1
0 1 2
0 𝑞00 𝑞01 𝑞02 ⋯
𝑄 = n 1 𝑞10 𝑞11 𝑞11 ⋯
⋯ = 𝑞𝑖𝑗
2 𝑞10 𝑞10 𝑞10 𝑖,𝑗 ∈ 𝑆
⋯ ⋯ ⋯ ⋯

• Por ser los 𝑞𝑖𝑗 probabilidades ∀ 𝑖, 𝑗 ∈ 𝑆, 𝑞𝑖𝑗 ∈

0, 1
• Por ser 1 la probabilidad del suceso seguro, cada
fila ha de sumar 1, es decir ∀ 𝑖 ∈ 𝑆, ෍ 𝑞𝑖𝑗 = 1
𝑗∈𝑆

Una Matriz que cumpla estas 2 propiedades se llama

matriz estocástica
Diagrama de Transición de Estado
(DTE)
Es un grafo dirigido
cuyos nodos son los
estados de la CM y
cuyos arcos se etiquetan
con la probabilidad de
transición entre los
estados que unen. Si
dicha probabilidad es
nula, no se pone arcos.
Ejemplo: Línea Telefónica
Sea una línea telefónica de estados ocupado = 1 y
desocupado = 0.
Si en el instante t está ocupada, en el instante t+1
estará desocupada con probabilidad de 0.7 y
desocupada con probabilidad 0.3. Si en el instante t
está desocupada, en el t+1 estará ocupada con
probabilidad 0.1 y desocupada con 0.9.
Ejemplo: El Clina
En un pueblo el clima cambia de un día a otro,
considere solo 2 estados de tiempo. Clima seco y
clima húmedo. La probabilidad de tener clima seco al
día siguiente es 0.8 si el día actual es seco, pero si el
clima es húmedo la probabilidad de tener un clima
seco es de 0.6. Suponga que dichos valores no
cambian en el tiempo, se pide determinar la matriz
de transición y el diagrama de transición.
Ejemplo: El Clina (Continuación)
Para una matriz de transición 2x2 se plantean las
siguientes ecuaciones.

𝜋0 = 𝑃00 𝜋0 + 𝑃10 𝜋1
𝜋1 = 𝑃01 𝜋0 + 𝑃11 𝜋1
1 = 𝜋0 + 𝜋1

Siendo 𝜋0 = Probabilidad de llegar a un día seco

𝜋1 = Probabilidad de llegar a un día húmedo