1

Procesos estocásticos
Son modelos de probabilidad de procesos que evolucionan en el tiempo de una manera probabilística.

Ejemplo 1:
El clima en el pueblo de Centerville puede cambiar con rapidez de un día a otro. Sin embargo, las
posibilidades de tener clima seco (sin lluvia) mañana es de alguna forma mayor si hoy está seco, es decir, si
no llueve. En particular, la probabilidad de que mañana este seco es de 0.8 si hoy está seco, pero es de solo
0.6 si hoy llueve. Estas probabilidades no cambian si se considera la información acerca del clima en los días
anteriores a hoy.
La evolución del clima día tras día en Centerville es un proceso estocástico. Si se comienza en algún día
inicial (etiquetado como día 0), el clima se observa cada día t, para t=0, 1, 2, . . .
El estado del sistema en el día t puede ser:
Estado 0=El día t es seco ó Estado 1= El día t es lluvioso
Así, para t=0, 1, 2, . . ., la variable aleatoria toma los valores:

El proceso estocástico proporciona una representación matemática de la forma en que

evoluciona el clima en Centerville a través del tiempo.
2
Cadenas de Markov

Las cadenas de Markov de tiempo discreto son una clase de procesos estocásticos , con estados S
={1,2,…,s} donde t ϵ {0,1,2,…}, que cumplen con la propiedad markoviana:

Es decir, "carecen de memoria“. La probabilidad de cualquier evento futuro depende únicamente del
estado actual del proceso, siendo independiente de la historia de dicha variable.

A partir de este supuesto podemos definir:

Cada pij se denomina probabilidad de transición (de 1 paso) del estado i al estado j . Decimos entonces
que estas probabilidades de transición son estacionarias, es decir no cambian con el tiempo.

3
Cadenas de Markov

Las probabilidades de transición se muestran usualmente como una matriz de probabilidades de

transición P, de orden s x s. La matriz de probabilidades de transición P se puede escribir como:

Dado que el estado en el tiempo t es i, el proceso en el tiempo t + 1 debe encontrarse en algún estado
de S. Esto significa que para todo i:

Además, cada elemento de la matriz P debe ser no negativo.

4
Cadenas de Markov

La existencia de probabilidades de transición estacionarias implica que, para cada par de estados i, j y
cualquier n (día):

n=1, es la probabilidad de pasar

de i a j en un día en particular.

n≠1, es la probabilidad de pasar

de i a j n días después.

Estas probabilidades condicionales se llaman probabilidades de transición de n pasos, la cuales se

expresan en una matriz:

5
Cadenas de Markov

Ejemplo 1 (clima). Formular como una Cadena de Markov

La evolución del clima día tras día en Centerville se ha formulado como un proceso estocástico
{Xt} (t=0,1,2,...) donde:

Solución:

La matriz de transición es:

6
Cadenas de Markov

Ejemplo 1 (clima). Formular como una Cadena de Markov

La matriz de transición se puede presentar de manera gráfica través del siguiente diagrama de
transición de estado:

•Los nodos (círculos) representan los dos estados posibles del clima.
•Las flechas muestran las transiciones posibles de un día al siguiente.
•Las probabilidades de transición se escriben encima de la flecha correspondiente.

7
Cadenas de Markov

Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular las probabilidades de

transición de n pasos:

Donde m = 1, 2,…,n-1 y n = m + 1,m + 2,…

Es decir, se puede encontrar la matriz de transiciones de n pasos, para cualquier valor de n, simplemente
multiplicando la matriz de transición por sí misma n veces.

La matriz de probabilidades de transición de n pasos Pn se puede obtener calculando la n-ésima

potencia de la matriz de transiciones de un paso P.

8
Cadenas de Markov

Ejemplo 1 (clima). Obtener la Matriz de transición de n pasos

Solución:
Para iniciar, la matriz de transición de dos pasos es:

Así, si el clima esta en el estado 0 (seco) en un dia particular, la probabilidad de estar en el estado 0 dos
días después es 0.76, por lo que la probabilidad de estar en el estado 1 (lluvia) es 0.24. En forma similar,
si el clima esta en el estado 1 ahora, la probabilidad de estar en el estado 0 dos días después es 0.72
mientras que la probabilidad de estar en el estado 1 es 0.28.

9
Cadenas de Markov

Solución:
Las matrices de transición de tres, cuatro y cinco pasos son:

La matriz de transición de cinco pasos tiene la característica de que los dos renglones poseen
elementos idénticos. Esto refleja que la probabilidad del clima que está en un estado particular es en
esencia independiente del estado del clima cinco días antes.

Por lo tanto, las probabilidades de cualquier renglón de esta matriz de transición de cinco pasos se
denominan probabilidades del estado estable de la cadena de Markov.

10
Cadenas de Markov
Clasificación de estados

Las probabilidades de transición de n pasos se convierten en probabilidades del estado estable después de un
numero de pasos suficiente. Sin embargo, en todas las cadenas de Markov no es válido. Las propiedades a largo
plazo de una cadena de Markov dependen en gran medida de las características de sus estados y de la matriz de
transición.

Dados dos estados i y j , un camino de i a j es una secuencia de transiciones que empieza en i y termina en j , de
forma que cada transición en la secuencia tiene una probabilidad de ocurrencia positiva.

a)Accesible o alcanzable
Se dice que el estado j es alcanzable desde el estado i si existe un camino que va de i a j.

b)Se comunican
Dos estados i y j se dice que se comunican si j es alcanzable desde i , y además i es alcanzable desde j .

c)Irreducible
Como resultado de estas propiedades de comunicación se puede hacer una partición del espacio de estados en
clases separadas, donde se dice que dos estados que se comunican pertenecen a la misma clase. Si existe solo una
clase, es decir, todos los estados se comunican, se dice que la cadena de Markov es irreducible.

11
Cadenas de Markov
Clasificación de estados

d)Transitorio
Un estado i es un estado transitorio si existe un estado j tal que j es alcanzable desde el estado i pero el estado i no
es alcanzable desde el estado j .

e)Recurrente
Si un estado no es transitorio, se dice que es un estado recurrente. Todos los estados absorbentes son recurrentes.

f)Absorbente
Un estado i es un estado absorbente si pii = 1. Cuando entramos a un estado absorbente, nunca más lo podemos
dejar.

g) Periódico
Un estado i es periódico con periodo k > 1 si k es el número más pequeño tal que todos los caminos que van desde
el estado i de vuelta al estado i tienen una longitud que es un múltiplo de k.

h) Aperiódico
Si un estado recurrente no es periódico, se llama aperiódico.

i) Ergódica
Si todos los estados de una cadena son recurrentes, aperiódicos y se comunican entre sí, la cadena se dice que es
ergódica.
12
Cadenas de Markov
Probabilidades de estado estable

Si n es lo suficientemente grande (n=5), todos los renglones de la matriz tienen elementos idénticos, lo que
significa que la probabilidad de que el sistema esté en cada estado j ya no depende del estado inicial del
sistema.

En otras palabras, parece que existe una probabilidad límite de que el sistema se encuentre en el estado j
después de un número grande de transiciones, y que esta probabilidad es independiente del estado inicial.
En realidad, estas propiedades del comportamiento a largo plazo de un proceso de Markov de estado finito
se cumplen en condiciones relativamente generales:

Para una cadena de Markov ergódica el existe y es independiente de i. Aún más:

Donde los , conocidos como probabilidades de estado estable, satisfacen las siguientes ecuaciones de
estado estable:

13
Cadenas de Markov
Probabilidades de estado estable

Ejemplo 1(clima) Encontrar las probabilidades de estado estable de los estados de esa cadena de Markov.

Solución:
Hay solo dos estados (seco y lluvioso) y la matriz de transición es:

Entonces las ecuaciones de estado estable son:

Por lo que las probabilidades de estado estable son:

14
Cadenas de Markov
Probabilidades de estado estable

Suponga que se incurre en un costo o función de penalización C(Xt) cuando el proceso se

encuentra en el estado Xt en el tiempo t, para t = 0,1, 2; …

Se puede demostrar que el costo promedio esperado por unidad de tiempo en el largo plazo,
está dado por:

15
Cadenas de Markov
Probabilidades de estado absorbente

Si k es un estado absorbente y el proceso comienza en el estado i, la probabilidad de llegar en algún

momento a k se llama probabilidad de absorción al estado k, dado que el sistema comenzó en el estado i.

Esta probabilidad se denota por fik.

Si existen dos o mas estados absorbentes en una cadena de Markov y es evidente que el proceso será
absorbido en uno de estos estados, es deseable encontrar estas probabilidades de absorción.

En particular, si el estado k es un estado absorbente, el conjunto de probabilidades de absorción fik

satisface el sistema de ecuaciones:

sujeta a las condiciones:

fkk = 1,
fik = 0, si el estado i es recurrente e i ≠k.

16
Cadenas de Markov
Probabilidades de estado absorbente

Ejemplo 2.
Suponga que dos jugadores (A y B), con 2 dólares cada uno, que juegan a apostar 1 dólar cada vez hasta que
uno de ellos quiebre. La probabilidad de que A gane una apuesta es 1/3 , por lo que la probabilidad de que
gane B es 2/3.
El número de dólares que tiene el jugador A antes de cada apuesta (0, 1, 2, 3 o 4) proporciona los estados
de una cadena de Markov con la matriz de transición siguiente:

17
Cadenas de Markov
Probabilidades de estado absorbente

Solución:

18
Cadenas de Markov
Probabilidades de estado absorbente

Solución:

La probabilidad de que el jugador A pase de 2 dólares a 0

dólares.

19
Cadenas de Markov
Probabilidades de estado absorbente

Solución:

20
Cadenas de Markov
Probabilidades de estado absorbente

Solución:

La probabilidad de que el jugador A pase de 2 dólares a 4

dólares.

21