ANÁLISIS DE MARKOV

Cuál es el fundamento matemático

El análisis de Markov es un procedimiento que se utilizar para describir el comportamiento de

un sistema en una situación donde confluyen varias variables, prediciendo los movimientos del
sistema entre diferentes posibles estados en un tiempo determinado. El análisis Markoviano o
proceso de Markov está formado por un conjunto de objetos y un conjunto de estados. Si el
número de estados es contable tal proceso de Markov se denomina Cadena de Markov.

Una cadena de Markov es una secuencia de n experimentos en la que cada experimento consta
de m resultados o estados posibles E1, E2,… En y la probabilidad de que ocurra un resultado
particular depende únicamente de la probabilidad del resultado del experimento anterior

CUÁLES SON SUS PRINCIPALES CAMPOS DE USO

Las predicciones en base al análisis de Markov son de suma importancia para el manejo de
sistemas y procesos en todo tipo de organizaciones, pudiendo ser utilizada para ayuda en la
toma de decisiones con respecto al movimiento de personal, inventarios, comportamiento de
clientes, etc

c) Un ejemplo de aplicación

El fabricante de dentífrico Brillo controla actualmente 60% del mercado de una ciudad. Datos
del año anterior muestran que :el 88% de consumidores de Brillo continúan utilizándola,
mientras que el 12% de los usuarios de Brillo cambiaron a otras marcas. El 85% de los usuarios
de la competencia permanecieron leales a estas otras marcas, mientras que el 15% cambió a
Brillo. Definir la matriz de transición y el vector inicial de distribución.

DEFINICIONES IMPORTANTES

• Estados del proceso, también llamados Ensayos, son eventos que desencadenan
transiciones del sistema de un estado a otro.

• Estado del Sistema: Condición del sistema en cualquier ensayo o periodo particular

• Probabilidad de Transición: Es la probabilidad de que el sistema pase al estado siguiente.

• Probabilidad de Estado: Probabilidad de que el sistema se encuentre en un estado

determinado.

• Probabilidad de Estado Estable: La probabilidad de que el sistema termine en alguna

estado en particular después de un gran numero de transiciones.
• Estado Absorbente: Cuando no hay posibilidad de salir de ese estado, si ha alcanzado
ese estado allí permanecerá.

• •Matriz Fundamental: Tabla de probabilidades asociadas con los estados y sus

transiciones en un proceso de Markov.

PROCESOS DE MARKOV:

Se dice que los procesos de MARKOV, son útiles para estudiar la evolución de sistemas a lo largo
de ensayos repetidos, los que, a menudo son periodos sucesivos donde el estado del sistema en
cualquier periodo particular no pueden determinarse con certeza. Por ello, para describir la
manera en que el sistema cambia de un periodo al siguiente se emplean probabilidades de
transición.

Los procesos de MARKOV, son también llamados Markovianos, que pueden usarse para describir
la probabilidad de que una maquina esta funcionando en un período continuará funcionando en
siguiente período (o se estropeará). También pueden usarse los modelos para describir la
probabilidad de que un consumidor que compra la marca A, en un período compre la marca B
en el siguiente periodo.

Principio de Markov:

Cuando una probabilidad condicional depende únicamente del suceso inmediatamente

anterior, cumple con el Principio de Markov de Primer Orden, es decir.

Definiciones en los Procesos de Markov de Primer Orden:

Estados: Las condiciones en las cuales se encuentra un ente ó sucesos posibles.

Ensayos: Las ocurrencias repetidas de un evento que se estudia.

Probabilidad de Transición: La probabilidad de pasar de un estado actual al siguiente en un

período ó tiempo, y se denota por p¬ij ( la probabilidad de pasar del estado i al estado j en una
transición ó período)

Características de los Procesos de Markov de Primer Orden:

Se pueden usar como modelo de un proceso físico ó económico que tenga las siguientes
propiedades:

a)Que la probabilidad cumpla con el principio de Markov.

b)Existencia de un número finito de estados.

c)Las p¬ij son constante con respecto al tiempo ó período.

d)Ensayos en períodos iguales.

Si un suceso depende de otro además del inmediatamente anterior, este es un proceso de

Markov de mayor orden. Por ejemplo, Un proceso de segundo orden describe un proceso en el
cual el suceso depende de los dos sucesos anteriores. Los procesos de Markov también se les
llama Cadenas de Markov.

Notaciones que utilizaremos:

p¬ij = probabilidad de transición en un período.

P = [p¬ij]nxn matriz de transición formada por los valores de p¬ij , donde cada fila representa el
estado inicial donde se parte y las columna el estado al que se ira en un período.

Representa la probabilidad de ir del estado i al estado j en k períodos.

P(k)=[ ]nxn la matriz de transición de k períodos.

Si(t) = probabilidad de encontrarse en el estado i en el período t.

S(t) =(S1(t) , S2(t) , . . . . , Sn(t)) vector de probabilidad de estado en el período t. Para n estados.

Los sucesos que cumplan con un proceso de Markov, se pueden representar por medio de un
esquema donde los nodos indique los estados y arcos dirigidos de nodo a nodo con un número
que representa la probabilidad de transición de ir de un estado a otro, ó por medio de una matriz
de transición.

Ejemplo:

Para calcular:

= p11.p11+ p12.p21+ p13.p31

= 0,2.0,2+0,3.0,3+0,5.0,2 = 0,23

= p11.p12+ p12.p22+ p13.p32

= 0,2.0,3+0,3.0,4+0,5.0,4 = 0,38
= p11.p13+ p12.p23+ p13.p33

= 0,2.0,5+0,3.0,3+0,5.0,4 = 0,39

luego + + =1

Otra forma es usando el vector de probabilidades y la matriz de transición, es decir:

S(0) = (1, 0, 0) S(1) = S(0).P = (0,2; 0,3; 0,5)

S(2) =S(1).P =(0,23; 0,38; 0,39)

Análisis de cuentas por cobrar:

Una aplicación de contabilidad en la que los procesos de Markov han producido resultados útiles
implica una estimación de la reserva para cuentas por cobrar de dudosa recuperación o,
simplemente, dudosas. Esta reserva es una estimación del a cantidad de cuentas por cobrar que
al final demostraran ser incobrables.

Matriz fundamental y cálculos asociados:

Siempre que un proceso de Markov tiene estados absorbentes no calculamos probabilidades de

estado estable debido que cada unidad final de cuentas termina en uno de los estados
absorbentes.

El cálculo de las probabilidades de estado absorbente requiere la determinación y uso de lo que

se le llama matriz fundamental. La lógica matemática que subyace en la matriz fundamental esta
fuera del alcance de este texto. Sin embargo

Probabilidad de estado estable:

Es la probabilidad de que el sistema esté en cualquier estado particular. (Es decir, π! (n) es la
probabilidad de que es sistema esté en el estado j durante el siguiente período.