DANIEL CASTILLO QUINTO ELECTRNICA

CONSULTA N 01
TEMA: PROCESOS DE MARKOV
Un proceso de Markov o markoviano est formado por un conjunto de
objetos y un conjunto de estados tales que:
En cualquier momento cada objeto deber encontrarse en uno de los
estados (diferentes objetos no necesariamente debern estar en diferentes estados
La probabilidad de que un objeto cambie de un estado a otro (el cual
puede ser el mismo que el primer estado) durante un periodo, depende slo de estos dos estados
El nmero entero de periodos transcurridos desde el momento en que el
proceso se inicia, representa las etapas del proceso, las cuales pueden ser finitas o infinitas.
Si el nmero de estados es finito o infinito contable, el PM es una cadena de Markov.
Una Cadena de Markov finita es aquella que tiene un nmero finito de estados.
Una Cadena de Markov infinita es aquella que tiene un nmero infinito de estados.
Una CMF es una secuencia de n experimentos en la que cada experimento
consta de m resultados o estados posibles E1, E2,, Em y la probabilidad de
que ocurra un resultado particular depende nicamente de la probabilidad del
resultado del experimento anterior.
La probabilidad de transicin pij es la probabilidad de que el experimento pase del estado Ei al estado E j .
As, pij es una probabilidad condicional que se puede expresar como
p
ij

E
i
E
j
;

1

i,

j

m

.
Si los ndices j i, de ij p representan el nmero de rengln y el nmero de columna, respectivamente,
entonces las probabilidades de transicin se pueden colocar en una matriz P de probabilidades de
transicin, cuyos elementos son no negativos y menores o iguales a 1; i.e.,





DANIEL CASTILLO QUINTO ELECTRNICA





Cada elemento de P representa la probabilidad de pasar de un estado a otro.
En resumen: una matriz de transicin es una matriz cuadrada cuyos elementos son no negativos y que, en
ella, los elementos de cualquier rengln suman uno.
En general cualquier matriz M cuyos elementos son no negativos y donde la suma de los elementos en
cada rengln recibe matriz estocstica o matriz de probabilidad.
Por lo tanto, una matriz de transicin es una matriz estocstica cuadrada.

REPRESENTACIN GRAFICA DE UNA MATRIZ DE TRANSICIN:

Es el arreglo numrico donde se condensa las probabilidades de un estado a otro. A travs de una grafica
de matriz de transicin se puede observar el comportamiento estacionario representado por una cadena
de Markov tal que los estados representan la categora en que se encuentre clasificado. Como se aprecia
a continuacin:








DANIEL CASTILLO QUINTO ELECTRNICA
EJEMPLO:
En un pas como Colombia existen 3 operadores principales de telefona mvil como lo son tigo, Comcel
y movistar (estados).
Los porcentajes actuales que tiene cada operador en el mercado actual son para tigo 0.4 para Comcel 0.25
y para movistar 0.35. (estado inicial)
Se tiene la siguiente informacin un usuario actualmente de tigo tiene una probabilidad de permanecer
en tigo de 0.60, de pasar a Comcel 0.2 y de pasarse a movistar de 0.2; si en la actualidad el usuario es
cliente de Comcel tiene una probabilidad de mantenerse en Comcel del 0.5 de que esta persona se cambie
a tigo 0.3 y que se pase a movistar de 0.2; si el usuario es cliente en la actualidad de movistar la
probabilidad que permanezca en movistar es de 0.4 de que se cambie a tigo de 0.3 y a Comcel de 0.3.
Partiendo de esta informacin podemos elaborar la matriz de transicin.


VECTORES DE DISTRIBUCION
Se denota con pi
(n)
, a la proporcin de objetos en el estado i al final del n- simo periodo o ensayo y se
designa con







DANIEL CASTILLO QUINTO ELECTRNICA

al vector de distribucin para el final del n-simo periodo.
De acuerdo con esto,


representa la proporcin de objetos en cada estado al inicio del proceso; es decir, es la probabilidad de
estar en un estado particular al empezar el proceso. En otras palabras, x
(0)
:

Es un vector rengln cuyos elementos son no negativos y donde la suma de los elementos es uno
Es un vector estocstico en forma de rengln