ENSAYO: VIDEO 16.

MARKOV CHAINS

Los procesos de Markov son procesos aleatorios, que estn ms elaborados que
los procesos de Poisson y Bernulli ya que se obtiene dependencias entre los
tiempos de diferencias en lugar de tener procesos sin memoria. Los procesos de
Markov se caracterizan por su esencia de aleatoriedad y tienen el mismo sabor que
los proceso de newton donde de describe que las partculas que se mueven a una
cierta velocidad y es en algn momento cuando se pueden predecir cundo van a
llegar algn lugar, excepto de que existe tambin algo de aleatoriedad arrojada
dentro de una ecuacin, describen la evolucin del sistema o de algunas variables.

De acuerdo con los ejemplos expuestos en el video donde se aplican la finalidad de

las cadenas o colas de Mrkov, se toma como ejemplo el servicio que se presta en
una caja registradora de un supermercado, donde se describe la atencin y tiempo
que lleva prestarle el servicio a un cliente y cuanto puede tardar en atender el
prximo cliente. En este ejemplo se tiene en cuenta la probabilidad de la llegada y
salida del cliente, con el fin de determinar el tiempo y futuro.

Los modelos probabilsticos en un sistema de servicio que se basa en la suposicin

de llegada de los clientes geomtricamente que permite determinar o predecir el
tiempo que pasa del estado inicial a unos minutos ms tardes; Es decir permitir
predecir el futuro. Mientras que el pasado no tiene influencia en el futuro ya que es
necesario conocer su posicin actual. Las transiciones no se pueden realizar
siempre y cuando se pase de un estado inferior a uno supremamente superior es
decir de un estado 2 a un estado 5, ya que solo se puede tener una llegada por
momento, lo que ocurri en el ejemplo del supermercado.

El diagrama de transicin se determina de acuerdo al modelo y sus probabilidades.

Para qu sirve un modelo? Un modelo sirve para hacer predicciones
probabilsticas. Y se pueden desarrollar mediantes teorema de la probabilidad total
el cual permite conocer las diferentes formas de eventos o diferentes escenarios
que pueden suceder, obteniendo como finalidad un conjunto de trayectorias; Es
decir, que una probabilidad total parte de una condicin inicial en el estado 1 con
probabilidad de que se encuentre el estado m dependiendo a las trayectorias lo cual
puede ocurrir de varias maneras posibles. Se utiliza la probabilidad total
acondicionado a un estado solo 1 paso antes del final del horizonte de tiempo.
Finalmente se puede decir que dentro de la clasificacin de los estados de una
cadena de Mrkov, la cual se clasifica con base en la probabilidad de transicin, El
estado transitorio es aquel que pasa de un estado a otro pero no puede regresar
desde otro estado, tambin se hace referencia a un estado recurrente;
()
matemticamente lim = 0. El estado recurrente es cuando existe una

probabilidad de ser revisitado desde otros estados es 1. Esto puede suceder si, y
slo si, el estado no es transitorio. De acuerdo con lo anterior una cadena de Markov
finita no puede constar de todos los estados transitorios porque, en lo anterior
definido de la propiedad transitoria requiere entrar a otro estado de atrapamiento
y nunca volver a visitar el estado transitorio.

PROF. JHON ISITSIKLIS. (2010). VIDEO 16. MARKOV CHAINS 1. 16. Markov Chains I.