Você está na página 1de 13

Lecci´on 3: Procesos de Markov

En este cap´ıtulo vamos a describir un subconjunto de procesos estoc´asti- cos que tienen la propiedad de Markov. Estos procesos son los m´as impor- tantes en f´ısica y qu´ımica.

Definici´on

Un proceso de Markov se define como un proceso estoc´astico con la propiedad de que para cualquier conjunto sucesivo de n tiempos t 1 < < t n se tiene n tiempos t 1 < < t n se tiene

; y n1 , t n1 ) = P 1|1 (y n , t n |y n1 , t n1 ) (132)

P 1|n1 (y n , t n |y 1 , t 1 ;

Esto es la densidad de probabilidad condicionada a t n dada el valor y n1 a t n1 est´a un´ıvocamente determinada y no est´a afectada por lo que ocurre a tiempos anteriores. A P 1|1 se le llama probabilidad de transici´on.

El proceso de Markov est´a completamente determinado por dos fun- ciones P 1 ( y 1 , t 1 ) y P 1 | 1 ( P 1 (y 1 , t 1 ) y P 1|1 (y 2 , t 2 |y 1 , t 1 ). A partir de estas funciones se puede obtener toda la jerarqu´ıa de probabilidades, por ejemplo para t 1 < t 2 < t 3 se tiene

P 3 (y 1 , t 1 ; y 2 , t 2 ; y 3 , t 3 ) = P 2 (y 1 , t 1 ; y 2 , t 2 )P 1|2 (y 3 , t 3 |y 1 , t 1 ; y 2 , t 2 )

= P 1 (y 1 , t 1 )P 1|1 (y 2 , t 2 |y 1 , t 1 )P 1|1 (y 3 , t 3 ; y 2 , t 2 )

(133)

y este algoritmo se puede seguir para calcular todas las P n .

Ejercicio: Mostrar que para cualquier sistema determinista tal que x˙ = f (x), con condici´on inicial x 0 en t 0 , la soluci´on x = ϕ(x 0 , t t 0 ) es un proceso de Markov con P 1|1 (x, t; x 0 , t 0 ) = δ[x ϕ(x 0 , t t 0 )].

Un ejemplo t´ıpico de proceso de Markov en f´ısica en el movimiento Browniano. El movimiento browniano muestra de forma muy evidente como la naturaleza discreta de la materia en la escala miscrosc´opica se manifiesta a nivel macrosc´opico. La discretizaci´on de la materia causa fluctuaciones en la densidad de materia que a la larga causa efectos ob-0 ) = δ [ x − ϕ ( x 0 , t − t 0

´

servables en el movimiento de la part´ıcula Browniana.

cuando una part´ıcula pesada est´a inmersa en un fluido de part´ıculas ligeras que colisionan de forma aleatoria. La velocidad de la part´ıcula

pesada var´ıa como consecuencia de muchas de estas colisiones (supues- tamente descorrelacionadas). Consideremos el caso unidimensional y

Este se produce

29

que la part´ıcula tiene una velocidad V en t, entonces habr´a m´as coli- siones por delante que por detr´as en promedio, de forma que la proba- bilidad de que en el siguiente paso ∆t haya un cambio δV depender´a de V pero no de valores anteriores, y por lo tanto V contituye un proceso de Markov (δt c δt τ V ). En equilibrio el proceso es estacionario y su tiempo de autocorrelaci´on τ V es el tiempo en el que una velocidad inicial se hace cero (veremos mas adelante que esto proceso din´amico corresponde a una part´ıcula de Rayleigh).

Einstein y Smoluchowski razonaron que este no es el comportamien- to que se observa experimentalmente. Entre dos observaciones con- secutivas de la posici´on de la part´ıcula pesada, su velocidad crece y decae muchas veces: el intervalo de observaci´on es mucho mayor que τ V (τ V t X ) Lo que se observa es el desplazamiento neto despu´es de muchas variaciones de la velocidad. Supongamos una serie de obser- vaciones de la part´ıcula que da una secuencia de posiciones X 1 , X 2 ,

Cada desplazamiento ∆ k+1 = X k+1 X k es estoc´astico, pero su distribu-

ci´on no depende de la historia (X k1 , X k2 ,

.). Es en s´ı un proceso de

Markov en un escala de tiempo promediada (coarse-grained) impuesta por las condiciones experimentales.

Hay dos propiedades a destacar en los procesos de Markov:

La propiedad de Markov s´olo se cumple de forma aproximada. As´ı, si ∆ k = X k X k+1 es grande hay m´as probabilidad de que V sea grande en el momento de observaci´on de X k , velocidad que permacer´a no nula durante un tiempo comparable a τ V , lo que a su vez favorecer´a que el pr´oximo ∆ k+1 sea tambi´en grande. Luego la existencia de τ V > 0 producir´a cierta correlaci´on entre dos desplazamientos consecutivos. Este efecto es pequeno˜ dado que el tiempo de observaci´on es mucho m´as grande que τ V . De igual forma la velocidad es ella misma aproximadamente un proceso de Markov, debido a que las colisiones no son instant´aneas. Durante el tiempo en que tiene lugar una colisi´on el cambio en V en el pasado inmediato dice algo sobre el tipo de colisi´on y sobre el cambio en V en el futuro inmediato. Este efecto es pequeno˜ pues el tiempo de colisi´on es pequeno˜ (como si fueran esferas duras). Adem´as debemos de asumir que el movimiento de la part´ıcula Browniana no genera un flujo ordenado en el fluido que la rodea (arrastre), lo que podr´ıa influir sobre la probabilidad de colisi´on en el futuro, actuando como memoria que violar´ıa la hip´otesis mar- coviana. As´ı simulaciones en el ordenador de una gas de mol´eculas

30

han mostrado que la velocidad de una de ellas no es un proceso de Markov.

Un mismo sistema f´ısico puede ser descrito por dos procesos de Markov diferentes dependiendo del grado de coarseness (promedi- ado) de la descripci´on. Esto ocurre en el caso de un gas de mol´ecu- las binarias que se disocia

AB A + B

En la escala temporal promedio (coarse-grained) cada mol´ecu- la AB tiene una cierta probabilidad por unidad de tiempo de romperse por alguna colisi´on. Entonces el cambio en la concen- traci´on entre t y t + ∆t tiene una cierta distribuci´on de proba- bilidad que depende de la concentraci´on en t pero no en tiempos anteriores. As´ı, la concentraci´on es un proceso de Markow. En una descripci´on m´as detallada (microsc´opica) del mecanismo de ruptura uno distingue los estados vibracionales de la mol´ecula y estudia c´omo las sucesivas colisiones hacen que la mol´ecula cam- bie estoc´asticamente entre los distintos estados vibracionales hasta que se supera la barrera del potencial y la mol´ecula se disocia. Este camino aleatorio entre los niveles vibracionales es otro proceso de Markov.

El concepto de proceso de Markov se puede aplicar a procesos Y (t) con r componentes: las tres componentesde la velocidad de una part´ıcula Browniana; o las r componentes de una mezcla qu´ımica reactante.

En un proceso con r componentes que es markoviano, el proceso constituido por s < r componentes en general puede no serlo. Por ejemplo en el caso de la disociaci´on de la mol´ecula la distribu- ci´on de probabilidad futura de una cantidad de cada componente qu´ımico est´a determinada por la presente cantidad de todos los componentes. Por el contrario, si un proceso estoc´astico f´ısico es no Markoviano, es posible introducir nuevas componentes de for- ma que el conjunto sea Markoviano. Por ejemplo, un part´ıcula Browniana bajo la acci´on de un campo externo in-homog´eneo. El cambio en la velocidad en ∆t est´a ahora determinado por las col- isiones y el campo externo, y por lo tanto por la posici´on de la

´

Esta depende de la velocidad en los tiempos anteriores,

por lo que la velocidad no es un proceso de Markov. Sin embargo el proceso constituido por la velocidad y la posici´on de la part´ıcula

part´ıcula.

31

Browniana si es un proceso de Markov (ver secci´on VIII.7 del van Kampen).

En principio, cualquier sistema f´ısico aislado se puede describir como un proceso de Markov, introduciendo todas las variables microsc´opicas como componentes de Y. De hecho el movimiento microsc´opico en el espacio de las fases es determinista y por lo tanto marcoviano (ver ejer- cicio anterior). La cuesti´on es si existe un m´ınimo numero´ de variables para dicho sistema cuyo comportamiento en el tiempo es un proceso de Markov multicomponente. El caso es que esto ocurre para la mayor´ıa de los sistemas en la naturaleza, lo que ocurre es que tal descripci´on es aproximada y restringida a un nivel coarse-grained macrosc´opico.

La ecuaci´on de Chapman-Kolmogorov

Si integramos la expresi´on (133) sobre y 2 para t 1 < t 2 < t 3 se tiene

P 2 (y 1 , t 1 ; y 3 , t 3 ) = P 1 (y 1 , t 1 ) P 1|1 (y 2 , t 2 |y 1 , t 1 )P 1|1 (y 3 , t 3 |y 2 , t 2 )dy 2 .

(134)

de donde dividiendo

por P 1 (y 1 , t 1 ) se tiene

P 1|1 (y 3 , t 3 |y 1 , t 1 ) = P 1|1 (y 3 , t 3 |y 2 , t 2 )P 1|1 (y 2 , t 2 |y 1 , t 1 )dy 2 .

(135)

Esta equaci´on se llama la ecuaci´on de Chapman-Kolmogorov. Es una iden- tidad que deben satisfacer las probabilidades de transici´on para cualquier proceso de markov. En esta identidad el orden de tiempos es esencial. Es- ta ecuaci´on tambi´en se cumple cuando y es un vector con r componentes o cuando la y s´olo toma valores discretos (en este caso la integral se sustituye por una suma). Dado que P 1 y P 1|1 determinan completamente un proceso de Markov, ´estas no pueden ser cogidas arbitrariamente sino que deben verificar las sigu- ientes identidades:

(i) La ecuaci´on de Chapman-Kolmogorov

(ii) La relaci´on trivial (Bayes y propiedad jer´arquica)

P 1 (y 2 , t 2 ) = P 1|1 (y 2 , t 2 |y 1 , t 1 )P 1 (y 1 , t 1 )dy 1 (Ejercicio).

(136)

o al contrario, cualquiera dos funciones no negativas P 1 y P 1|1 que verifican estas relaciones definen univocamente un proceso de Markov.

Los dos siguientes ejemplos de procesos de Markov son de especial importancia.

32

Procesos de Wiener-Levy. Consideremos la probabilidad de transici´on

P 1|1 (y 2 , t 2 |y 1 , t 1 ) =

2 t 1 ) exp (y 2 y 1 ) 2

1

2(t 2 t 1 )

2π(t

(137)

is tomamos P 1 (y 1 , 0) = δ(y 1 ) tenemos un proceso de Markov no estacionario llamado proceso de Wiener-Levy. Est´a considerado s´olo para t > 0 y fue propuesto para describir el comportamien- to estoc´astico de la part´ıcula Browniana (cap´ıtulo VIII del van Kampen). Usando la segunda condici´on de proceso de Markov se tiene

(138)

2

2πt exp y 2t

1

P 1 (y, t) =

Procesos de Poisson. Supongamos Y (t) que toma valores n =

0. Definimos un proceso de Markov mediante

0, 1, 2,

y

t

(t 2 t 1 0)

P 1|1 (n 2 , t 2 |n 1 , t 1 ) = (t (n 2 2 t 1 ) n 1 )!

n 2 n 1

e (t 2 t 1 ) ,

P 1 (n, 0) = δ n,0

(139)

se entiende que P 1|1 = 0 para n 2 < n 1 . Cada funci´on muestra y(t) es una sucesi´on de pasos de altura unidad a instantes de tiem- po aleatorios. Est´a un´ıvocamente determinado por los instantes temporales a los que tienen lugar los saltos y que constituye un conjunto aleatorio de puntos en el eje temporal. Su numero´ en- tre dos tiempos t 1 , t 2 est´a distribuido de acuerdo a la distribuci´on (139). A Y (t) se le llama proceso de Poisson.

Procesos de Markov estacionarios

Los procesos estoc´asticos que son a la vez Markovianos y estacionarios tienen un inter´es especial porque describen fluctuaciones de equilibrio. Supongamos que un sistema f´ısico cerrado y aislado tiene una cierta mag- nitud, o conjunto de magnitudes Y (t) que es un proceso de Markov. Cuando el sistema est´a en equilibrio Y (t) es un proceso de Markov estacionario. As´ı, P 1 es independiente del tiempo y no es sino la distribuci´on de equilibrio de la cantidad Y como la determinada por la mec´anica estad´ıstica. Por ejemplo las fluctuaciones del voltaje a trav´es de un condensador en un circuito RC son markovianas. Cuando R est´a a temperatura fija T, el voltaje es un proceso

33

de Markov estacionario con

P 1 (y 1 ) =

2πkT 1/2 exp

C

2

Cy 2kT .

1

(140)

Incluso cuando un sistema est´a en un estado estacionario diferente del equilibrio ciertas magnitudes f´ısicas pueden ser un proceso de Markov esta- cionario. Por ejemplo en una part´ıcula browniana sometida a un campo grav- itatorio homog´eneo: su velocidad vertical es un proceso estacionario, pero su posici´on no. Para un proceso de Markov estacionario la probabilidad de transici´on P 1|1 no depende en t 1 y t 2 sino en la diferencia τ = t 2 t 1 . Entonces denotamos

 

P 1|1 (y 2 , t 2 |y 1 , t 1 ) = T τ (y 2 |y 1 ).

(141)

y

la ecuaci´on de Chapman-Kolmogorov queda:

T τ+τ (y 3 |y 1 ) = T τ (y 3 |y 2 )T τ (y 2 |y 1 )dy 2 .

(142)

Si miramos la integral como un producto de dos matrices, o kernels inte- grales la anterior ecuaci´on queda

T τ+τ = T τ T τ

(τ, τ > 0)

(143)

Aunque (142) y (143) se cumplen s´olo para τ, τ > 0, la definici´on (141) no se restringe a τ > 0. Se tiene que

 

P 2 (y 2 , t 2 ; y 1 , t 1 ) = T τ (y 2 |y 1 )P(y 1 )

(144)

y

como P 2 es sim´etrica

T τ (y 2 |y 1 )P(y 1 ) = T τ (y 1 |y 2 )P(y 2 ),

(145)

que es una identidad para todos los procesos de Markov estacionarios y se puede aplicar a todos los sistemas f´ısicos en equilibrio sin ninguna derivaci´on adicional de las ecuaciones del movimiento (no confundir con la condici´on de balance detallado que es exactamente la misma pero cambiando τ por τ en la derecha de la identidad y que requiere una derivaci´on f´ısica). Ejercicio: Demostrar que la funci´on de autocorrelaci´on de un proceso de Markov estacionario con media cero es

κ(τ) = y 1 y 2 T τ (y 2 |y 1 )P 1 (y 1 )dy 1 dy 2

34

(τ 0)

(146)

Ejercicio: Demostrar las identidades

T τ (y 2 |y 1 )dy 2

=

1

(147)

T τ (y 2 |y 1 )P 1 (y 1 )dy 1

=

P 1 (y 2 )

(148)

Segun´

con autovector por la izquierda ψ(y) 1 y autovector por la derecha P 1 .

estas propiedades T τ se puede ver como un operador con autovalor 1,

T τ se puede ver como un operador con autovalor 1 , El ejemplo m´as conocido

El ejemplo m´as conocido de proceso de Markov estacionario es el pro- ceso de Ornstein-Uhlenbeck definido por

P 1 (y 1 )

T τ (y 2 |y 1 )

=

=

1

1 y 2

1

2π e

2
2

e 2τ ) exp (y 2 y 1 e τ

1

2(1 e 2τ )

) 2

2π(1

(149)

(150)

Ejercicio: Verificar que es un proceso de Markov

Ejercicio: Probar que T (y 2 |y 1 ) verifica:

∂T

∂τ

∂T

τ

=

=

y 2 y 2 T +

y 1

∂T

∂y 1

+

2 T ∂y ∂ 2 T ∂y

2

2

2

1

(151)

(152)

Claramente tiene media cero y autocorrelaci´on

κ(τ) = e τ

(153)

El proceso de OU es estacionario, Gaussiano y Markoviano. El teorema de Doob muestra que salvo transformaci´on lineal es el unico´ proceso con estas tres propiedades. Vamos a verlo:

Sea Y (t) un proceso estacionario Gaussiano de Markov. Por ser Gaussiano P 1 (y) es Gaussiana y podemos suponerla igual a (149) (mediante reescalamientos y traslaciones de la variable). Por ser Gaussiano la probabilidad de transici´on tiene la forma general

T τ (y 2 |y 1 ) = De

35

1

2 (Ay

2

2

+2By 2 y 1 +Cy 2

1

) ,

(154)

donde A, B, C, D son funciones de τ. La normalizaci´on (147) da

D

= A/2π

C = B 2 /A

(155)

mientras que (148) da B 2 = A(A 1). El par´ametro A se puede poner en t´erminos de la funci´on de autocorrelaci´on (146) que da

A = (1 κ 2 ) 1 e implica

T τ (y 2 |y 1 ) =

1

κ 2 ) exp (y 2 κy 1 ) 2 2(1 κ 2 )

2π(1

.

(156)

Introduciendo t 3 = t 2 + τ y la ecuaci´on Chapman-Kolmogorov para un proceso de Markov estacionario se tiene

κ(t 3 t 1 )

=

y 3 dy 3 T τ (y 3 |y 2 )T τ (y 2 |y 1 )y 1 P 1 (y 1 )dy 1 dy 2

=

κ(t 3 t 2 )κ(t 2 t 1 )

Ejercicio: Demostrarlo que sugiere utilizar

κ(τ) = e γτ

(157)

(158)

con lo que est´a demostrado el teorema de Doob.

Si Y (t) es estacionario, Gaussiano, y tiene una funci´on de autocor- relaci´on exponencial κ(τ ) = κ(0)e γτ entonces Y (t) es un proceso de OU y por tanto markoviano. Suponiendo media cero y varianza unidad su funcional generador es

media cero y varianza unidad su funcional generador es G [ k ] = exp −

G[k] = exp 1

2 k(t 1 )k(t 2 )e γ|t 1 t 2 | dt 1 dt 2

(159)

Consideremos un proceso de Markov estacionario Y (t) dado por P 1 (y 1 ) y T τ (y 2 |y 1 ). Consideremos un tiempo t 0 fijo y un valor y 0 fijo ( esto es, p(y) = δ(y y 0 )). Definimos un nuevo proceso no estacionario de Markov Y (t) para t t 0 , de la siguiente forma

(y 1 , t 1 ) = T t 1 t 0 (y 1 |y 0 ) = T t 1 t 0 (y 1 |y)p(y)dy

P 1|1 (y 2 , t 2 |y 1 , t 1 ) = T t 2 t 1 (y 2 |y 1 )

P

1

(160)

(161)

Podemos extraer un subconjunto en el que a un tiempo t 0 los valores de Y (t 0 ) est´an distribuidos de acuerdo con la distribuci´on p(y 0 ). Entonces

36

tomamos

(y 1 , t 1 ) = T t 1 t 0 (y 1 |y 0 )p(y 0 )dy 0

P 1|1 (y 2 , t 2 |y 1 , t 1 ) = T t 2 t 1 (y 2 |y 1 )

P

1

(162)

(163)

estos procesos son no estacionarios pues imponemos una condici´on a un tiempo fijo t 0 (implica una condici´on inicial). Aun as´ı la probabil- idad de transici´on depende del intervalo temporal como la del proce- so de Markov estacionario del que provienen. A este tipo de procesos Markov no estacionarios con probabilidad de transici´on no dependiente del tiempo se le llaman procesos homog´eneos. El proceso de Wiener es un ejemplo de proceso homog´eneo que no est´a embebido en un proceso de Markov estacionario.

F´ısicamente la extracci´on de este subproceso no estacionario significa que uno prepara el sistema en un estado de no-equilibrio. Uno espera que tras un tiempo el sistema vuelve al equilibrio

P

1

(y 1 , t 1 ) P 1 (y 1 ) cuando t → ∞

(164)

como esto tiene que ser cierto para cualquier estado preparado arbi- trario p(y 0 ) se debe cumplir

T t 1 t 0 (y 1 |y 0 ) P 1 (y 1 )

(165)

Por ejemplo, vamos a ver el caso de la teor´ıa de la respuesta lineal. Consideremos un material paramagn´etico bajo la acci´on de un campo magn´etico uniforme externo F. La magnetizaci´on Y en la direcci´on del campo es un proceso estoc´astico estacionario con promedio macrosc´opi- co y fluctuaciones pequenas˜ entorno a este promedio. Supongamos que es un proceso de Markov. La funci´on P 1 (y) viene por la distribuci´on can´onica

(166)

P 1 (y) = Tr[δ(y Y )e (HBY )/kT ]

Tre (HBY )/kT

donde H es el operador hamiltoniano sin campo magn´etico externo y Y es el operador magnetizaci´on. La traza aparece porque nuestro sistema es cu´antico. Supongamos que para −∞ < t < t 0 el campo vale B + ∆B y en t 0 cambia instant´aneamente a B. entonces la distribuci´on de probabilidad en t 0 es

p(y) = Tr[δ(y Y )e −{H(B+∆B)Y }/kT ]

Tre −{H(B+∆B)Y }/kT

37

(167)

Para t > t 0 la magnetizaci´on Y es un proceso homog´eneo cuya distribu- ci´on inicial es p y cuya probabilidad de transici´on es la misma que la de equilibrio con campo B. Entonces:

Y (t) = yT tt 0 (y|y 0 )p(y 0 )dy 0 dy

(168)

esto es, la forma en que el promedio macrosc´opico se ajusta al nue- vo campo est´a determinada por la probabilidad de transici´on de las fluctuaciones de equilibrio en el nuevo campo B.

Si s´olo estamos interesados en la respuesta lineal expandimos p(y) hasta primer orden en ∆B dando

p(y) = P 1 (y) + B kT {y Y B }P 1 (y) + O(∆B 2 )

(169)

de donde

Y (t) = Y B + B κ(t t 0 ).

kT es decir la relajaci´on irreversible de la magnetizaci´on promedio est´a de- terminada en aproximaci´on lineal por la funci´on de autocorrelaci´on de las fluctuaciones de equilibrio. Esto es un ejemplo del teorema de fluc- tuaci´on-disipaci´on.

Para derivar el resultado anterior hemos supuesto que Y (t) es de Markov. Usualmente se est´a interesado en materiales en los que hay un efecto de memoria, pues ´esta da m´as informaci´on sobre los momentos magn´eticos microsc´opicos y su interacci´on. Aunque formalmente los resultados no cambian y que p(y 0 ) es la distribu- ci´on de Y (t) en t 0 en el que el campo B cambia, no es cierto ahora que p(y 0 ) especifica un´ıvocamente el subconjunto y por tanto el futuro de Y (t).

Lo que es esencial es que el sistema haya alcanzado cierto estado estacionario en presencia de B + ∆B de forma que su densidad en el espacio de las fases sea can´onica (colectividad) no s´olo con respecto a Y si con las otras cantidades que determinan su futuro. El resultado obtenido no se puede aplicar por tanto para el ca- so de campos externos dependientes del tiempo, al menos que la variaci´on del campo sea tan lenta que el sistema puede mantener en todo momento la distribuci´on de equilibrio correspondiente a B(t) instant´aneo.

(170)

38

Cadenas de Markov

Es una clase especialmente sencilla de procesos de Markov que cumple:

(i)

El rango de Y es un conjunto discreto de estados

(ii)

La variable temporal es discreta y toma s´olo valores enteros t =

, 2, 1, 0, 1,

(iii) El proceso es estacionario o al menos homog´eneo, de forma que la prob- abilidad de transici´on s´olo depende de la diferencia de tiempos.

Una cadena de Markov finita es aquella que tiene como rango un numero´

finito de estados N. Su distribuci´on primera de probabilidad P 1 (y, t) es un

,N). La probabilidad de transici´on

vector de N componentes

T τ (y 2 |y 1 ) es una matriz N × N. La propiedad de Markov implica:

p n (t)

T τ = (T 1 ) τ

(171)

La distribuci´on de probabilidad p(t) que se obtiene de una distribuci´on inicial p(0) es

(172)

p(t) = T t p(0).

Entonces el estudio de una cadena de Markov finita se reduce a estudiar las potencias de una matriz N × N, esto es T, de la que conocemos que

(i)

sus elementos son no negativos y

(ii)

la suma de los elementos de cada columna es la unidad.

Estas matrices se llaman matrices estoc´asticas (no confundir con matrices aleatorias, cuyos elementos son variables estoc´asticas).

, 1) con autovalor 1, y un

autovector por la derecha p s tal que T p s = p s , que no es sino la p 1 (y) de un proceso estacionario (ver ejercicio anterior). No es necesario que sea un

estado f´ısico de equilibrio, puede ser un estado estacionario en el cual, por ejemplo, se mantiene un flujo constante. Lo primero que hay que demostrar es que dada una distribuci´on inicial se tiene

(173)

El teorema de Perron y Frobenius muestra que esto es siempre cierto salvo casos muy excepcionales. Nota: hay procesos estoc´asticos que pueden hacerse markovianos intro- duciendo una variable adicional. Estos procesos se llaman procesos marko- vianos de segundo grado. Por ejemplo el caminante aleatorio con persistencia.

T tiene un autovector por la izquierda (1,

t p(t) = l´ım

l´ım

t T t p(0) = p s .

39

En este proceso la probabilidad α de un paso en la misma direcci´on que el paso anterior difiere de la probabilidad β en sentido contrario. El proceso es no markoviano pues su distribuci´on de probabilidad en el tiempo r + 1 depende no s´olo de su valor en r sino tambi´en de su valor en r 1. El pro- ceso puede hacerse de Markov considerando una variable adicional, esto es la posici´on en r 1. El proceso bicomponente resultante es markoviano con probabilidad de transici´on:

T(n 2 , m 2 |n 1 , m 1 ) = [δ n 2 ,n 1 +1 (αδ n 1 ,m 1 +1 + βδ n 1 ,m 1 1 )

(174)

+ δ n 2 ,n 1 1 (αδ n 1 ,m 1 1 + βδ n 1 ,m 1 +1 )]δ m 2 ,n 1

Procesos de decaimiento

Para finalizar y como ejemplo ilustrativo vamos a estudiar el proceso de

decaimiento de un material radioactivo. Consideremos que en t = 0 hay n 0 nucleos´ activos. El numero´ N (t) de nucleos´ activos que sobreviven a tiempo t es un proceso estoc´astico no estacionario. Es de Markov pues la distribuci´on de probabilidad de N (t 2 ) con t 2 > t 1 condicionada a que N (t 1 ) = n 1 no depende de la historia (depende s´olo de la probabilidad individual de sobre- vivir de cada nucleo).´ El proceso es entonces una combinaci´on de procesos de decaimientos mutuamen´ te independientes de los nucleos´ individuales. Sea

w la probabilidad de un nucleo´ de sobrevivir en t 1 entonces la probabilidad de sobrevivir de n 1 nucleos´ en t 1 es

P 1 (n 1 , t 1 ) = n 0

n

1

w n 1 (1 w) n 0 n 1

(175)

esta f´ormula es v´alida para todos los valores enteros de n 1 si hacemos P 1 (n 1 , t 1 ) = 0 para n 1 < 0 y n 1 > n 0 . De esta f´ormula se tiene

N(t 1 )

=

=

=

n

1

n 1 n 0

n

1

w n 1 v n 0 n 1 v=1w

w

w (w + v) n 0 v=1w

wn 0

(176)

Nos queda calcular w, pero sabemos que la probabilidad por unidad de tiempo

dt de un nucleo´ en decaer es constante, es decir γ, de donde la variaci´on en

la poblaci´on de nucleos´ en la unidad de tiempo es dw = γwdt, de donde

w(t) = e γt

40

(177)

que da para P 1

P 1 (n 1 , t 1 ) = n 0

n

1

e γtn 1 (1 e γt ) n 0 n 1 .

(178)

y para la probabilidad de transici´on para t 2 > t 1

P 1|1 (n 2 , t 2 |n 1 , t 1 ) = n

n 2 e γ(t 2 t 1 )n 2 (1 e γ(t 2 t 1 ) ) n 1 n 2 .

1

(179)

que determina completamente el proceso. Este tipo de c´alculos se aplica tambi´en a la emisi´on de luz por atomos´ ex- citados, el escape de mol´eculas de un gas de Knudsen a trav´es de un pequeno˜ filtro, la destrucci´on de tropas enemigas mediante disparos aleatorios o la destrucci´on de c´elulas por radiaci´on.

41