Cadeia de Markov em tempo contnuo Cadeias de Markov em tempo contnuo so cadeias cujos parmetros so variveis contnuas, representado instantes

de tempo ou momentos de tempo e no perodos no tempo ( ... no fim do dia t, ... no final da semana t, etc) como no caso da cadeia de Markov em tempo discreto. Uma cadeia e Markov de parmetro discreto muda de estado nos instantes inteiros de tempo. Uma cadeia de Markov de parmetro contnuo muda de estado em instantes reais aleatrios de tempo, conhecidos como processos de salto. Definio. Considere uma cadeia de Markov em tempo contnuo {X(t), t 0} com espao de estados E finito ou enumervel. O espao de estados X finito ou contvel. Diremos que X uma cadeia de Marvok em tempo contnuo, se e somente se, para todo t, s 0 P(X t+s = j X u, u s) = P(X t+s = j X s) As probabilidades de transio de um estado para outro no dependem do tempo de permanncia nesse estado, depende apenas do intervalo de tempo que ocorre a transio, ou seja, P(X t+s = j Xs = i) = Pi,j(t) a cadeia chamada de homognea no tempo. Como no caso discreto, a predio do futuro no depende da histria anterior da cadeia, depende apenas do ltimo instante. No presente estudo, sero consideradas apenas as cadeias homognas no tempo. Para tais cadeias chama-se P(t) = Pi,j(t) , com i e j E, de funo de transio. A qual deve satisfazer: a) P(0) = I b) Para todo t 0, P(t) uma matriz estocstica c) Para t, s 0, P(s + t) = P(t).P(s). A propriedade (c) pode ser provada usando-se as equaes de Chapman-Kolmogorov para cadeias em tempo contnuo. Para todo t, s 0, i, j E vale a relao Pi,j(t + s) = P(Xt+s = j X0= i) = k E P(Xt+s = j Xt = k, X0 = i) P(Xt+s = k X0 = i) = kE P(Xs = j X0 = k) P(Xt = k X0 = i) = kE Pk,j(s) Pi,k(t) Tempo de permanncia em um estado. Seja i a varivel aleatria que representa o tempo de permanncia do estado i. O processo permanece no estado i entre os instantes 0 e t se e somente se o tempo de permanncia no estado i for superior a t, P(X t = i X 0 = i) =P( i t i 0) = P(i t) X0 = i)

O sistema permanece no estado i entre os instantes s e t + s (t, s 0) se e somente se o tempo necessrio para que o sistema saia do estado i for superior a t + s, dado que o tempo de permanncia no estado i era superior a s, P(Xt+s = i Xs = i) = P(i t + s i s) = P(i t) Isto significa que o tempo de permanncia em um dado estado independente do tempo que o processo tenha passado nesse estado (ausncia de memria). A nica distribuio que goza dessa propriedade a distribuio exponencial, portanto tem distribuio de probabilidade exponencial. Neste caso, a funo distribuio dada por F(t) = P( i t) = 1 e-t q. O valor esperado E[i] = 1/qi e a varincia var[i] = 1/qi2 Logo, uma cadeia de Markov em tempo contnuo fica completamente definida se conhecermos os estados X, o parmetro qi da distribuio e cada varivel i (tempo de permanncia no estado i) e as probabilidades de o processo transitar para o estado j (pi,j). Sabemos que qi o inverso do tempo de permanncia no estado i, ou seja, o nmero esperado de vezes que o processo sai do estado i por unidade de tempo passado no estado i. De modo anlogo, qij a taxa de transio do estado i para o estado j, ou seja, o nmero esperado de vezes que o sistema faz uma transio de i para j por unidade de tempo passado no estado i. Estrutura de uma cadeia de Markov em tempo contnuo. Segundo o seu comportamento os estados podem ser classificados como: Estados instantneos - a cadeia fica no estado i s no instante que ela chegou, essas cadeias so muito raras Estado absorvente - uma vez que a cadeia chega num estado absorvente ela fica nele para sempre. Estado estvel - toda vez que uma cadeia chega em um estado estvel ela fica nele durante um perodo de tempo finito. Cadeia sem estados instantneos so chamadas de processos de salto. Se a cadeia apresenta um nmero finitos de saltos chamada de cadeia regular. Gerador infinitesimal. Define-se qij = qi Qij, para i j,. Esta a taxa com que o processo faz uma transio do estado i para o j. Qij a matriz que contem as probabilidades de transio. Para i = j, qii = -qi e para todo i j, Qij = 0 se qi = 0 e Qij = qij/qi em caso contrrio. Para i absorvente, qi = 0 e Qii = 1. Definio. A matriz A = qi,j chamada de gerador infinitesimal da cadeia {Xt, t 0}. obtido a partir das taxas e das probabilidades de transio e vice-versa. Para cada i,j E, a funo Pi,j(t) diferencivel a sua derivada contnua. Ademais, vale Pi,j (0) = qij, ou
d dt
t= 0

P(t) = A

Equaes diferencias de Kolmogorov. Sabemos como obter A a partir de P(t). Para obter P(t) de A precisamos das equaes de Chapman-Kolmogorov. Para tanto, calcula-se a derivada de P(t). Usando a definio de A e as equaes de Chapman-Kolmogorov obtemos P(t) = lim h 0 {[P(t + h) P(t)]/h} = lim h0 {[P(h) P(t) P(t)]/h} = lim h0 {[P(h) - I]P(t)/h} = A P(t) Para provar relao P(t + h) = P(h).P(t) fixou-se o estado da cadeia no instante h, que por estar convergindo a zero, pode ser considerado anterior ao instante t. Logo, estas equaes so chamadas de equaes de Kolmogorov retrospectivas. Ou ainda Pij (t) = qi k i Qik Pkj(t) - qi Pij(t) Se usarmos a igualdade P(t+h) = P(t)P(h), obteremos as chamadas equaes de Kolmogorov prospectivas P(t) = P(t)A ou, Pij (t) = kj qk Qkj Pik(t) - qj Pij(t) Na ltima equao fixou-se o estado da cadeia no instante t, posterior ao instante h. Distribuio estacionria. Uma seqncia de nmeros no negativos , tais que i E i = 1 uma distribuio estacionria para a cadeia se i E i Pt(i,j) = j Em notao matricial: Pt = , onde a transposta de . Neste caso, tem-se uma quantidade no enumervel de sistemas de equaes que definem uma distribuio estacionria. Pode-se derivar ambos os termos da equao em relao a t. Se E finito, pode-se diferenciar a equao anterior, i E i Pi j(t) = 0, yE e t 0 Em particular, para t = 0: Px y(0) = q(i, j), logo i E (k) qk j = 0 Processos de nascimento e morte Uma maneira natural de introduzirmos o processo de nascimento e morte considerarmos uma populao cujos elementos podem morrer e conseqentemente sair da populao, mas tambm possvel o ingresso de novos elementos atravs de nascimento. Por exemplo, o funcionamento de um computador, uma mquina, um telefone, etc., pode ser resumido por um processo de nascimento ou morte se os mesmos podem estar em dois estados possveis: ligados ou desligados. Ou ainda, o nmero de elementos que esperam

em uma fila para serem atendidos. Nesse caso, ocorre um nascimento sempre que um indivduo entra na fila e uma morte sempre que o atendimento concludo. Os processos de nascimento ou morte podem ser mais complexos, por exemplo, um conjunto de N computadores que podem estar ligados ou desligados. Assim sendo, se o sistema no estiver em operao, permanecer por um tempo aleatrio neste estado (distribudo exponencialmente com parmetro ) e uma vez em operao, permanecer por um tempo aleatrio (exponencialmente distribudo com parmetro ). Para calcular a distribuio de probabilidade usa-se a equao de balano, isto , a taxa em que o sistema entra no estado i igual a taxa que o sistema deixa o estado i. Definio. A cadeia de Markov, {X(t): t 0), com espao de estados discretos e parmetro contnuo dita de nascimento e morte se para todo par (i, j) ExE, tem-se q(i,j) = 0, se |i - j| > 1 Ou seja, um processo de nascimento e morte que comea em i pode ir em um salto a i + 1 ou a i - 1. Seja i a taxa de nascimento e i a taxa de morte, tem-se i= q(i, i + 1), com i 0 i = q(i, i - 1), com i 1 e 0 = 0 (i) = -q(i, i) , ento (i) = q(i, i + 1) + q(i, i - 1) = i + i Se i= i= 0, o estado i absorvente, caso contrrio e no-absorvente. Se i= 0, o processo chamado de morte pura Se i= 0, o processo chamado de nascimento puro. Se i no absorvente, ento q(i,j) = i/(i + i), j = i +1 q(i,j) = i/(i + i), j = i -1 q(i,j) = 0, caso contrrio Em processos de nascimento e morte irredutveis todos os estados da cadeia se comunicam e portanto, as suas probabilidades devem ser maiores que zero. Um processo de nascimento e morte transitrio se e somente se a cadeia de nascimento e morte transitria. Isto , P(i,j) = Qij, com i 0 e j 0 onde Qij= q(i,j)/(i) para i j Como pi = q(i,j + 1) = i/(i + i), j = i + 1 qi = q(i,j - 1) = i/(i + i), j = i - 1 Q(i, i - 1) = 1 Q(i, i - 1) Q(0,1) = 1 A cadeia transitria se

i =1

(q1 ...qi)/(p1...pi) <