Minha Monografia - 11.08.2019 PDF

Aplicações básicas de processos estocásticos e cadeias de Markov 1
Universidade Federal do Rio de Janeiro
Centro de Ciências Matemáticas e da Natureza
Instituto de Matemática
Antonio Henrique Pinto de Souza
Orientador: Prof. Cesar Niche
Aplicações básicas de processos estocásticos e
cadeias de Markov
Sumário
Resumo .............................................................................................................. 4
1 Fundamentação Teórica .............................................................................. 5
1.1 Processos estocásticos ....................................................................... 5
1.2 Processos de Markov ........................................................................... 6
1.3 Vetores de probabilidades ................................................................... 8
1.4 Matrizes de transição ........................................................................... 8
1.5 Cadeias de Markov de dois estados .................................................. 14
1.6 Classificação dos estados.................................................................. 18
1.7 Periodicidade .................................................................................. 26
1.8 Comportamento a longo prazo......................................................... 29
1.9 Processo de Nascimento e Morte .................................................... 36
1.10 Processo de Poisson ..................................................................... 41
2.0 Aplicações .................................................................................................. 43
2.1 A modelagem dos jogos de baseball ................................................. 43
2.1.1 Construindo a matriz de transição .......................................... 45
2.2 Google Page Rank ............................................................................. 51
2.3 Investimento a longo prazo ................................................................ 60
2.4 Teoria das Filas ................................................................................. 62
2.4.1 Disciplina de atendimento....................................................... 64

2.4.2 Notação de um sistema de filas.............................................. 65
2.4.3 Modelo M/M/1/∞/FIFO ............................................................ 66
2.4.3.1 Número médio de usuários (L) .................................... 67
2.4.3.2 Número médio de usuários na fila............................... 68
2.4.3.3 Probabilidade de se ter mais do que k elementos no
sistema.................................................................................... 69
2.4.3.4 F.D.A. do tempo de espera ......................................... 69
2.4.3.5 Função de densidade do tempo de espera na fila ...... 71
2.4.3.6 F.D.A. do tempo de atendimento ................................ 71
2.4.3.7 Tempo médio de espera na fila ................................... 71
2.4.3.8 Tempo médio de permanência no sistema ................. 72
2.4.3.9 Probabilidade de tempo de espera na fila ser maior do
que um tempo t>0 ................................................................... 72
2.4.4 Modelo M/M/c/∞/FIFO ............................................................ 72
2.4.4.1 Número médio de usuários na fila............................... 74
2.4.4.2 F.D.A. do tempo de espera na fila............................... 74
2.4.5 Modelagem de uma situação real........................................... 76
3.0 Conclusão .................................................................................................. 81

Resumo
A proposta desta monografia é aprofundar alguns conceitos relacionados
à probabilidade, processos estocásticos e cadeias de Markov, e, em seguida,
analisar, criteriosamente, diversas atividades do cotidiano e suas relações com
nossas fundamentações teóricas, bem como otimizá-las para que consigamos
os resultados desejáveis. Como exemplo, citamos, pois, os custos gastos por
diversas empresas em atendimento ao público e o tempo de espera. Como é de
conhecimento de todos, filas de espera fazem parte do cotidiano e não podem
ser evitadas. Os processos geradores de filas podem ser analisados de modo a
otimzar o tempo de espera e, também, os custos relacionados à otimização, de
modo que tenhamos um pequeno índice de desistência por tempo de espera e
alta produtividade dos colaboradores, sem intereferir, significativamente, nos
custos da empresa.
Ainda como exemplos de aplicações que veremos ao longo desta
monografia, temos as análises de investimentos financeiros associadas às
tendências, a longo prazo, de aspectos como idade, profissão e afinidades de
determinada população.
Palavras-chave: processos estocásticos, cadeias de Markov, aplicações.
mercados financeiros, filas de espera.

1 Fundamentação Teórica
Por uma questão de otimização, consideraremos que os princípios
básicos e fundamentais de probabilidade, bem como de outros assuntos comuns
à graduação já são conhecidos e iniciaremos, portanto, a fundamentação por
processos estocásticos.
1.1 Processos estocásticos

De maneira sutil, poderíamos dizer que um processo estocástico é todo e
qualquer processo cujas etapas são sucessões de eventos de resultados
aleatórios. Formalmente, de acordo com Sheldon M. Ross (1996), um processo
estocástico 𝑋 = { 𝑋(𝑡), 𝑡 ∈ 𝑇 } é uma coleção de variáveis aleatórias, isto é, para
cada 𝑡 ∈ 𝑇, onde 𝑇 é o conjunto de índices, 𝑋(𝑡) é uma variável aleatória.
Usualmente, interpretamos 𝑡 como o tempo/instante e denominamos 𝑋(𝑡)
como o estado do processo naquele instante. O conjunto de todos os valores
que as variáveis 𝑋(𝑡) podem assumir é chamado espaço de estados S do
processo estocástico.
▪ Se o conjunto de índices 𝑡 for contável, denominamos 𝑋 como um
processo estocástico de tempo discreto. Caso contrário,
denominamos 𝑋 como um processo estocástico de tempo
contínuo.
▪ Se S for enumerável, o processo é dito discreto. Se S é um
intervalo da reta, então dizemos que é um processo estocástico a
valores reais.
Um processo estocástico a tempo contínuo possui incrementos
independentes se, para todo 𝑡0 < 𝑡1 < 𝑡2 < ⋯ < 𝑡𝑛 , as variáveis aleatórias
𝑋(𝑡1 ) − 𝑋(𝑡0 ), 𝑋(𝑡2 ) − 𝑋(𝑡1 ), … , 𝑋(𝑡𝑛 ) − 𝑋(𝑡𝑛−1 ) são independentes, assim como
é dito ter incrementos estacionários se 𝑋(𝑡 + 𝑠) − 𝑋(𝑡) têm a mesma
distribuição para todo 𝑡 ∈ 𝑇. Isto é, possui incrementos independentes se as
alterações no processo em intervalos de tempo distintos forem independentes,
e possui incrementos estacionários se a distribuição das alterações entre dois
pontos depender apenas da distância entre eles.
1.2 Processos de Markov

Definição: Um processo estocástico {𝑋(𝑡), 𝑡 ∈ 𝑇} é dito ser markoviano se, para
𝑡0 < 𝑡1 < 𝑡2 < ⋯ < 𝑡𝑛 < 𝑡𝑛+1,
𝑃[𝑋(𝑡𝑛+1 ) = 𝑥𝑛+1 | 𝑋(𝑡0 ) = 𝑥0 , 𝑋(𝑡1 ) = 𝑥1 , … , 𝑋(𝑡𝑛 ) = 𝑥𝑛 ] = 𝑃[𝑋(𝑡𝑛+1 ) = 𝑥𝑛+1 |𝑋(𝑡𝑛 ) = 𝑥𝑛 ],
para qualquer escolha de 𝑥𝑖 ∈ 𝑆, 𝑖 ∈ {0, 1, … , 𝑛, 𝑛 + 1}, isto é, um processo
estocástico é dito markoviano se, uma vez conhecido o estado atual do processo,
os estados anteriores não interferem nos estados futuros. Um claro exemplo é o
lançamento de uma moeda, pois, independentemente do resultado do
lançamento anterior ter sido cara ou coroa, em um próximo lançamento, as
probabilidades de se obter cada um dos resultados permanecem inalteradas e,
portanto, são eventos independentes.
Definição: Um processo Markoviano cujo espaço de estados seja discreto é
denominado Cadeia de Markov.
Dado uma cadeia de Markov {𝑋(𝑡), 𝑡 ∈ 𝑇} de parâmetros contínuos, mas
onde S é discreto, onde, como exemplo, podemos considerar, sem perda de
generalizadade, 𝑆 = ℕ 𝑈 {0}, é caracterizado pela distribuição inicial.

𝑋(𝑡0 ) = 𝑙, 𝑙 ∈ 𝑆,
onde 𝑡0 é o instante inicial conhecido e pelas probabilidades condicionais de
transição entre dois estados 𝑖 e 𝑛, definimos 𝑃𝑖,𝑛 (𝑣, 𝑧) como
0≤𝑣≤𝑧
(𝑣,
𝑃𝑖,𝑛 𝑧) = 𝑃[𝑋(𝑧) = 𝑛 |𝑋(𝑣) = 𝑖], 𝑐𝑜𝑚 { 𝑣, 𝑧 ∈ 𝑇 ,
𝑖, 𝑛 ∈ 𝑆
onde 𝑃𝑖,𝑛 (𝑣, 𝑣) = 1, se 𝑖 = 𝑛 e 0, caso contrário. Mais claramente, definimos a
probabilidade da cadeia sair de um estado 𝑖, num instante 𝑣 para um estado 𝑛
num instante 𝑧, numa quantidade finita de passos.
Definição: Uma cadeia de Markov é dita ser homogênea se
𝑃[𝑋𝑛+1 = 𝑥𝑛+1 |𝑋𝑛 = 𝑥𝑛 ] = 𝑃(𝑋1 = 𝑥𝑛+1 |𝑋0 = 𝑥𝑛 ) = 𝑃(𝑥𝑛 , 𝑥𝑛+1 ),
(Lê-se: a probabilidade de ir do estado 𝑥𝑛 ao estado 𝑥𝑛+1 em um passo.
Proposição: Todos os processos estocásticos com incrementos independentes
são processos de Markov. A recíproca não é verdadeira.
Prova: tomemos uma variável aleatória 𝑆𝑛 = 𝑋1 + 𝑋2 + ⋯ + 𝑋𝑛 , 𝑛 ∈ ℕ, onde 𝑋𝑛
é uma sequência de incrementos independentes inteiros.
Note que
𝑃(𝑆𝑛+1 = 𝑖𝑛+1 , 𝑆𝑛 = 𝑖𝑛 , … , 𝑆1 = 𝑖1 )
𝑃[𝑆𝑛+1 = 𝑖𝑛+1|𝑆𝑛 = 𝑖𝑛 , … , 𝑆1 = 𝑖1 ] =
𝑃(𝑆𝑛 = 𝑖𝑛 , 𝑆𝑛−1 = 𝑖𝑛−1 , … , 𝑆1 = 𝑖1 )
𝑃(𝑆𝑛+1 − 𝑆𝑛 = 𝑖𝑛+1 − 𝑖𝑛 , 𝑆𝑛 − 𝑆𝑛−1 = 𝑖𝑛 − 𝑖𝑛−1 , … , 𝑆2 − 𝑆1 = 𝑖2 − 𝑖1 , 𝑆1 = 𝑖1 )

=
𝑃(𝑆𝑛 − 𝑆𝑛−1 = 𝑖𝑛 − 𝑖𝑛−1 , … , 𝑆2 − 𝑆1 = 𝑖2 − 𝑖1 , 𝑆1 = 𝑖1 )
𝑃(𝑋𝑛+1 = 𝑖𝑛+1 − 𝑖𝑛 , 𝑋𝑛 = 𝑖𝑛 − 𝑖𝑛−1 , … , 𝑋2 = 𝑖2 − 𝑖1 , 𝑋1 = 𝑖1 )

=
𝑋𝑛 = 𝑖𝑛 − 𝑖𝑛−1 , 𝑋𝑛−1 = 𝑖𝑛−1 − 𝑖𝑛−2 , … , 𝑋1 = 𝑖1 )
e, como 𝑋𝑛 é tal que seus incrementos são independentes, podemos, sem perda
de generalidade, reescrever a equação da seguinte maneira:

𝑃(𝑋𝑛+1 = 𝑖𝑛+1 − 𝑖𝑛 ). 𝑃( 𝑋𝑛 = 𝑖𝑛 − 𝑖𝑛−1 ). … . 𝑃(𝑋1 = 𝑖1 )

= 𝑃(𝑋𝑛+1 = 𝑖𝑛+1 − 𝑖𝑛 )
𝑃( 𝑋𝑛 = 𝑖𝑛 − 𝑖𝑛−1 ). … . 𝑃(𝑋1 = 𝑖1 )
𝑃(𝑋𝑛+1 = 𝑖𝑛+1 − 𝑖𝑛 ). 𝑃(𝑋𝑛 + 𝑋𝑛−1 + ⋯ + 𝑋1 = 𝑖𝑛 )

=
𝑃(𝑋𝑛 + 𝑋𝑛−1 + ⋯ + 𝑋1 = 𝑖𝑛 )
𝑃(𝑋𝑛+1 = 𝑖𝑛+1 − 𝑖𝑛 , 𝑋𝑛 + 𝑋𝑛−1 + ⋯ + 𝑋1 = 𝑖𝑛 )

=
𝑃(𝑋𝑛 + 𝑋𝑛−1 + ⋯ + 𝑋1 = 𝑖𝑛 )
𝑃(𝑋𝑛+1 = 𝑖𝑛+1 − 𝑖𝑛 , 𝑆𝑛 = 𝑖𝑛 ) 𝑃(𝑆𝑛+1 = 𝑖𝑛+1 , 𝑆𝑛 = 𝑖𝑛 )

= =
𝑃(𝑆𝑛 = 𝑖𝑛 ) 𝑃(𝑆𝑛 = 𝑖𝑛 )
= 𝑃(𝑆𝑛+1 = 𝑖𝑛+1 | 𝑆𝑛 = 𝑖𝑛 ). ∎
1.3 Vetores de probabilidades

Definição: Um vetor 𝑈 = (𝑢1 , 𝑢2 , … , 𝑢𝑛 )𝑇 é chamado de vetor de probabilidades
se 0 ≤ 𝑢𝑖 ≤ 1 ∀ 𝑖 = 1, … , 𝑛 e ∑𝑛𝑖=1 𝑢𝑖 = 1.
Entendemos 𝑢𝑖 como a probabilidade do sistema estar no estado “i” e,
portanto, como a soma de todas as probabilidades resultam em 1, isto significa
que representam TODAS as possibilidades de estados do sistema.
Nota: Todo vetor não-nulo 𝑉 = (𝑣1 , 𝑣2 , … , 𝑣𝑛 )𝑇 tal que 𝑣𝑖 ≥ 0 ∀ 𝑖 = 1, 2, … , 𝑛, pode
ser convertido num vetor de probabilidade paralela, apenas dividindo-o pela
soma de suas entradas:
𝑉
𝑈= .
∑𝑛𝑖=1 𝑣𝑖
1.4 Matrizes de transição

Em geral, uma cadeia de Markov é representada pelo sistema linear de
primeira ordem
𝑢𝑘+1 = 𝑇 𝑢𝑘 ,
onde T é chamada Matriz de Transição e deve satisfazer

0 ≤ 𝑡𝑖,𝑗 ≤ 1 𝑒 ∑ 𝑡1,𝑗 = 1.
𝑗=1
Note que a entrada 𝑡𝑖,𝑗 representa a probabilidade do sistema sair do
estado 𝑗 para o estado 𝑖. Uma vez que consideramos todas as possibilidades de
transição do estado 𝑗 para um estado qualquer, a soma das colunas de uma
matriz de transição resultam em 1 e, portanto, todas as colunas da matriz T são
vetores de probabilidades.
Desta maneira, para que seja possível o conhecimento razoável das
atividades relacionadas à Cadeias de Markov, bem como a modelagem da
evolução de seus processos, basta que conheçamos o comportamento inicial da
cadeia e como serão feitas suas transições a partir daquele instante.
Tentaremos, agora, modelar as transições um pouco mais complexas, que
envolvem mais de um único passo.
Proposição: Se 𝑢𝑘 é um vetor de probabilidades, 𝑢𝑘+1 = 𝑇. 𝑢𝑘 também é.
𝑡1,1 𝑡1,2 ⋯ 𝑡1,𝑛

𝑡 𝑡2,2 ⋯ 𝑡2,𝑛
Prova: Se 𝑢𝑘 = (𝑢1 , … , 𝑢𝑛 )𝑇 e 𝑇 = 2,1 , concluímos que
⋮ ⋮ ⋱ ⋮
(𝑡𝑛,1 𝑡𝑛,2 ⋯ 𝑡𝑛,𝑛 )
𝑇
𝑇. 𝑢𝑘 = 𝑢𝑘+1 = (∑𝑛𝑖=1 𝑢𝑖 . 𝑡𝑖,1 , ∑𝑛𝑖=1 𝑢𝑖 . 𝑡𝑖,2 , ∑𝑛𝑖=1 𝑢𝑖 . 𝑡𝑖,3 , … , ∑𝑛𝑖=1 𝑢𝑖 . 𝑡𝑖,𝑛 ) e, portanto,
note que a soma das entradas de 𝑢𝑘+1 é ∑𝑛𝑖,𝑗=1 𝑡𝑖,𝑗 . 𝑢𝑗 =
(∑𝑛𝑗=1 𝑢𝑗 ). (∑𝑛𝑗=1 𝑡1,𝑗 ). (∑𝑛𝑗=1 𝑡2,𝑗 ) … (∑𝑛𝑗=1 𝑡𝑛,𝑗 ) = 1.1.1 … 1 = 1, visto que a soma de
todas as entradas de uma coluna de T é 1.∎
Definição: Uma matriz de transição T é dita regular se alguma potência 𝑇 𝑘
possui todas as entradas não-nulas. Em particular, se T possui todas as
entradas não-nulas, então T é regular.

Nota: A definição de “matriz de transição regular” não tem relação com
“matriz regular”, visto que esta definição foi utilizada para definir matrizes com
fatoração L.U.
As entradas de 𝑇 𝑘 descrevem as probabilidades de sair de um estado
para o outro em "𝑘" passos. É, portanto, fácil verificar a definição de uma matriz
de transição regular é equivalente a dizer que existe uma probabilidade não-nula,
isto é, é possível, sair de qualquer estado para outro em exatamente k passos,
para algum 𝑘 ≥ 1.
Teorema (Teorema da Convergência de Matrizes Estocásticas Regulares):
Seja P uma matriz estocástica regular e T é uma matriz de transição regular,
então:
i) T admite um único autovetor de probabilidades 𝒖∗ , com autovalor 𝜆1 = 1;
ii) Toda cadeia de Markov com matriz de coeficientes T convergirá para o
autovetor de probabilidades 𝑢𝑘 → 𝑢∗ quando 𝑘 → ∞.
Note que a taxa de convergência de uma cadeia de Markov para seu
estado estacionário é relacionada ao valor de seu menor autovalor 𝜆2 (se
tomamrmos, clado, 𝑃 ∈ 𝑀2𝑥2 ). Quanto menor |𝜆2 | for, mais rápida será a
convergência do processo.
Prova: Se tomarmos 𝑀 = 𝑇 𝜏 , lembrando que todo autovalor de T é também
autovalor de M, sabemos que a matriz M tem entradas 𝑚𝑖,𝑗 = 𝑡𝑗,𝑖 e 0 ≤ 𝑚𝑖,𝑗 ≤ 1
e, também como consequência de M ser a transporta de T, temos que a soma
das linhas é, sempre, 1, isto é

𝑛
∑ 𝑚𝑖,𝑗 = 1.
𝑖=1
Considerando que 𝑀𝑘 = (𝑇 𝑘 )𝜏 , a regularidade da matriz T implica,
necessariamente, na regularidade de M, ou, analogamente, que alguma potência
𝑀𝑘 possui todas as entradas positivas.
Note, entretanto, que se 𝑧 = (1, 1, … 1)𝑇 é um vetor coluna, então as entradas de
𝑀𝑧 representam, cada uma delas, a soma das linhas de M, portanto, 𝑀𝑧 = 𝑧,
visto que a soma das linhas de M são 1. Como consequência, z é um autovetor
de M, com autovalor 𝜆1 = 1 e, como consequência, T também tem autovalor 1.
Agora, precisamos mostrar que se 𝑀𝑣 = 𝑣, então, suas entradas 𝑣1 =
𝑣2 = 𝑣3 = ⋯ = 𝑣𝑛 = 𝑎 são todas iguais e, portanto, 𝑣 = 𝑎. 𝑧 é um múltiplo escalar
do autovetor z. Sabemos, pois, que todas as entradas de M são estritamente
positivas e, portanto, suponhamos, por absurdo, que 𝑣 seja um autovetor cujas
entradas não são todas iguais, sendo 𝑣𝑘 a entrada de menor valor de 𝑣, isto é,
𝑣𝑘 ≤ 𝑣𝑖 ∀ 𝑖 ≠ 𝑘 e, portanto, pelo menos uma desigualdade 𝑣𝑘 < 𝑣𝑗 é verdadeira.
Assim sendo, a k-ésima entrada do autovetor de equação 𝑀𝑣 = 𝑣 é

𝑛 𝑛
𝑣𝑘 = ∑ 𝑚𝑘,𝑗 𝑣𝑗 > ∑ 𝑚𝑘,𝑗 𝑣𝑘 = 𝑣𝑘 ,

𝑗=1 𝑗=1
onde a primeira igualdade é consequência de termos assumidos todas as
entradas de M estritamente positivas e a segunda é consequência do resultado
unitário das somas das linhas de M. Portanto, chegamos a uma contradição
(𝑣𝑘 < 𝑣𝑘 ) e, então, se M tem uma ou mais entradas nulas, mas 𝑀𝑘 tem todas as
entradas não-nulas para algum k, utilizamos o argumento anterior à equação
𝑀𝑘 𝑣 = 𝑣 e, como consequência, 𝑀𝑣 = 𝑣. Se 𝜆1 = 1 é um autovalor completo,
então, a prova está concluída.
Resta-nos, portanto, mostrar que todos os outros autovalores de M são
tais que seu módulo é menor que 1. Para tal, recorreremos ao Gerschgorin Circle
Theorem 10.34. Seja o disco 𝐷𝑖 centrado em 𝑚𝑖,𝑖 tal que seu raio seja 𝑟𝑖 = 𝑠𝑖 −
𝑚𝑖,𝑖 = 1 − 𝑚𝑖,𝑖 , logo, o disco está estritamente contido no disco aberto de raio
unitário |𝑧| < 1, exceto nas fronteiras onde |𝑧| = 1. O teorema do Círculo implica
que todos os autovalores, exceto o autovalor unitário 𝜆1 = 1 devem estar
estritamente dentro do disco unitário e, portanto, |𝜆𝑗 | < 1 para 𝑗 ≥ 2. Como
consequência, a matriz M e, também, T satisfazem a hipótese do teorema e
concluímos que 𝑢𝑘 = 𝑇 𝑘 𝑢0 → 𝑢∗ converge para um múltiplo do autovetor de
probabilidades de T. Se a condição inicial 𝑢0 for um vetor de probabilidades,
então todo subsequente vetor de estado 𝑢𝑘 , bem como seu limite 𝑢∗ = 𝑢𝑘 , 𝑘 →
∞, também serão vetores de probabilidades. Esta demonstração, portanto,
conclui a prova do teorema.∎
Exemplo: Uma compania de transporte de caminhões no Rio de Janeiro atende
as cidades de São Paulo, Brasília e Belo Horizonte. Estudos indicam que,
aproximadamente, 10% dos transportes que partem de em São Paulo vão para
Brasília e 30% para Belo Horizonte. 30% dos transportes que partem de Brasília
foram para São Paulo e outros 30% para Belo Horizonte, enquanto mercadorias
que embaracaram em Belo Horizonte foram para São Paulo em 40% das vezes
e para Brasília em 30%. O dono da companhia de transportes está interessado
em saber onde os caminhões, em sua maioria, terminam as viagens.
Modelando o problema como um processo de Markov, temos que as

𝑇
entradas do vetor de estado 𝑢𝑘 = (𝑢1𝑘 , 𝑢2𝑘 , 𝑢3𝑘 ) dizem-nos a probabilidade de um
caminhão, invidualmente, terminar sua corrida em uma das três
localidades.Usando as informações do problema, construímos a matriz de
transição
0.6 0.3 0.4

𝑇 = (0.1 0.4 0.3),
0.3 0.3 0.3
onde 𝑡1,1 é a probabilidade de uma mercadoria embarcar em São Paulo e
desembarcar em São Paulo, enquanto 𝑡2,1 é a probabilidade de uma mercadoria
embarcar em São Paulo e desembarcar em Brasília, isto é, “1” representa São
Paulo, “2” representa Brasília e “3” representam os Belo Horizonte. Vale lembrar
que 𝑡𝑖,𝑗 é a probabilidade de sair do estado j para o estado i.
Observe que T é regular, visto que todas as entradas são não-nulas e o
autovetor de probabilidades 𝑢∗ = (0,4714 ; 0,2286; 0,3)𝑇 correspondente ao
autovalor unitário 𝜆1 = 1 é obtido através da solução do sistema linear
𝑇𝑣 = 𝑣 ,
𝑇𝑣 − 𝑣 = 0 ,
(𝑇 − 𝐼)𝑣 = 0 .
E, então, convertendo a solução 𝑣 num vetor de probabilidade 𝑢∗ utilizando as
fórmulas do capítulo 1.3.
Concluímos, portanto, que, não importanto como os caminhões foram
inicialmente distribuídos, aproximadamente 47% das corridas terminam em São
Paulo, 23% em Brasília e 30% em Belo Horizonte. Isto pode ser facilmente
confirmado através de um experimento numérico.
Vale ressaltar, portanto, que se o dono da Companhia tiver de escolher o
local ideal para a instalação de um posto avançado de descanso para os
caminhoneiros, antes da viagem de volta, certamente atenderia mais
colaboradores se escolhesse São Paulo.
1.5 Cadeias de Markov de dois estados

No capítulo anterior, vimos a importância de computar o n-ésimo estado
de uma matriz de transição, entretanto, geralmente, tal cálculo é
consideravelmente difícil e, neste capítulo, faremos um aprofundamento no
entendimento de matrizes onde o número de estados possíveis é igual a dois.
Note que, nestes casos, a matriz de transição tem a forma

𝑝0,0 𝑝1,0 1−𝑎 𝑎
𝑃 = (𝑝 𝑝1,1 ) = ( 𝑏 ),
0,1 1−𝑏
onde 𝑎, 𝑏 ∈ [0,1], onde 𝑝𝑖,𝑗 é a probabilidade do processo sair do estado 𝑗 para
o estado 𝑖. Graficamente, temos:

A potência
1−𝑎 𝑎 𝑛
𝑃𝑛 = ( )
𝑏 1−𝑏
será computada através de decomposição espectral e, sempre,
desconsiderando o caso trivial da matriz identidade e cadeia constante 𝑎 = 𝑏 =
0.
Note que a matriz P tem dois autovetores 𝑣1 = (1,1)𝑇 e 𝑣2 = (−𝑎, 𝑏)𝑇 , com
autovalores, respectivamente, 𝜆1 = 1 e 𝜆2 = 1 − 𝑎 − 𝑏. Como 𝑣1 e 𝑣2 são
linearmente independentes, P é diagonalizável e pode ser escrita na forma
diagonal através de 𝑃 = 𝑀. 𝐷. 𝑀−1 , onde, relembremos, D é a matriz diagonal
com os autovalores na diagonal principal e M é a matriz dos autovetores, em
coluna e, ainda,se
𝑥 𝑦 1 𝑥 −𝑦
𝑀=( ) 𝑀−1 = det(𝑀) . ( ),
𝑧 𝑤 −𝑧 𝑤
isto é,
𝑏 𝑎
1 −𝑎 𝜆 0
𝑃=( ).( 1 ).( 𝑎 + 𝑏 𝑎 + 𝑏).
1 𝑏 0 𝜆2 1 1
−
𝑎+𝑏 𝑎+𝑏
Vale lembrar, ainda, que 𝑃𝑛 = (𝑀. 𝐷. 𝑀−1 )𝑛 = 𝑀. 𝐷𝑛 . 𝑀−1 , onde
𝜆1𝑛 0
𝐷𝑛 = ( ),
0 𝜆𝑛2
portanto,
𝑏 𝑎
1 −𝑎 1 0
𝑃𝑛 = ( ).( ).( 𝑎 + 𝑏 𝑎 + 𝑏)
1 𝑏 0 𝜆𝑛2 1 1
−
𝑎+𝑏 𝑎+𝑏
1 𝑏 + 𝑎𝜆𝑛2 𝑎(1 − 𝜆𝑛2 )

= ( ).
𝑎 + 𝑏 𝑏(1 − 𝜆𝑛2 ) 𝑎 + 𝑏𝜆𝑛2
A partir deste resultado, conseguimos, computar as probabilidades

𝑛
𝑛 𝑏+𝑎𝜆2 𝑛 𝑎(1−𝜆𝑛
2)
𝑃(𝑍𝑛 = 0 |𝑍0 = 0) = 𝑝0,0 = e 𝑃(𝑍𝑛 = 1 |𝑍0 = 0) = 𝑝1,0 = ,
𝑎+𝑏 𝑎+𝑏
𝑛 𝑛
bem como as probabilidades 𝑃(𝑍𝑛 = 0 |𝑍0 = 1) = 𝑝0,1 e 𝑃(𝑍𝑛 = 1|𝑍1 = 1) = 𝑝1,1 .
Se tomarmos 𝑛 → ∞, temos, em particular, o comportamento a longo
tempo da cadeia de Markov:
𝑃(𝑍𝑛 = 0|𝑍0 = 0) 𝑃(𝑍𝑛 = 1|𝑍0 = 0) 1 𝑏 𝑎

lim 𝑃𝑛 = lim ( )= .( ),
𝑛→∞ 𝑛→∞ |𝑍 (𝑍 |𝑍
𝑃(𝑍𝑛 = 0 0 = 1) 𝑃 𝑛 = 1 1 = 1) 𝑎+𝑏 𝑏 𝑎
uma vez que −1 < 𝜆2 = 1 − 𝑎 − 𝑏 ≤ 1 e (𝑎, 𝑏) ≠ (1,1). Observe que a
convergência será mais rápida conforme |1 − (𝑎 + 𝑏)| se torna cada vez menor.
Assim sendo, temos que:

𝑎
lim 𝑃(𝑍𝑛 = 1 |𝑍0 = 0) = lim 𝑃(𝑍𝑛 = 1 |𝑍1 = 1) = ,
𝑛→∞ 𝑛→∞ 𝑎+𝑏
𝑏
lim 𝑃(𝑍𝑛 = 0 |𝑍0 = 0) = lim 𝑃(𝑍𝑛 = 1 |𝑍0 = 0) = .
𝑛→∞ 𝑛→∞ 𝑎+𝑏
Isto significa dizer que, a longo prazo, as probabilidades da cadeia estar no
estado 1 independentem do estado inicial e, consequentemente.
𝑏 𝑎
𝜋 = [𝜋0 , 𝜋1 ] ≔ [ ; ]
𝑎+𝑏 𝑎+𝑏
é a distribuição limite, conforme n tende ao infinito, dado que (𝑎, 𝑏) ≠ (1,1). Não
importando o estado inicial 𝑍0 , a probabilidade de estar no estado “1” depois de

𝑎
um longo período de tempo se torna próxima a 𝑎+𝑏, enquanto a probabilidade de
𝑏
estar no estado “0” se torna próxima a 𝑎+𝑏.
Observamos, ainda, que a distribuição 𝜋 é invariante por P, isto é
1 1−𝑎 𝑎 1
𝜋𝑃 = . (𝑏, 𝑎). ( )= . (𝑏, 𝑎) = 𝜋,
𝑎+𝑏 𝑏 1−𝑏 𝑎+𝑏
ou, analogamente, 𝜋 satisfaz 𝑃𝜋 = 𝜋, o que significa que 𝑃(𝑍1 = 𝑘) = 𝜋𝑘 se
𝑃(𝑍0 = 𝑘) = 𝜋𝑘 , com k=0,1.

1 1
Como exemplo, temos que a distribuição 𝜋 = (2 , 2) é notoriamente
invariante pela cadeias com matriz de transição
0 1
𝑃=( )
1 0
1 2
enquanto se tomássemos 𝜋 = (3 , 3), a afirmação não seria verdadeira.
Observe, ainda, que se 𝑎 + 𝑏 = 1, teríamos que
𝑏 𝑎
𝑃𝑛 = ( ) = 𝑃,
𝑏 𝑎
e, como consequência,
𝑃(𝑍𝑛 = 1 |𝑍0 = 0) = 𝑃(𝑍𝑛 = 1 |𝑍1 = 1) = 𝑎
𝑃(𝑍𝑛 = 0 |𝑍0 = 0) = 𝑃 (𝑍𝑛 = 0 |𝑍0 = 1) = 𝑏,
independemente da distribuição 𝜋 = (𝑃(𝑍0 = 0); 𝑃(𝑍0 = 1)).
Note, ainda, que se 𝑎 = 𝑏 = 1, o limite lim 𝑃𝑛 não existiria, pois

𝑛→∞
1 0
( ) , 𝑛 = 2𝑘
𝑃𝑛 = { 0 1 ,
0 1
( ) , 𝑛 = 2𝑘 + 1
1 0
e a cadeia está, indefinidamente, mudando a cada passo de um estado para o
outro.
Exercício: Depois de ganhar 𝑘 dólares, um apostador recebe 𝑘 + 1 dólares, com
probabilidade 𝑞, ou tem de sair do jogo e perder tudo, com probabilidade 𝑝 = 1 −
𝑞. Começando com 1 dólar, encontre um modelo para o tempo de evolução da
fortuna do jogador usando uma cadeias de Markov onde a matriz de transição
de probabilidades seja descrita explicitamente com suas potências 𝑃𝑛 , para todo
𝑛 ≥ 1.
1.6 Classificação dos estados

𝑛
Definição: Um estado 𝑖 é acessível a partir do estado 𝑗 se 𝑝𝑖,𝑗 > 0, para algum
𝑛
𝑛 ≥ 0, onde 𝑝𝑖,𝑗 é uma entrada da matriz de probabilidades 𝑃𝑛 . Para dizermos
que 𝑖 é acessível a partir de 𝑗, usaremos a notação 𝑗 → 𝑖.
Observe, ainda, que isso implica que o estado 𝑖 é acessível a partir do
estado 𝑗 se, partindo de 𝑗, é possível que o processo, em algum tempo, atinja o
estado 𝑦, isto é, é possível que 𝑗 → 𝑖, mesmo que 𝑝𝑖,𝑗 = 0, visto que esta
𝑛
condição não garante que 𝑝𝑖,𝑗 = 0 para todos os valores 𝑛.
Definição: Se dois estados 𝑖 𝑒 𝑗 são acessíveis um a partir do outro, então 𝑖 𝑒 𝑗
se comunicam e tal relação será denotada por 𝑥 ↔ 𝑦. Neste caso, dizemos que
𝑖 𝑒 𝑗 pertencem à mesma classe.
Observe, ainda, que:
i) O estado 𝑖 se comunica com o estado 𝑖, pois
0
𝑃𝑖,𝑖 = 𝑃(𝑍0 = 𝑖 |𝑍0 = 𝑖) = 1
ii) Se o estado 𝑖 se comunica com o estado 𝑗, o estado 𝑗 se comunica com
o estado 𝑖.
iii) Pelas Equações de Chapman-Kolmogorov, temos que se o estado 𝑖 se
comunica com o estado 𝑗 e este, por sua vez, se comunica com o estado 𝑧, então
𝑖 se comunica com o estado 𝑧.
Definição: Uma cadeia de Markov é dita irredutível se todos os estados
pertencem a uma mesma classe, isto é, se todos os estados se comunicam.
Definição: Se o estado 𝑖 é tal que 𝑝𝑖,𝑖 = 1, então 𝑖 é um estado absorvente.

Analogamente, poderíamos dizer que um estado é absorvente se, uma
vez que o processo entre neste estado, jamais o deixará.
Definição: Seja uma cadeia de Markov (𝑍𝑛 )𝑛∈ℕ , com espaço de estados S. Um
estado 𝑖 ∈ 𝑆 e seja 𝑃𝑖 a probabilidade de que, começando no estado 𝑖, o
processo volte a atingir o estado 𝑖 em algum tempo, isto é:
𝑃𝑖 = 𝑃(𝑍𝑛 = 𝑖 𝑝𝑎𝑟𝑎 𝑎𝑙𝑔𝑢𝑚 𝑛 ≥ 1 | 𝑍0 = 𝑖)
Definição: Um estado 𝑖 é dito recorrente se 𝑃𝑖 = 1. Se 𝑃𝑖 < 1, então 𝑖 é dito
transitório.
Note que, analogamente, pode-se dizer que um estado é dito transitório
se, uma vez que o processo entre neste estado, pode ser que o processo nunca
retorne novamente, enquanto que, se o estado é recorrente, o processo sempre
voltará, em algum momento, a este estado. Note que, uma vez que o estado será
revisitado após cada visita, não necessariamente no próximo passo do processo,
este estado será visitado infinitamente pelo processo em um tempo infinito.
Corolário 1.6.1: Se definirmos 𝑅𝑖 ≔ ∑∞

𝑛=1 1{𝑍𝑛 =𝑖} , isto é, o número de visitas que
o processo fará ao estado 𝑖. Se 𝑅𝑗 = 0,com ponto de partida em 𝑍0 = 𝑖, isto
significa que a cadeia jamais visitará o estado 𝑗 e isso acontece com
probabilidade 1 − 𝑝𝑖,𝑗 , portanto
𝑃(𝑅𝑗 = 0 |𝑍0 = 𝑖) = 1 − 𝑝𝑖,𝑗 .
Por outro lado, se o processo fizer um número de visitas ao estado 𝑗,
partindo do estado 𝑖, igual a 𝑅𝑗 = 𝑚 ≥ 1, fará uma visita ao estado 𝑗 com
probabilidade 𝑝𝑖,𝑗 e, então, retornará 𝑚 − 1 vezes ao estado 𝑗, cada uma com
probabilidade 𝑝𝑗,𝑗 .
Depois destas 𝑚 visitas, jamais voltará ao estado 𝑗 e este evento ocorrerá
com probabilidade 1 − 𝑝𝑗,𝑗 , portanto, dado que 𝑍0 = 𝑖, temos

𝑚−1
𝑝𝑖,𝑗 . 𝑝𝑗,𝑗 . (1 − 𝑝𝑗,𝑗 ), 𝑠𝑒 𝑚 ≥ 1
𝑃(𝑅𝑗 = 𝑚 |𝑍0 = 𝑖) = { .
1 − 𝑝𝑖,𝑗 , 𝑠𝑒 𝑚 = 0
No caso em que 𝑖 = 𝑗, 𝑅𝑖 representa, basicamente, o número de vezes que o
processo retorna ao estado 𝑖, considerando que começou no estado 𝑖 e, neste
caso, encontraríamos a distribuição geométrica

𝑚
𝑃(𝑅𝑖 = 𝑚 |𝑍0 = 𝑖) = 𝑝𝑖,𝑖 . (1 − 𝑝𝑖,𝑖 ), 𝑐𝑜𝑚 𝑚 ≥ 0.
Note, ainda, que
0, 𝑠𝑒 𝑝𝑖,𝑖 = 1
𝑃(𝑅𝑖 < ∞|𝑍0 = 𝑖) = { ,
1, 𝑠𝑒 𝑝𝑖,𝑖 < 1
1, 𝑠𝑒 𝑝𝑖,𝑖 = 1
𝑃(𝑅𝑖 = ∞|𝑍0 = 𝑖) = { .
0, 𝑠𝑒 𝑝𝑖,𝑖 < 1
Por outro lado, se 𝑝𝑗,𝑗 = 1, teríamos que
𝑃(𝑅𝑗 = ∞|𝑍0 = 𝑖) = 𝑝𝑖,𝑗 ,
e, também,
∞ ∞
𝑚−1
𝐸[𝑅𝑗 |𝑍0 = 𝑖] = ∑ 𝑚. 𝑃(𝑅𝑗 = 𝑚 |𝑍0 = 𝑖) = (1 − 𝑝𝑗,𝑗 ). 𝑝𝑖,𝑗 . ∑ 𝑚(𝑝𝑗,𝑗 )
𝑚=0 𝑚=1
𝑝𝑖,𝑗
= .
1 − 𝑝𝑗,𝑗
𝑘
Corolário 1.6.2: Se definirmos 𝑄𝑖,𝑖 a probabilidade de, partindo do estado 𝑖, o
processo retornar ao estado 𝑖 pelo menos 𝑘 vezes e tomarmos 𝑘 → ∞, isto é, a
probabilidade do processo retornar infinitas vezes ao estado 𝑖, temos que:
i) Se o estado 𝑖 for recorrente, como 𝑃𝑖 = 𝑃(𝑍𝑛 = 𝑖 , 𝑛 ≥ 1 | 𝑍0 = 𝑖) = 1
𝑘
lim 𝑄𝑖,𝑖 = lim 𝑃𝑖𝑘 = 1,
𝑘→∞ 𝑘→∞
ii) Se o estado 𝑖 for transitório, como 𝑃𝑖 = 𝑃(𝑍𝑛 = 𝑖, 𝑛 ≥ 1 | 𝑍0 = 𝑖) < 𝟏

𝑘
lim 𝑄𝑖,𝑖 = lim 𝑃𝑖𝑘 = 0.
𝑘→∞ 𝑘→∞
𝑛
Proposição: O estado 𝑖 é recorrente se, e somente se, ∑∞
𝑛=1 𝑝𝑖,𝑖 = ∞. Isto implica
𝑛
que, se ∑∞
𝑛=1 𝑝𝑖,𝑖 < ∞ o estado é transitório.
Prova: Para todo 𝑖, 𝑗 ∈ 𝑆, temos que

∞
𝔼 [∑ 1{𝑍𝑛=𝑗} | 𝑍0 = 𝑖 ]
𝑛=1
∞ ∞ ∞
𝑛
= ∑ 𝔼[1{𝑍𝑛=𝑗} |𝑍0 = 𝑖] = ∑ ℙ(𝑍𝑛 = 𝑗 |𝑍0 = 𝑖) = ∑ 𝑝𝑖,𝑗 .
𝑛=1 𝑛=0 𝑛=1
Para concluir, tomamos 𝑖 = 𝑗 e, portanto, temos

∞ ∞
𝑛
𝔼 [∑ 1{𝑍𝑛=𝑖} | 𝑍0 = 𝑖 ] = ∑ 𝑝𝑖,𝑖 .
𝑛=1 𝑛=1
Observe que o lado esquerdo da igualdade representa o valor esperado do
número de vezes que o processo retornará, num tempo infinito, ao estado 𝑖,
partindo do estado 𝑖. Pelo corolário 1.6.2, concluímos, pois, que:

𝑛
i) Se 𝑖 é recorrente, então, ∑∞
𝑛=1 𝑝𝑖,𝑖 = ∞
𝑛
ii) Se 𝑖 é transitório, então ∑∞
𝑛=1 𝑝𝑖,𝑖 < ∞.∎
Note que, ainda, se o estado 𝑖 é recorrente, podemos definir

∞
𝑛
𝜇𝑖 = ∑ 𝑛𝑝𝑖,𝑖 ,
𝑛=1
em que 𝜇𝑖 define o valor esperado do número de passos necessários para que
o processo retorne ao estado 𝑖 e, por isto, chamamos 𝜇𝑖 de tempo de
recorrência. Pode-ser dizer que um estado absorvente é um estado recorrente
em que 𝜇𝑖 = 1.
Considere, ainda, o primeiro retorno do processo ao estado 𝑗 ∈ 𝕊,
definido por 𝑇𝑗𝑟 ≔ inf{𝑛 ≥ 1: 𝑍𝑛 = 𝑗}, com 𝑇𝑗𝑟 = ∞, se 𝑍𝑛 ≠ 𝑗 ∀𝑛 ≥ 1.
Denotaremos por 𝜇𝑗 (𝑖) = 𝔼[𝑇𝑗𝑟 |𝑍0 = 𝑖] ≥ 1 o tempo médio de retorno ao estado
𝑗 ∈ 𝕊 começando pelo estado 𝑖 ∈ 𝕊.
O tempo médio de retorno também pode ser computado pela análise do
primeiro passo, isto é
𝜇𝑗 (𝑖) = 𝔼[𝑇𝑗𝑟 |𝑍0 = 𝑖] =
= 1 𝑥 ℙ(𝑍1 = 𝑗 |𝑍0 = 𝑖) + ∑ ℙ(𝑍1 = 𝑙 |𝑍0 = 𝑖)(1 + 𝔼[𝑇𝑗𝑟 |𝑍0 = 𝑙])

𝑙∈𝕊
𝑙≠𝑗
= 𝑃𝑖,𝑗 + ∑ 𝑃𝑖,𝑙 (1 + 𝜇𝑗 (𝑙))

𝑙∈𝕊
𝑙≠𝑗
= 𝑃𝑖,𝑗 + ∑ 𝑃𝑖,𝑙 + ∑ 𝑃𝑖,𝑙 𝜇𝑗 (𝑙)

𝑖∈𝕊 𝑖∈𝕊
𝑙≠𝑗 𝑙≠𝑗
= ∑ 𝑃𝑖,𝑙 + ∑ 𝑃𝑖,𝑙 𝜇𝑗 (𝑙) = 1 + ∑ 𝑃𝑖,𝑙 𝜇𝑗 (𝑙)

𝑙∈𝕊 𝑖∈𝕊 𝑖∈𝕊
𝑙≠𝑗 𝑙≠𝑗
e, portanto,
𝜇𝑗 (𝑙) = 1 + ∑ 𝑃𝑖,𝑙 𝜇𝑗 (𝑙) , 𝑖, 𝑗 ∈ 𝕊.

𝑖∈𝕊
𝑙≠𝑗
Note que computar as probabilidades de retorno a um certo estado é
diferente de computar as probabilidades de atingir determinado estado, isto é,
𝑇𝑖𝑟 é, no mínimo, um, isto é, 𝜇𝑖 (𝑖) ≥ 1, enquanto ℎ𝑖 (𝑖) = 0, 𝑖 ∈ 𝕊. Por outro lado,
pela definição, nós temos que
ℎ𝑖 (𝑗) = 𝔼[𝑇𝑖𝑟 |𝑍0 = 𝑗] = 𝔼[𝑇𝑖 |𝑍0 = 𝑗] = 𝜇𝑖 (𝑗), ∀ 𝑖 ≠ 𝑗.
Note que, para 𝑖 = 𝑗, o tempo médio de retorno 𝜇𝑗 (𝑗) pode ser computado
através das probabilidades de atingir certo estado ℎ𝑗 (𝑙), 𝑙 ≠ 𝑗:

𝜇𝑗 (𝑗) = ∑ 𝑃𝑗,𝑙 (1 + ℎ𝑗 (𝑙)) = 𝑃𝑗,𝑗 + ∑ 𝑃𝑗,𝑙 (1 + ℎ𝑗 (𝑙))

𝑙∈𝕊 𝑙≠𝑗
= ∑ 𝑃𝑗,𝑙 + ∑ 𝑃𝑗,𝑙 ℎ𝑗 (𝑙) = 1 + ∑ 𝑃𝑗,𝑙 ℎ𝑗 (𝑙) , 𝑗 ∈ 𝕊.

𝑙∈𝕊 𝑙≠𝑗 𝑙≠𝑗
Concluímos, particularmente, que

∞
𝜇0 (0) = 𝔼[𝑇0𝑟 |𝑍0 = 0] = ∑ 𝑛ℙ(𝑇0𝑟 = 𝑛 |𝑍0 = 0)

𝑛=0
∞ ∞
𝑛
=∑ 𝑛𝑓0,0 = 1 − 𝑎 + 𝑎𝑏 ∑ 𝑛(1 − 𝑏)𝑛−2
𝑛=0 𝑛=2
= 1 − 𝑎𝑏 + 𝑎𝑏 ∑(𝑛 + 2)(1 − 𝑏)𝑛

𝑛=0
∞ ∞
= 1 − 𝑎 + 𝑎𝑏(1 − 𝑏) ∑ 𝑛(1 − 𝑏)𝑛−1 + 2𝑎𝑏 ∑(1 − 𝑏)𝑛

𝑛=0 𝑛=0
𝑎+𝑏
= ,
𝑏
0 , 𝑠𝑒 𝑛 = 0
𝑛
onde 𝑓0,0 = ℙ(𝑇0𝑟 = 𝑛 |𝑍0 = 0) = { 1 − 𝑎 , 𝑠𝑒 𝑛 = 1,
𝑎𝑏(1 − 𝑏)𝑛−2 , 𝑠𝑒 𝑛 ≥ 2
E, portanto, percebemos que
𝜇 (0) = 1 + (1 − 𝑎)𝜇1 (0)

{ 1 ,
𝜇1 (1) = 1 + 𝑏𝜇1 (0)
o que nos leva a
1 𝑎+𝑏
𝜇1 (0) = 𝑒 𝜇1 (1) = .
𝑎 𝑎
Definição: Se 𝜇𝑖 = ∞ dizemos que o estado 𝑖 tem recorrência nula, caso
contrário, dizemos que 𝑖 tem recorrência positiva.
Corolário: Se o estado 𝑖 é recorrente e o estado 𝑗 se comunica com o estado 𝑖,
então o estado 𝑗 é recorrente.
Prova: Note que, se 𝑖 → 𝑗 e 𝑗 → 𝑖, então, existem 𝑎, 𝑏 ∈ ℕ tais que

𝑎 𝑏
𝑝𝑖,𝑗 > 0 𝑒 𝑝𝑖,𝑗 > 0.
Portanto, ∀ 𝑛 ≥ 𝑎 + 𝑏 temos:
𝑃(𝑍𝑛 = 𝑗 |𝑍0 = 𝑗)
= ∑ 𝑃(𝑍𝑛 = 𝑗 |𝑍𝑛−𝑎 = 𝑙). 𝑃(𝑍𝑛−𝑎 = 𝑙 |𝑍𝑏 = 𝑚). 𝑃(𝑍𝑏 = 𝑚 |𝑍0 = 𝑗)

𝑙,𝑚∈𝑆
≥ 𝑃(𝑍𝑛 = 𝑗 |𝑍𝑛−𝑎 = 𝑖). 𝑃(𝑍𝑛−𝑎 = 𝑖|𝑍𝑏 = 𝑖). 𝑃(𝑍𝑏 = 𝑖 |𝑍0 = 𝑗)
𝑎 𝑛−𝑎−𝑏 𝑏
= 𝑝𝑖,𝑗 . 𝑝𝑖,𝑖 . 𝑝𝑗,𝑖 .
Portanto, temos que

∞ ∞ ∞
𝑛 𝑎 𝑏 𝑛−𝑎−𝑏
∑ 𝑝𝑗,𝑗 = ∑ 𝑃(𝑍𝑛 = 𝑗 |𝑍0 = 𝑗) ≥ 𝑝𝑖,𝑗 . 𝑝𝑗,𝑖 . ∑ 𝑝𝑖,𝑖
𝑛=𝑎+𝑏 𝑛=𝑎+𝑏 𝑛=𝑎+𝑏
∞
𝑎 𝑏 𝑛
= 𝑝𝑖,𝑗 . 𝑝𝑗,𝑖 . ∑ 𝑝𝑖,𝑖 =∞
𝑛=0
O que mostra, portanto, que 𝑗 é recorrente, como consequência de termos
assumido 𝑖 recorrente. ∎
Definição: Uma classe 𝐶 ⊂ 𝑆 é dita fechada se quando o processo entrar em um
dos estados i ∈ C, este irá permanecer nos estados de C indefinidamente, ou
seja, C é um conjunto tal que nenhum estado fora de C é alcançável a partir de
qualquer estado de C, isto é, se 𝑗 ∈ 𝐶 e 𝑖 ∈ 𝐶𝐶𝑆 , então, 𝑝𝑖,𝑗 = 𝑃(𝑍𝑛 = 𝑗 |𝑍0 = 𝑖) =
0 ∀ 𝑛 ∈ ℕ.
Teorema: Uma classe 𝐶 ⊂ 𝑆 finita é recorrente se, e só se, é fechada.
Prova: A demonstração dar-se-á por contradição. Seja 𝐶 ⊂ 𝑆 um conjunto finito
fechado e transitório e sejam 𝑖, 𝑗 ∈ 𝐶. Sabemos, portanto, que

𝑛
lim 𝑝𝑖,𝑗 =0
𝑛→∞
E, então,
𝑛
∑ lim 𝑝𝑖,𝑗 = 0.
𝑛→∞
𝑗∈𝐶
Como C é um classe finita, podemos permutar o limite com o somatório e obter
𝑛
lim ∑ 𝑝𝑖,𝑗 = 0.
𝑛→∞
𝑗∈𝐶
𝑛
Mas, por outro lado, ∑𝑗∈𝐶 𝑝𝑖,𝑗 = 𝑃 (𝑍𝑛 ∈ 𝐶 |𝑍𝑜 = 𝑖). Desde que a classe é fechada,
temos que a soma das probabilidades deve ser igual a 1, o que contradiz,
claramente, a equação acima, portanto, C é recorrente. ∎
Como consequência dos resultados acima, apresentamos a seguinte
proposição:
Proposição: Toda cadeia com espaço de estados finito deve ter pelo menos
um estado recorrente.
𝑝
Prova: Pelo corolário 1.6.1, temos que 𝐸[𝑅𝑗 |𝑍0 = 𝑖] = 1−𝑝𝑖,𝑗 ∀ 𝑖, 𝑗 ∈ 𝑆. Se
𝑗,𝑗
tomarmos 𝑗 como transitório, temos que 𝑝𝑗,𝑗 < 1 e, portanto
∞
𝑛
𝐸[𝑅𝑗 |𝑍0 = 𝑖] = ∑ 𝑝𝑖,𝑗 <∞,
𝑛=1
𝑛
o que implica, necessariamente, que lim 𝑝𝑖,𝑗 = 0 para todos os estados
𝑛→∞
transitórios 𝑗 ∈ 𝑆. Se, porventura, todos os estados de S fossem transitórios, uma
vez que S é finito, teríamos que
𝑛 𝑛
0 = ∑ lim 𝑝𝑖,𝑗 = lim ∑ 𝑝𝑖,𝑗 = lim 1 = 1.
𝑛→∞ 𝑛→∞ 𝑛→∞
𝑗∈𝑆 𝑗∈𝑆
O que, obviamente, é uma contradição e, portanto, deve existir ao menos um
estado 𝑖 ∈ 𝑆 recorrente. ∎
Definição: Um conjunto 𝐶𝑚 de estados é dito ser um conjunto fechado mínimo
se este conjunto não possui subconjuntos fechados.

Exemplo: Seja uma Cadeia de Markov com a seguinte matriz de transição P:
𝐸𝑠𝑡𝑎𝑑𝑜 1/4 3/4 0 0 0 0

0 1/2 1/2 0 0 0 0
1
𝑃= 0 0 1 0 0
2
3 0 0 1/3 2/3 0
4 ( 1 0 0 0 0)
O estado 3 é transitório, porque se o processo está em 3, há uma
probabilidade positiva dele nunca retornar a este estado. O estado 4 também é
transitório, porque se o processo iniciar em 4, imediatamente o processo deixa
4 e jamais retorna.
Os estados 0 e 1 são recorrentes, pois percebe-se que se o processo
começar a partir de um desses dois estados, jamais os deixará. Além disto,
sempre que o processo move-se a partir de um deles para o outro, este irá
retornar para o estado original, eventualmente.
O estado 2 é um estado absorvente, pois uma vez que o processo entra
em 2, jamais o deixará.
Os estados 0, 1 e 2 formam um conjunto fechado C, uma vez que se o
processo entrar em um destes estados, não os deixará.
Os estados 0 e 1 formam um conjunto fechado mínimo, bem como o
estado 2.
1.7 Periodicidade
Definição: Um estado é dito periódico, com período 𝑡 se um retorno a este
estado é possível somente em 𝑘. 𝑡 passos, com 𝑘 ∈ ℤ, 𝑡 > 1 e 𝑡 é o maior inteiro

𝑛
com esta propridade (máximo divisor comum). Isto implica que 𝑝𝑖,𝑖 = 0 sempre
quando 𝑛 não for divisível por 𝑡.

Seja uma cadeia de Markov {𝑍𝑛 ; 𝑛 ≥ 0} cujo espaço de estados é S. Dado
um estado 𝑖 ∈ 𝑆, tomemos o seguinte conjunto de inteiros
{ 𝑛 ≥ 1 ∶ [𝑃𝑛 ]𝑖,𝑖 > 0}.
O período do estado 𝑖 ∈ 𝑆 é o maior divisor comum de
{ 𝑛 ≥ 1 ∶ [𝑃𝑛 ]𝑖,𝑖 > 0}.
Definição: Um estado que possua período 1 é dito aperiódico, isto é, o caso
particular em 𝑃𝑖,𝑖 > 0. Um estado recorrente 𝑖 ∈ 𝑆 é dito ergódico se tem
recorrência positiva e é aperiódico.
Note, ainda, que se { 𝑛 ≥ 1 ∶ [𝑃𝑛 ]𝑖,𝑖 > 0} contém dois números distintos
primos entre sí, o estado 𝑖 também é definido como aperíodico, dado que o
M.D.C. é 1.
Definição: Se [𝑃𝑛 ]𝑖,𝑖 = 0 ∀ 𝑛 ≥ 1, então, o conjunto { 𝑛 ≥ 1 ∶ [𝑃𝑛 ]𝑖,𝑖 > 0} é vazio
e, por convenção, diremos que o período do estado 𝑖 é zero. Neste caso, 𝑖 é,
também, um estado transitório.
Definição: Uma cadeia de Markov é dita ser aperiódica se todos os seus estados
são aperiódicos. Em particular, todo estado absorvente é aperiódico e
recorrente.
Proposição: Seja P uma matriz de transição para uma cadeia de Markov
irredutível e aperiódica. Então, P é uma matriz regular.
Prova: Suponhamos, sem perda de generalidade, que P é uma matriz de
dimensão 𝑛 (quadrada, obviamente). Para mostrar que P é regular, devemos
mostrar que existe um 𝑘 ∈ ℤ tal que toda entrada de 𝑃𝑘 é estritamente positiva.
Uma vez que a cadeia é irredutível, existe um número 𝑎 que depende de
𝑖 e 𝑗 tal que [𝑃𝑎 ]𝑖,𝑗 é estritamente positiva, entretanto, como a cadeia é
aperiódica, existe um 𝑏 que depende de 𝑗 tal que [𝑃𝑚 ]𝑗,𝑗 é estritamente positiva
para todo 𝑚 ≥ 𝑏. Agora, observe que, como 𝑃𝑎+𝑚 = 𝑃𝑎 . 𝑃𝑚 temos que
[𝑃𝑎+𝑚 ]𝑖,𝑗 ≥ [𝑃𝑎 ]𝑖,𝑗 . [𝑃𝑚 ]𝑗,𝑗 , portanto, [𝑃𝑎+𝑚 ]𝑖,𝑗 > 0 ∀𝑚 ≥ 𝑏. Agora, seja 𝑘 a maior
entrada de 𝑃, 𝑃2 , … , 𝑃𝑎+𝑏 . Esse máximo existe, visto que o estado de espaços é
finito e, portanto, [𝑃𝑘 ]𝑖,𝑗 > 0 e, como consequência direta, 𝑃 é regular e a prova
está concluída. ∎
Observe que, se P é uma matriz de transição para uma cadeia de Markov
irredutível e aperiódica, então P é regular, portanto, existe um vetor de estado
estacionário 𝑞 para qual
lim 𝑃𝑛 𝑣0 = 𝑞,
𝑛→∞
para qualquer escolha inicial do vetor de probablidades 𝑣0 . O que pode ser dito,
portanto, sobre o vetor 𝑞 de uma cadeia de Markov irredutível se esta tiver um
período 𝑑 > 1 ?
Proposição: Uma cadeia irredutível é regular se, e somente se, é aperiódica.
Prova: Para a ida, vamos usar um resultado importante da Teoria dos Números:
Seja 𝑇 um conjunto de números naturais não-vazio que possui as
seguintes propriedades:
i) O mdc entre os elementos de 𝑇 é 1.
ii) Se 𝑟, 𝑠 ∈ 𝑇, então 𝑟 + 𝑠 ∈ 𝑇.
Então, exise um 𝑠 ∈ ℕ tal que 𝑠 ≥ 𝑡 ⇒ 𝑡 ∈ 𝑇.
Dado 𝑖 ∈ 𝑆, temos que 𝑚𝑑𝑐 {𝑇(𝑖)} = 1 e, se 𝑟, 𝑠 ∈ 𝑇(𝑖), 𝑟 + 𝑠 ∈ 𝑇(𝑖), logo,
concluímos que existe um 𝑡𝑖 ∈ 𝑇(𝑖) tal que 𝑡 ≥ 𝑡𝑖 implica 𝑡 ∈ 𝑇(𝑖). Como a cadeia
é irredutível, para qualquer 𝑗 ∈ 𝑆, existe um 𝑟 = 𝑟(𝑖, 𝑗) tal que [𝑃𝑟 ]𝑖,𝑗 > 0, logo,
para qualquer 𝑡 ≥ 𝑡𝑖 + 𝑟, temos que [𝑃𝑡 ]𝑥,𝑦 > 0. Consequentemente, para 𝑡 ≥ 𝑡𝑖 ′,
onde 𝑡𝑥′ ≔ 𝑡𝑖 + max 𝑟(𝑖, 𝑗), tem-se que [𝑃𝑡 ]𝑖,𝑗 > 0 ∀ 𝑗 ∈ 𝑃. Se definirmos 𝑟0 ≔
𝑗∈𝑆
max 𝑡𝑖′ , então, para todo 𝑟 ≥ 𝑟0 e para todos 𝑖, 𝑗 ∈ 𝑆, temos que [𝑃𝑟 ]𝑖,𝑗 > 0 e,
𝑖∈𝑆
então, P é regular.
Reciprocamente, se a matriz de transição P for regular, então existe 𝑟 tal
que [𝑃𝑟 ]𝑖,𝑗 > 0 e, como consequência, [𝑃𝑟+1 ]𝑖,𝑗 > 0, o que implica que o período
da cadeia é igual a 1, pois 𝑚𝑑𝑐 (𝑟, 𝑟 + 1) = 1.∎
O resultado a seguir é apresentado, mas a demonstração pode ser
encontrada em textos mais avançados de probabilidades.
Teorema: Se P é uma matriz de transição para uma cadeia de Markov irredutível
com período 𝑑 > 1 e 𝑞 é um vetor de probabilidade estacionária para a cadeia,
então, para todo vetor de probabilidade inicial 𝑣0 , temos que
1 𝑛+1
lim (𝑃 + ⋯ + 𝑃𝑛+𝑑 )𝑣0 = 𝑞.
𝑛→∞ 𝑑
Isto é, em outras palavras, o teorema garante que, para o caso de uma cadeia
de Markov irredutível com período 𝑑 > 1, o vetor 𝑞 é o limite da média dos
vetores de probabilidade 𝑃𝑛+1 𝑣0 , 𝑃𝑛+2 𝑣0 , … , 𝑃𝑛+𝑑 𝑣0 , isto é, o vetor 𝑞 pode,
também, ser interprpetado como um vetor de tempos de ocupação.
1.8 Comportamento a longo prazo
Definição: Uma cadeia de Markov é dita ter uma distribuição limite se os limites
lim 𝑃(𝑍𝑛 = 𝑖 |𝑍0 = 𝑖)

𝑛→∞
existirem ∀ 𝑖, 𝑗 ∈ 𝕊 e, da distribuição de probabilidades de 𝕊, temos:
∑ lim 𝑃(𝑍𝑛 = 𝑗 |𝑍0 = 𝑖) = 1.

𝑛→∞
𝑗∈𝑆
Por exemplo, quando a matriz de transição P é regular e 𝕊 é finito, a cadeia
admite uma distribuição limite 𝜋 = (𝜋𝑖 )0≤𝑖≤𝑁 , dado que
𝜋𝑗 = lim 𝑃(𝑍𝑛 = 𝑗 |𝑍0 = 𝑖) , 0 ≤ 𝑖, 𝑗 ≤ 𝑁.

𝑛→∞
Por outro lado, a cadeia tem a seguinte distribuição limite
𝑏 𝑎
(𝜋0 , 𝜋1 ) = ( , ),
𝑎+𝑏 𝑎+𝑏
Enquanto a quantidade média de retornos é dada por
𝑎+𝑏 𝑎+𝑏
(𝜇0 (0), 𝜇1 (1)) = ( , ).
𝑏 𝑎
Isto é, as probabilidades limitantes são dadas pelo inverso do número médio de
retornos e isto não é uma simples concidência, pois, na verdade, é uma
consequência de um resultado mais geral que mostra que quanto mais tempo,
em média, a cadeia leva para retornar ao estado, menor é a probabilidade de
encontrar a cadeia naquele estado.
Vale lembrar que 𝜋𝑖 é a probabilidade, a longo prazo, da cadeia estar no
estado 𝑖, enquanto 𝜋 = [𝜋1 , … , 𝜋𝑛 ] representa o vetor de probabilidades a longo
prazo da cadeia, isto é, a distribuição de probabilidades de cada estado a longo
prazo.
Teorema: Considere uma Cadeia de Markov {𝑍𝑛 , 𝑛 ∈ ℕ} que seja recorrente,
aperiódica e irredutível. Portanto, temos que
1
lim P(𝑍𝑛 = 𝑖 |𝑍0 = 𝑗) = , 𝑖, 𝑗 ∈ 𝕊,
𝑛→∞ 𝜇𝑖 (𝑖)
onde
𝜇𝑖 (𝑖) = 𝔼[𝑇𝑖𝑟 |𝑍0 = 𝑖] ∈ [1, ∞]
é o tempo médio de retorno ao estado 𝑖 ∈ 𝕊.

Definição: A distribuição de probabilidades de 𝕊, isto é, a família 𝜋 = (𝜋𝑖 )𝑖∈𝕊 é
tal que
∑ 𝜋𝑖 = 1
𝑖∈𝕊
é dita ser estacionária se, começando em 𝑍0 no instante 0, com distribuição
(𝜋𝑖 )𝑖∈𝕊 , concluirmos que a distribuição 𝑍1 também é (𝜋𝑖 )𝑖∈𝕊 no instante 1.
Em outras palavras, (𝜋𝑖 )𝑖∈𝕊 é estacionaria para a cadeia de Markov com
matriz de transição P, se, ao tomarmos 𝑃(𝑍0 = 𝑖) ≔ 𝜋𝑖 , no instante 0, isto
implicar que 𝑃(𝑍1 = 𝑖) = 𝑃(𝑍0 = 𝑖) = 𝜋𝑖 no instante 1. Isto também significa que
𝜋𝑗 = 𝑃(𝑍1 = 𝑗) = ∑ 𝑃(𝑍1 = 𝑗 |𝑍0 = 𝑖). 𝑃(𝑍0 = 𝑖) = ∑ 𝜋𝑖 𝑃𝑖,𝑗 𝑐𝑜𝑚 𝑗 ∈ 𝕊,

𝑖∈𝕊 𝑖∈𝕊
isto é, a distribuição 𝜋 é estacionária se, e só se, é invariante por P, o que
significa que
𝜋 = 𝜋𝑃.
Observe que os conceitos de cadeias estacionárias e com distribuições
limitantes são conceitos consideravelmente diferentes, isto é, se a cadeia iniciar
numa distribuição estacionária, então permanecerá nessa distribuição em
qualquer instante subsequente, o que é consideravelmente mais “forte” que dizer
que a cadeia voltará a esta distribuição após um número infinito de passos. Por
outro lado, para atingir a distribuição limitante, a cadeia poderia ter iniciado em
qualquer distribuição de probabilidades, ou até outro estado fixado, que sempre
convergirá para a distribuição limitante, se esta existir.
Proposição: Assumindo que 𝕊 = {0,1,2, … , 𝑁} é finito e que a distribuição
limitante 𝜋𝑗 = lim 𝑃(𝑍𝑛 = 𝑗 |𝑍0 = 𝑖), 𝑖, 𝑗 ∈ 𝕊 existe e é independente de 𝑖 ∈ 𝕊,

𝑛→∞
temos que
𝜋0 ⋯ 𝜋𝑁
lim 𝑃 = [ ⋮
𝑛 ⋱ ⋮ ].
𝑛→∞
𝜋0 ⋯ 𝜋𝑁
Então, 𝜋 = (𝜋𝑗 )𝑗∈𝕊 é uma distribuição estacionária e temos 𝜋 = 𝜋𝑃, isto é, 𝜋 é
invariante por P.
Prova: Tomemos 𝜋𝑗 : = lim 𝑃(𝑍𝑛 = 𝑗 |𝑍0 = 𝑖)

𝑛→∞
𝜋𝑗 = lim ∑ 𝑃(𝑍𝑛+1 = 𝑗 |𝑍𝑛 = 𝑙). 𝑃(𝑍𝑛 = 𝑙 |𝑍0 = 𝑖)

𝑛→∞
𝑙∈𝕊
𝜋𝑗 = lim ∑ 𝑃𝑙,𝑗 . 𝑃(𝑍𝑛 = 𝑙 |𝑍0 = 𝑖)

𝑛→∞
𝑙∈𝕊
𝜋𝑗 = ∑ 𝑃𝑙,𝑗 . lim 𝑃(𝑍𝑛 = 𝑙 |𝑍0 = 𝑖) = ∑ 𝜋𝑙 𝑃𝑙,𝑗 𝑐𝑜𝑚 𝑖, 𝑗 ∈ 𝕊,

𝑛→∞
𝑙∈𝕊 𝑙∈𝕊
onde só foi possível comutarmos o limite e o somatório porque tomamos o estado
de espaços 𝕊 finito, o que mostra, portanto, que 𝜋 = 𝜋𝑃, isto é, conclui a prova
do teorema e mostra que 𝜋 é uma distribuição estacionária. ∎
Teorema: Tomemos uma cadeia de Markov {𝑍𝑛 , 𝑛 ∈ ℕ} que tenha recorrência
positiva, seja aperiódica e irredutível. Então, a cadeia admite a seguinte
distribuição limite
1
𝜋𝑖 ≔ lim 𝑃(𝑍𝑛 = 𝑖 |𝑍0 = 𝑗) = lim [𝑃𝑛 ]𝑗,𝑖 = , 𝑖, 𝑗 ∈ 𝕊,
𝑛→∞ 𝑛→∞ 𝜇𝑖 (𝑖)
1
onde a distribuição estacionária (𝜋𝑖 )𝑖∈𝕊 = (𝜇 (𝑖)) é unicamente determinada
𝑖 𝑖∈𝕊
pela equação 𝜋 = 𝜋𝑃.
Exemplo: Uma loja da câmeras fotográficas armazena um modelo de câmera
que pode ser comprada semanalmente do fornecedor. 𝐷1 , 𝐷2 , … representa a
demanda para esta câmera durante a semana 1, 2, ..., respectivamente, sendo
DEMANDA o número de unidades que deveriam ser vendidas se o estoque não
é esgotado. É assumido que 𝐷𝑖 são variáveis randômicas independentes e

identicamente distribuídas, tendo uma distribuição de Poisson com média igual
a 1. Dado 𝑋0 representar o número de câmeras inicialmente, 𝑋1 o número de
câmeras ao final da semana 1 e assim por diante. Assume-se que 𝑋0 = 3. No
sábado à noite a loja faz o pedido de câmeras para o fornecedor, que realizará
a entrega apenas na próxima segunda-feira. A loja utiliza a seguinte política de
compra: se não há câmeras no estoque, a loja compra 3 câmeras, entretanto, se
há alguma câmera no estoque, nenhuma câmera é comprada pela loja. Vendas
são perdidas quando a demanda excede o estoque. Assim, {𝑋𝑡 ; 𝑡 = 0, 1, 2, … } é
um processo estocástico e os estados possíveis do processo são os inteiros não-
negativos. Neste exemplo, 𝕊 = { 0,1,2,3}. A matriz de transição deste processo é
dada por
0,080 0,184 0,368 0,368

0,632 0,368 0 0
𝑃1 = [ 0,368 0 ].
0,264 0,368
0,080 0,184 0,368 0,368
Mas, observe que
0,286 0,285 0,264 0,166

0,286 0,285 0,264 0,166
𝑃8 = [ ],
0,286 0,285 0,264 0,166
0,286 0,285 0,264 0,166
isto é, todas as linhas da matriz 𝑃8 são aproximadamente iguais (neste caso,
iguais apenas proque consideramos os cálculos até a terceira casa decimal) e
serão absolutamente iguais em 𝑃𝑛 , 𝑛 → ∞. Se todas as linhas da matriz de
transição são iguais, o processo torna-se absolutamente independente da
distribuição de probabilidade inicial, representada pelo vetor de probabilidades
𝜋0 .
Neste caso, isso implica que, a longo prazo, o estado do estoque é
independente do estado inicial 𝑋0 = 3.

Os gráficos abaixo representam o vetor de probabilidade de estado em
função do tempo para 𝑋0 = 0, 1, 2, 3. Note que, independentemente do estado
inicial, a distribuição é praticamente a mesma nos gráficos abaixo, a longo prazo.
Referência: Modelagem e Simulação – Cadeias de Markov – NOGUEIRA, Fernando, pág. 17.
A matriz de transição irá estabilizar os valores de seus elementos a longo período
se a cadeia de Markov for ergódica e irredutível, o que, por sua vez, implica na
existência de lim [𝑃𝑛 ]𝑖,𝑗 = 𝜋𝑗 > 0, onde os valores 𝜋𝑗 satisfazem unicamente as

𝑛→∞
equações de estados estáveis,

𝑀
𝜋𝑗 = ∑ 𝜋𝑗 [𝑃]𝑖,𝑗 𝑝𝑎𝑟𝑎 𝑗 = 0,1,2, … , 𝑀,

𝑖=0
𝑀
∑ 𝜋𝑗 = 1 , 𝑝𝑎𝑟𝑎 𝑗 = 0,1,2, … , 𝑀.
𝑗=0
Note que tais expressões compõe um sistema de M+2 equações e M+1
incógnitas, portanto, no mínimo uma equaçaõ é redudante e pode, portanto, ser

excluída no sistema, mas a equação ∑𝑀

𝑗=0 𝜋𝑗 = 1 é a única que não pode ser
excluída, por conta de seu caráter de normalização do sistema. Retomando o
exemplo, temos o seguinte sistema:
𝜋0 = 𝜋𝑝0,0 + 𝜋1 𝑝1,0 + 𝜋2 𝑝2,0 + 𝜋3 𝑝3,0

𝜋1 = 𝜋0 𝑝0,1 + 𝜋1 𝑝1,1 + 𝜋2 𝑝2,1 + 𝜋3 𝑝3,1
𝜋2 = 𝜋0 𝑝0,2 + 𝜋1 𝑝1,2 + 𝜋2 𝑝2,2 + 𝜋3 𝑝3,2 .
𝜋3 = 𝜋0 𝑝0,3 + 𝜋1 𝑝1,3 + 𝜋2 𝑝2,3 + 𝜋3 𝑝3,3
{ 𝜋0 + 𝜋1 + 𝜋2 + 𝜋3 = 1
Igualando as quatro primeiras equações a zero e resolvendo o sistema, temos
que a solução é
𝜋 = [𝜋0 , 𝜋1 , 𝜋2 , 𝜋3 ] = [0.286; 0.285; 0.263; 0.166].
A partir disso, podemos, ainda, afirmar que a matriz de transição 𝑃𝑛 , 𝑛 → ∞ é
𝜋∞ 𝜋0 𝜋1 𝜋2 𝜋3 0,286 0,285 0,264 0,166

∞ 𝜋 𝜋1 𝜋2 𝜋3 0,286 0,285 0,264 0,166
lim 𝑃𝑛 = [𝜋 ∞ ] = [𝜋0 𝜋1 𝜋2 𝜋3 ] = [0,286 ].
𝑛→∞ 𝜋 0 0,285 0,264 0,166
𝜋 ∞ 𝜋0 𝜋1 𝜋2 𝜋3 0,286 0,285 0,264 0,166
Vale ressaltar que lim 𝑃𝑛 só pode ser obtido desta maneira porque a cadeia é
𝑛→∞
ergódica e irredutível, o que garante que todas as linhas de lim 𝑃𝑛 serão

𝑛→∞
idênticas.
Note que, se considerarmos somente as 3 primeiras casas decimais (algo que,
matematicamente, é bem grosseiro), temos que lim 𝑃𝑛 = 𝑃8 .

𝑛→∞
No entanto, a intenção de se calcular lim 𝑃𝑛 é sempre importante, mesmo que

𝑛→∞
as linhas não sejam idênticas. O seguinte exemplo deixa claro essa importância:
Exemplo: Uma cadeia de Markov possui a seguinte matriz de transição
1 0 0
𝑃=[ 0 1 0 ].
0.3 0.2 0.5
Escrevendo o sistema através das equações

𝜋𝑗 = ∑ 𝜋𝑗 [𝑃]𝑖,𝑗 𝑝𝑎𝑟𝑎 𝑗 = 0,1,2, … , 𝑀,

𝑖=0
𝑀
∑ 𝜋𝑗 = 1 , 𝑝𝑎𝑟𝑎 𝑗 = 0,1,2, … , 𝑀,
𝑗=0
temos que:
𝜋0 = 𝜋0 + 𝜋2 . 0,3
𝜋1 = 𝜋1 + 𝜋2 . 0.2
𝜋2 = 𝜋2 . 0,5 .
{1 = 𝜋0 + 𝜋1 + 𝜋2
A solução do sistema resulta em 𝜋0 + 𝜋1 = 1 e 𝜋2 = 0 e, consequentemente, não
existe uma solução determinada para 𝜋0 e 𝜋1 . Como se pode notar, as linhas
de lim 𝑃𝑛 não são iguais e, por isso, os valores de 𝜋0 e 𝜋1 não são determinados
𝑛→∞
unicamente. Esse fato ocorreu devido a esta cadeia de Markov não ser
irredutível.
1.9 Processo de Nascimento e Morte

Definição: Uma cadeia de Markov homogênea e irredutível, de parâmetro
contínuo, é denominada um Processo de Nascimento e Morte se, para todo 𝑛 >
ℙ[𝑍1 = 𝑛 + 1 |𝑍𝑛 = 𝑛] = 𝜆𝑛
ℙ[𝑍1 = 𝑛 − 1 |𝑍𝑛 = 𝑛] = 1 − 𝜆𝑛 = 𝜇𝑛
ℙ[𝑍1 = 𝑘 |𝑍𝑛 = 𝑛] = 0, ∀ 𝑘 ≠ 𝑛 − 1, 𝑛 + 1.
Em outras palavras, as únicas transições permitidas, a partir de um
determinado estado 𝑛, são as transições para seus estados vizinhos 𝑛 + 1 e 𝑛 −
1. Quando a transição ocorre para 𝑛 + 1, representa um nascimento e, para o
estado 𝑛 − 1, uma morte.

Para os processos de Nascimento e morte, as seguintes hipóteses são
válidas:
1. No instante inicial 𝑡0 = 0, o sistema está vazio;
2. Nascimentos e mortes são eventos estatisticamente independentes;
3. Dado que o sistema está no estado 𝑛, no intervalo de tempo (𝑡, 𝑡 + Δ𝑡),
com Δ𝑡 tão pequeno quanto se queira, a probabilidade de ocorrer
𝑎) um nascimento é igual a 𝜆𝑛 Δ𝑡 + 𝑜(Δ𝑡)
𝑏) uma morte é igual a 𝜇𝑛 Δ𝑡 + 𝑜(Δ𝑡)
𝑜(Δt)
𝑐) mais de um evento é desprezível e igual a 𝑜(Δt), onde lim =
Δt→∞ Δt
0.
Usando a notação 𝑃𝑖𝑛 (Δt) = ℙ[𝑜𝑐𝑜𝑟𝑟ê𝑛𝑐𝑖𝑎 𝑑𝑒 𝑖 𝑛𝑎𝑠𝑐𝑖𝑚𝑒𝑛𝑡𝑜 𝑒𝑚 Δt] e
𝑃𝑗𝑚 (Δt) = ℙ[𝑜𝑐𝑜𝑟𝑟ê𝑛𝑐𝑖𝑎 𝑑𝑒 𝑗 𝑚𝑜𝑟𝑡𝑒𝑠 𝑒𝑚 Δt], a terceira hipótese pode ser
reescrita como
𝑃1𝑛 (Δt) = 𝜆𝑛 Δt + o(Δt), ∀n = 0,1,2, … (1.9.1)
𝑃𝑚1 (Δt) = 𝜇𝑛 Δt + o(Δt) ∀𝑛 = 1,2, … (1.9.2)
𝑃𝑖𝑛 (Δt)P𝑗m (Δt) = 𝑜(Δt), ∀ i, j | (i + j) > 1 . (1.9.3)
Destas equações, obtêm-se as probabilidades de não haver nascimento (a
primeira) e de não haver mortes (a segunda)
𝑃0𝑛 (Δt) = 1 − 𝜆𝑛 Δt − o(Δt) ∀ 𝑛 = 0,1,2, … (1.9.4)
𝑃0𝑚 (Δt) = 1 − 𝜇𝑛 Δt − o(Δt) ∀ 𝑛 = 1,2, … (1.9.5)
Com essas hipóteses, determinam-se, para todo n, as probabilidades 𝑃𝑛 do
processo, dividindo-se o intervalo de observação (0, 𝑡 + Δt) em dois sub-
intervalos disjuntos [0, 𝑡)𝑒 (𝑡, 𝑡 + Δt), verifica-se que o sistema está no estado
𝑛 > 0 no instante 𝑡 + Δt, para Δt pequeno, se ocorre um dos seguintes eventos
mutuamente excludentes:
1. No instante t, o sistema está no estado 𝑛 e, no intervalo de tempo (𝑡, 𝑡 +
Δt), não há nenhum nascimento e nenhuma morte;
2. No instante t, o sistema está no estado 𝑛 − 1 e, no intervalo de tempo
(𝑡, 𝑡 + Δt) há um nascimento e não há morte.
3. No instante t, o sistema está no estado 𝑛 + 1 e, no intervalo de tempo
(𝑡, 𝑡 + Δt), há uma morte e não há nascimento.
O sistema está no estado 𝑛 = 0 no instante 𝑡 + Δt, para Δt pequeno se
ocorre um dos seguintes eventos mutuamente excludentes:
1. No instante t, o sistema está no estado 𝑛 e, no intervalo de tempo (𝑡, 𝑡 +
Δt), não há nenhum nascimento.
2. No instante t, o sistema está no estado 𝑛 + 1 e, no intervalo de tempo
(𝑡, 𝑡 + Δt), há uma morte e nenhum nascimento.
Podemos, portanto, agora, calcular a probabilidade do sistema estar no
estado 𝑛 no instante (𝑡, 𝑡 + Δt):
𝑃𝑛 (𝑡 + Δt) = 𝑃𝑛 (𝑡)𝑃0𝑛 (Δt)P0m (Δt) + 𝑃𝑛−1 (𝑡)𝑃1𝑛 (Δt)P0m (Δt)
+ Pn−1 (𝑡)𝑃0𝑛 (Δt)P1m (Δt) ∀𝑛 ≥ 1 .
E, ainda,
𝑃0 (𝑡 + Δt) = 𝑃1 (𝑡)𝑃0𝑛 (Δt)P1m (Δt) + P0 (𝑡)𝑃0𝑛 (Δt) + o(Δt)
Substituindo as equações 1.9.1, 1.9.2, 1.9.3, 1.9.4 e 1.9.5 nas equações
acima, temos que
𝑃𝑛 (𝑡 + Δt) = Pn (𝑡)[1 − 𝜆𝑛 − 𝑜(Δt)][1 − μn Δt − o(Δt)]
+ 𝑃𝑛−1 (𝑡)[𝜆𝑛−1 Δt + o(Δt)][1 − μn−1 − 𝑜(Δt)]
+ 𝑃𝑛+1 (𝑡)[1 − 𝜆𝑛+1 − 𝑜(Δt)][μn+1 Δt − o(Δt)] + 𝑜(Δt)
= 𝑃𝑛 (𝑡) − 𝜆𝑛 ΔtPn (𝑡) − 𝜇𝑛 ΔtPn (𝑡) + 𝑃𝑛−1 (𝑡)𝜆𝑛−1 Δt + Pn+1 (𝑡)𝜇𝑛+1 Δt + o(Δt) ∀ 𝑛 ≥ 1
E, ainda,
𝑃0 (𝑡 + Δt) = 𝑃0 (𝑡)[1 − 𝜆0 Δt − o(Δt)] + P1 (𝑡)[1 − λ1 Δt − o(Δt)][μ1 Δt + o(Δt)]
+ 𝑜(Δt) = 𝑃0 (𝑡) − 𝜆0 Δt + μ1 ΔtP1 (𝑡) + 𝑜(Δt).
Lembrando que (Δt)2 ≅ 𝑜(Δt) e 𝑜(Δt) . Δt ≅ o(Δt). Das duas últimas
equações, obtêm-se:
𝑃𝑛 (𝑡 + Δt) − 𝑃𝑛 (𝑡) 𝑜(Δt)

= −𝜆𝑃𝑛 (𝑡) − 𝜇𝑃𝑛 (𝑡) + 𝜆𝑛−1 𝑃𝑛−1 (𝑡) + 𝜇𝑛+1 𝑃𝑛+1 (𝑡) + ,
Δt Δt
e, também,
𝑃0 (𝑡 + Δt) − P0 (𝑡) 𝑜(Δt)

= −𝜆0 𝑃0 (𝑡) + 𝜇1 𝑃1 (𝑡) + ∀ 𝑛 ≥ 1.
Δt Δ(t)
Tomando os limites quando Δt → 0, temos:
𝑑
𝑃 (𝑡) = 𝜆𝑛 𝑃𝑛 (𝑡) − 𝜇𝑛 𝑃𝑛 (𝑡) + 𝜆𝑛−1 𝑃𝑛−1 (𝑡) + 𝜇𝑛−1 𝑃𝑛−1 (𝑡) ∀𝑛 ≥ 1
𝑑𝑡 𝑛
𝑑
𝑃 (𝑡) = −𝜆0 𝑃0 (𝑡) + 𝜇1 𝑃1 (𝑡),
𝑑𝑡 𝑛
que formam um sistema infinito de equações diferenciais que representam as
probabilidades dos estados do sistema.
Como o processo de nascimento e morte é uma cadeia irredutível, existe
um tempo 𝑡′ a partir do qual o processo entra no regime estacionário, mantendo
as características estáveis. Neste caso,
𝑑
𝑃 (𝑡) = 0 ∀𝑛, ∀𝑡 > 𝑡 ′ .
𝑑𝑡 𝑛
Dessa forma, o sistema de equações diferenciais se converte no sistema de
equações algébricas
0 = −𝜆𝑛 𝑃𝑛 − 𝜇𝑛 𝑃𝑛 + 𝜆𝑛−1 𝑃𝑛−1 + 𝜇𝑛+1 𝑃𝑛+1 (1.9.6)
0 = −𝜆0 𝑃0 + 𝜇1 𝑃1 . (1.9.7)
Se reorganizarmos a primeira equação deste sistema, temos
𝜆𝑛 𝑃𝑛 − 𝜇𝑛+1 𝑃𝑛+1 = 𝜆𝑛−1 𝑃𝑛−1 − 𝜇𝑛 𝑃𝑛 ∀𝑛 ≥ 1,
e, usando recorrência,
𝜆𝑛 𝑃𝑛 − 𝜇𝑛+1 𝑃𝑛+1 = 𝜆𝑛−1 𝑃𝑛−1 − 𝜇𝑛 𝑃𝑛 = 𝜆𝑛−2 𝑃𝑛−2 − 𝜇𝑛−1 𝑃𝑛−1
= 𝜆0 𝑃0 − 𝜇1 𝑃1 . (1.9.8)
De (1.9.7) e (1.9.8), temos que
𝜆𝑛−1 𝑃𝑛−1 − 𝜇𝑛 𝑃𝑛 = 0 ∀𝑛 ≥ 1,
então,
𝜆𝑛−1 𝜆𝑛−1 𝜆𝑛−2 𝜆𝑛−1 𝜆𝑛−2 … 𝜆0

𝑃𝑛 = 𝑃𝑛−1 = 𝑃𝑛−2 = ⋯ = 𝑃,
𝜇𝑛 𝜇𝑛 𝜇𝑛−1 𝜇𝑛 𝜇𝑛−1 𝜇𝑛−2 … 𝜇1 0
de onde se conclui que

𝑛
𝜆𝑖 − 1
𝑃𝑛 = 𝑃0 ∏ ,𝑛 ≥ 1 . (1.9.10)
𝜇𝑖
𝑖=1
Como ∑𝑛≥0 𝑃𝑛 = 1, concluímos:
1
𝑃0 = , (1.9.11)
𝜆𝑖 − 1
1 + ∑𝑛≥1 ∏𝑛𝑖=1 𝜇𝑖
com a condição, claro, de que a soma do denominador seja convergente.
A partir das equações (1.9.10) e (1.9.11) têm-se a distribuição limite dos
estados do sistema, que também é a distribuição do estado do regime
estacionário do processo, totalmente determinada pelas taxas de nascimento e
morte.
As equações (1.9.6) e (1.9.7) são chamadas equações de equilíbrio, onde
o princípio da conservação de energia é válido, ou seja, para cada estado, “o
fluxo que entra é igual ao fluxo que sai”.
Dessa forma, para qualquer estado 𝑛 ≥ 1, tem-se:
𝜆𝑛−1 𝑃𝑛−1 + 𝜇𝑛+1 𝑃𝑛+1 = 𝜆𝑛 𝑃𝑛 ,
e, para cada estado 𝑛 = 0,
𝜆0 𝑃0 = 𝜇1 𝑃1 .
1.10 Processo de Poisson

Um processo de Poisson, ou um processo de Nascimento puro, é uma
cadeia de Markov de parâmetro contínuo onde a única mudança permitida a
partir de qualquer estado 𝑛 é para o estado 𝑛 + 1 e se processa a uma taxa
constante, então, esse processo pode ser modelado de forma análoga ao
processo de Nascimento e Morte, considerando-se as taxas de nascimento 𝜆𝑛 =
𝜆 ∀𝑛 e as taxas de morte 𝜇𝑛 = 0 ∀𝑛 ≥ 1.
Para o processo de Poisson, as hipóteses consideradas para o processo
de Nascimento e Morte são válidas e a saber:
1. No instante inicial 𝑡0 = 0 , o sistema está vazio.
2. Dado que o sistema está no estado 𝑛 , no intervalo de tempo (𝑡, 𝑡 + Δt),
com Δt tão pequeno quanto se queira, a probabilidade de ocorrer:
a) um nascimento é igual a 𝜆𝑛 Δt + o(Δt)
b) Mais de um evento (nascimentos) é desprezível e igual a o(Δt),
𝑜(Δt)
onde lim = 0.
Δt→0 Δt
As hipóteses 2a) e 2c) acima podem ser reescritas como
𝑃1 (Δt) = λΔt + o(Δt) (1.10.1)
𝑃𝑖 (Δt) = 𝑜(Δt) ∀ 𝑖 ≥ 1 . (1.10.2)
A partir desta equações, temos que, usando o Teorema da Probabilidade Total:
𝑃𝑛 (𝑡 + Δt) = 𝑃𝑛 (𝑡)𝑃0 (Δt) + Pn−1 (𝑡)𝑃1 (Δt) + o(Δt)
= (1 − 𝜆Δt)Pn (𝑡) + 𝜆ΔtPn−1 (𝑡) + 𝑜(Δt) ∀𝑛 ≥ 1,
o que implica que
𝑃𝑛 (𝑡 + Δt) = 𝑃0 (𝑡)𝑃0 (Δt) + o(Δt) = P0 (𝑡)(1 − 𝜆Δt) + o(Δt).
Usando um procedimento análogo àquele usado para processos de Nascimento
e Morte, pode-se escrever:


= −𝜆𝑃𝑛 (𝑡) + 𝜆𝑃𝑛−1 (𝑡) + ∀𝑛 ≥ 1
Δt Δt

= −𝜆𝑃0 (𝑡) + ,
Δt Δt
e, tomando-se o limite quando Δt → 0, têm-se que
𝑑
𝑃 (𝑡) = −𝜆[𝑃𝑛 (𝑡) − 𝑃𝑛−1 (𝑡)] ∀𝑛 ≥ 1
𝑑𝑡 𝑛
𝑑
𝑃 (𝑡) = −𝜆𝑃0 (𝑡) , (1.10.3)
𝑑𝑡 0
que constituem um sistema infinito de equações diferecinais. A solução da
equação (1.10.3) é dada por:
𝑃0 (𝑡) = 𝑒 −𝜆𝑡 .
Resolvendo (1.10.3) recorrentemente, temos
𝑃1 (𝑡) = 𝜆𝑡𝑒 −𝜆𝑡
(𝜆𝑡)2 𝑒 −𝜆𝑡
𝑃2 (𝑡) =
2!
(𝜆𝑡)3 𝑒 −𝜆𝑡
𝑃3 (𝑡) =
3!
de onde, por indução, concluímos que
(𝜆𝑡)𝑛 𝑒 −𝜆𝑡
𝑃𝑛 (𝑡) = ∀𝑛 ≥ 0.
𝑛!
Observa-se que a variável aleatória discreta que representa o estado do
processo em um intervalo de comprimento 𝑡 segue uma distribuição de Poisson
de parâmetro 𝜆𝑡, com valor esperado dado por
𝔼[𝑁(𝑡)] = 𝜆𝑡.
O processo de Poisson pode ser descrito de forma equivalente pela
caracterização do tempo entre mudanças sucessivas como uma variável

aleatória exponencial. Vale ressaltar que esta distribuição (exponencial) é a
única distribuição contínua com a propriedade Markoviana, isto é, com ausência
de memória, isto é, dada uma informação do presente sobre a variável aleatória,
os estados futuros independem dos estados anteriores.
2.0 Aplicações
2.1 A modelagem dos jogos de baseball

Muitos fãns de baseball estudam com cuidado as estatísticas de seus
times favoritos, bem como a própria comissão técnica estuda os dados
individuais dos jogadores para determinar uma estratégia ao longo dos jogos.
Este capítulo mostra como uma cadeias de Markov poderia ser usada para
prever os números de pontos que um time conseguiria fazer e compará-lo às
habilidades ofensivas de outros jogadores.
A cadeia de Markov que construiremos nos permitirá analizar como as
corridas são pontuadas durante o jogo. Os estados da cadeia significarão as
diversas configurações dos corredores nas bases e o número de bolas foras.O
primeiro estado na coluna esquerda da Tabela 1 (nenhuma base ocupada, 0
outs) é o estado inicial da cadeia, onde o primeiro half-inning começa, isto é,
quando um time está na batida. Os quatro estados na última coluna à direita
descrevem as diversas maneiras que um half-inning pode terminar, isto é,
quando a terceira bola fora acontece e os times mudam de lugar.
Matematicamente, a cadeia de Markov continua em um dos quatro últimos
estados e, portanto, cada um desses quatro estados é um estado de absorção e

os outros 24 estados são transientes, pois sempre que uma bola fora acontece,
um estado com menos bolas foras não poderá acontecer.
A cadeia de Markov move-se de um estado para outro por conta das
ações dos batedores. As probabilidades de transição da matriz são as
probabilidades de ocorrerem outs por conta das ações dos batedores. Para
modelarmos, suporemos que as probabilidades de transição permanecem as
mesmas, independentemente dos batedores. O modelo assume, ainda, que
apenas as ações dos batedores determinam como os corredores se movem
pelas bases, isto é, bases roubadas, wild pitches e bolas passadas não são
consideradas. Ainda assim, erros humanos dos jogadores em campo não são
previstos, e, portanto, o modelo apenas calcula corridas conquistadas, isto é,
pontuações conquistadas sem qualquer benefício por erros de outros jogadores.
De maneira simplificada, o modelo permite, apenas, 7 possibilidades de
resultados numa partida: um single (chegar à primeira base e parar lá), um
double (chegar à segunda base), um triple (chegar à terceira base), um home
run, um walk (avançar para a primeira base sem atingir a bola), um hit batsman
(a pitched ball atinge o batedor e o batedor avança para a primeira base) e um
out. O modelo não assume duplas ou triplas jogadas e sacrifícios, apesar de ser
possível construir modelos markovianos que considerem estes eventos
excluídos.
2.1.1 Construindo a matriz de
transição
A matriz de transição 28 x 28 da cadeia de Markov tem a forma canônica:
𝐼4 𝑆
𝑃=[ ],
𝑂 𝑄
onde 𝐼4 é uma matriz identidade 4x4, porque os únicos estados recorrentes são
os 4 estados absorventes, onde um deles é atingido depois do terceiro out. S é
uma matriz 4x24 e Q é uma subestocástica matriz 24x24. As colunas de S e Q
correspondem aos estados transitórios, cujo objetivo é mostrar o que consta na
tabela 1. As entradas de S descrevem as transições dos 24 estados transitórios
(com 0, 1 ou 2 outs) para o estado absorvente (com 3 outs). Note que a única
maneira de entrar num estado absorvente é vindo de um estado com 2 outs.

Seja 𝑝0 a notação para a probabilidade do batedor fazer um outs. Então,
S será escrita em forma de bloco, com três blocos 4x8, isto é:
𝑆 = [𝑂 𝑂 𝑋],
onde
0: 2 1:2 2:2 3:2 12:2 13:2 23:2 123:2

𝑝0 0 0 0 0 0 0 0 0:3
𝑋= 0 𝑝0 𝑝0 𝑝0 0 0 0 0 1:3
0 0 0 0 𝑝0 𝑝0 𝑝0 0 2:3
0 0 0 0 0 0 0 𝑝0 3:3
A matriz X descreve as transições dos estados transientes com 2 outs
para o estado de absorção com 3 outs. (Como exemplo, as colunas 2,3 e 4 listam
as probabilidades do batedor fazer o terceiro out quando um corredor estiver em
uma das três bases). A matriz subestocástica Q é formada por blocos 8x8, da
forma:
0 1 2
𝐴 𝑂 𝑂 0
𝑄 = [𝐵 𝐴 𝑂 ] 1
𝑂 𝐵 𝐴 2
As linhas e colunas de Q representam o número de outs. Os quatro blocos
nulos, em Q, refletem o fato do número de outs jamais conseguir passar de 1
para 0, de 2 para 0 ou 1, ou de 0 diretamente para 2, em um único passo. A
matriz A descreve como a variação na configuração das bases muda quando o
número de outs permanece o mesmo.
As entradas de A e B dependem de como a ação do batedor afeta os
corredores que, eventualmente, estejam nas bases. O modelo markoviano
apresentado aqui considera as suposições da Tabela 2.

As entradas nas matrizes 8x8 de A e B são construídas a partir das
probabilidades dos 6 eventos causados pelos batedores na Tabela 2.
Denotaremos tais probabilidades por 𝑝𝑤 , 𝑝1 , 𝑝2 , 𝑝3 , 𝑝𝐻 , 𝑝0 , respectivamente. A
notação 𝑝0 foi introduzida alguns parágrafos atrás, ao longo da construção da
matriz S.
A matriz 8x8 B envolve as mudanças dos estados quando o número de
outs aumenta. Neste caso, a configuração dos corredores nas bases não muda
(Vide Tabela 2). Neste caso,
𝐵 = 𝑝0 𝐼,
onde 𝐼 é a matriz identidade 8x8.
A matriz A consiste nas situações onde o batedor não faz um out e
também não tem sucesso em atingir uma base ou fazer um home-run. A
construção de A é discutida no exemplo 1. As linhas e colunas de A
correspondem aos estados descritos na Tabela 2. Aqui, 𝑘 é um número fixado
de outs: 0, 1 ou 2.
0: 𝑘 1:k 2:k 3:k 12:k 13:k 23:k 123:k

𝑝𝐻 𝑝𝐻 𝑝𝐻 𝑝𝐻 𝑝𝐻 𝑝𝐻 𝑝𝐻 𝑝𝐻 0:k
𝑝𝑤 + 𝑝1 0 0,5𝑝1 𝑝1 0 0 0,5𝑝1 0 1:k
𝑝2 0 𝑝2 𝑝2 0 0 𝑝2 0 2:k
𝑋= 𝑝3 𝑝3 𝑝3 𝑝3 𝑝3 𝑝3 𝑝3 𝑝3 3:k
0 𝑝𝑤 + 𝑝1 𝑝𝑤 0 0,5𝑝1 𝑝1 0 0,5𝑝1 12:k
0 0 0,5𝑝1 𝑝𝑤 0 0 0,5𝑝1 0 13:k
0 𝑝2 0 0 𝑝2 𝑝2 0 𝑝2 23:k
0 0 0 0 𝑝𝑤 + 0,5𝑝1 𝑝𝑤 𝑝𝑤 𝑝𝑤 + 0,5𝑝1 123:k
As análises no exemplo 1 a seguir requerem dois fatos da teoria de
probabilidades. Se um evento puder ocorrer através de dois caminhos
mutuamente excludentes, com probabilidades 𝑝1 e 𝑝2 , então, a probabilidade
deste evento ocorrer é 𝑝1 + 𝑝2.A probabilidade de dois eventos independentes
acontecerem é o produto das probabilidades de cada um dos eventos acontecer,
separadamente.
Exemplo:
As estatísticas dos resultados do Atlanta Bravis são representadas
conforme a tabela abaixo e, portanto, usaremos tais informações para obter as
probabilidades de transição deste time, em 2002.

Observe que a soma das entradas na tabela é 6107 e este total é o
número de vezes que o Atlanta Bravis esteve na batida ao longo da temporada
de 2002. Pelas duas primeiras colunas, temos 612 walks ou hit batsman, então,
612
𝑝𝑊 = 6107 = 0,1002. Das 6107 vezes que um jogador foi para a batida, conseguiu
959
um single em 959, portanto, 𝑝1 = 6107 = 0,1507. Cálculos similares nos trarão os
valores de 𝑝2 , 𝑝3 , 𝑝𝐻 𝑒 𝑝0.
Agora que os dados para a matriz estocástica estão disponíveis,
conseguimos encontrar quantos runs são esperados do Atlanta Braves durante
um jogo e, portanto, calcularemos, em média, quantos runs são conquistados
pelos Braves durante um half-inning. Primeiro, observe que, uma vez que três
batedores precisam fazer um out para finalizarem um half-inning, o número de
runs conquistados nesse half-inning é dado por
[𝑟𝑢𝑛𝑠] = [𝑏𝑎𝑡𝑒𝑑𝑜𝑟𝑒𝑠] − [𝑐𝑜𝑟𝑟𝑒𝑑𝑜𝑟𝑒𝑠 𝑟𝑒𝑠𝑡𝑎𝑛𝑡𝑒𝑠 𝑛𝑎 𝑏𝑎𝑠𝑒] − 3.
Se R é um número de runs conquistados em um half-inning, B é o número de
batedores e L é o numero de corredores restantes na base, a equação anterior
pode ser reescrita como
𝑅 = 𝐵 − 𝐿 − 3.
A quantidade que nos interessa é 𝔼[𝑅], isto é, o valor esperado do número
de runs conquistados. Pelas propriedades de valor estimado, temos que
𝔼[𝑅] = 𝔼[𝐵] − 𝔼[𝐿] − 3.
Cada batedor move a cadeia de Markov um passo à frente, então, o valor
esperado do número de batedores em um half-inning 𝔼[𝐵] é o valor esperado do
número de passos necessários até se chegar a um estado de absorção (no
terceiro out), quando a cadeia começa no estado inicial “0 bases ocupadas, 0
outs”. Esse estado inicial corresponde à quinta coluna da matriz de transição

𝐼4 𝑆
𝑃=[ ].
𝑂 𝑄
Em termos técnicos, poderíamos dizer que o valor esperado do número de
jogadores que batem em um half-inning é a soma das entradas da coluna
1, na matriz fundamental 𝑴 = (𝑰 − 𝑸)−𝟏 , portanto, 𝔼[𝐵] pode ser calculado e,
também, temos que 𝔼[𝐿] pode ser escrito por
𝔼[𝐿] = 0. 𝑃[𝐿 = 0] + 1. 𝑃[𝐿 = 1] + 2. 𝑃[𝐿 = 2] + 3. 𝑃[𝐿 = 3].
Note que as probabilidades necessárias na equação acima são as
probabilidades de absorção nos quatro estados finais de um half-inning dado que
o estado inicial do sistema é “0 bases ocupadas, 0 outs”, então, as
probabilidades estão na coluna 1 da matriz SM, onde M é a matriz fundamental
da cadeia e 𝑆 = [𝑂 𝑂 𝑋]. As probabilidades podem ser utilizadas para calcular
𝔼[𝐿] e, como consequência, 𝔼[𝑅].
Quando os dados do Atlanta Braves foram utilizados para construir a
matriz de transição, concluímos que a soma da primeira coluna da matriz
fundamental M é 4,5048 e a primeira coluna da matriz SM é
0,3520
0,3309
[ ].
0,2365
0,0805
Conseguimos calcular o número de runs que o Braves pode esperar
conquistar por inning, baseado na perfomance que tiveram em 2002.
Calcularemos, pois, quantos runs o modelo prevê para toda a temporada,

2
considerando que os Braves conquistaram 1443 3 innings, como fizeram em
2002.
A primeira coluna de SM mostra que, por exemplo, a probabilidade dos
Braves não deixarem nenhum corredor na base é 0,3520. O número esperado
de corredores na base é
𝔼[𝐿] = 0. (0,3520) + 1. (0,3309) + 2. (0,2365) + 3. (0,0805) = 1,0454.
O valor esperado de batedores é 𝔼[𝐵] = 4,5048, isto é, a soma das entradas da
primeira coluna de M. O valor esperado de runs 𝔼[𝑅] é
𝔼[𝑅] = 𝔼[𝐵] − 𝔼[𝐿] − 3 = 4,5048 − 1,0454 − 3 = 0,4594.
A cadeia de Markov prevê, portanto, que os Braves terão, em média, 0,4594 runs
2
conquistados por inning. Em 1443 3 innings, o número total de runs conquistados
esperados é
0,4594 𝑥 1443,67 = 663,22.
O número real de runs conquistados pelos Braves em 2002 foi 636, portanto, o
modelo errou por 27,22 runs, isto é, 4,3%.
Modelos matemáticos são utilizados nas principais ligas para comparar as
habilidades ofensivas de jogadores. Para analizá-los por um modelo markoviano,
basta que utilizemos as estatísticas do jogador, ao invés das estatísticas do time,
como fizemos.
2.2 Google Page Rank

A princípio consideraremos que em nossa Internet exista apenas 3 sites
que denotaremos por A, B e C. Dentro destes sites existem links que
redirecionaram o usuário a um site pré-determinado. É natural perguntar qual
destes sites é melhor, mais importante, ou, de maneira mais criteriosa, mais
relevante e, portanto, este deveria ser aquele que aparece no topo da lista de
resultados de um certo buscador, de modo que otimize o tempo gasto pelo

usuário ao realizar a busca. Pelo diagrama abaixo, percebemos que o site B tem
dois links, isto é, existem dois sites que redirecionariam diretamente ao site B, e,
também, percebemos que o site C tem 3 links. Se tratarmos e entendermos a
relevância de um site pelo número de links que levam a ele, poderíamos, pois,
entender este processo como a eleição do melhor site por meio de ums istema
de votos.
Se resumíssemos, numa tabela, os links que levam a cada um desses
sites, teríamos
site votos
A 1
B 2
C 2
Deste modo, concluímos, claramente, que B e C são igualmente
relevantes, mas, imagine só, como poderíamos apresentar os resultados de um
buscador com sites igualmelmente relevantes? Neste universo é, claramente,
possível, entretanto, inaplicável em situações maiores.
Lembramos, neste momento, que, se P é uma matriz de transição regular,
com 𝑚 ≥ 2, então, as conclusões abaixo são verdadeiras:
a) Existe uma matriz estocástica M, tal que lim 𝑃𝑛 = 𝑀.

𝑛→∞
b) Cada coluna de M é o mesmo vetor de probabilidades 𝑞.
c) Para qualquer vetor de probabilidade inicial 𝑥0 , lim 𝑃𝑛 𝑥0 = 𝑞.

𝑛→∞
d) O vetor 𝑞 é o único vetor de probabilidades que é autovetor de P
associado ao autovalor 1.
e) Todos os autovalores 𝜆 de P diferentes de 1 são tais que |𝜆| < 1.
A solução para o problema apresentado foi desenvolvida pelo Google e,
em resumo, é cosniderar que um usuário, estando no site A, tem igual
probabilidade de acessar o site B ou C, isto é
Se escrevêssemos uma matriz de transição com estes valores, teríamos
Note que P é uma cadeia de Markov, considerando que as probabilidades
do usuário sair de um site B para um site C é completamente independente dos
estados anteriores e, além disto, P não é absorvente e é regular, pois 𝑃4 não
possui entradas nulas.
O mais importante, entretanto, é notarmos que 𝑃𝑛 , para n suficientemente
grande, é tal que os vetores colunas são constantes, observe:

É importante notar que, por 𝑃16 , percebemos que a probabilidade do
usuário acessar o site A depois de 16 cliques em links aleatórios é
aproximadamente 0,2, independentemente de onde ele esteja inicialmente.
Por esta análise, concluímos que o site C é o mais relevante, pois a probabilidade
do usuário acessá-lo, após 16 cliques é de aproximadamente 0,4,
independentemente de onde ele esteja inicialmente. Assim sendo, o site C é o
mais relevante, seguido pelo site B e, por fim, o site A.
Mas e o botão ‘Home’?
Pois é, o exemplo anterior não considerava a possibilidade de existir, em
um certo site, um link que fizesse o usuário continuar no próprio site:
Construindo a matriz de transição, temos

e, portanto, calculamos o autovetor de probabilidades, que é dado por
3 5 1 1 1 5
Logo, 𝑉 = (𝑋1 , 4 𝑋1 , 4 𝑋1 ) e, tomando 𝑋1 = 3, temos 𝑉 = (3 , 4 , 2).
É facil ver que, na realidade, a tratativa para sites que contém um botão
do tipo “Home” não é demasiadamente diferente da original, entretanto, e se
optássemos por criar um site APENAS com o botão “Home”? Neste caso, o
usuário, ao chegar no respectivo site, ficaria indefinidamente neste estado,
sendo, portanto, um ponto de absorção. Vejamos:
A matriz de transição é escrita da seguinte forma

Neste caso, é fácil ver que P não é regular e resolveremos o problema do ponto
de absorção da seguinte maneira: Consideramos 𝑝 como a probabilidade de um

1
usuário saltar para uma página aleatória na internet e, neste caso, 𝑝 = 7 e,
portanto, sempre que atingir um ponto de absorção, o usuário saltará,
automaticamente, para uma página aleatória. Com esta informação, podemos
reescrever a matriz P como
e , portanto, tomamos 𝐴 = (1 − 𝑝)𝑃∗ + 𝑝𝑀, onde
.
1
Na prática, seria como se o site estivesse colocando a probabilidade de saltar
𝑛
para um site qualquer.
Iterando-a 11 vezes, de modo que os vetores-coluna estabilizem, obtemos
𝑉 = (0.11, 0.16, 0.19,0.09,0.16,0.16,0.09)
e, portanto, o site C é o mais relevante.
Por fim, consideraremos a seguinte configuração para a Internet:
Esse esquema é interpretado da seguinte maneira: o site A tem 3 links para seu
próprio site e um link direcionado ao C, enquanto este, por sua vez, tem ao todo
8 links, 4 redirecionando para ele mesmo, 2 links para o site A, um para o B e
outro para o D.
As perguntas interessantes a serem feitas neste exemplo são:
a) Se o usuário está em A, quantas vezes, em média, ele voltará ao site
A antes de conhecer B ou D?
b) Se o usuário está em A, quantas vezes, em média, visitará outros sites
antes de conhecer B ou D?
c) Qual seria a probabilidade do usuário, saindo de A, conhecer B?
Montando a matriz de transição para nosso problema, temos que
..
Escrevendo na forma canônica,
3 1
𝑄 = [4 4],
1 1
4 2
assim,
1 1
−
(𝐼 − 𝑄) = [ 4 4],
1 1
−
4 2
e, portanto,
(𝐼 − 𝑄)−1 = [8 4
] = 𝑁.
4 4
Pelo teorema das cadeias absorventes, temos que o usuário passa,
em média, 8 vezes por A antes de conhecer os sites B ou D, partindo de A.
Para responder a segunda pergunta, tomamos
8 4 1
𝑡 = 𝑁𝐶 = [ ] [ ] = (12,8).
4 4 1
Assim, o número esperado de sites que o usuário visite antes de conhecer o site
B ou D, desde que saia de A, é 12.
A última pergunta é respondida tomando
1 1
0 0
8 4 1 1
𝐵 = 𝑁𝑅 = [ ][ ] = [2 2].
4 4 1 1
8 8
2 2
1
Deste modo, a probabilidade do usuário acessar o site B, saindo do site A, é 2.
O PageRank é um mecanismo importante para o Google, mas um site
cuja nota no método do PageRank é baixa não necessariamente tem menor
prestígio. Atualmente, o método que o Google usa é mais avançado e considera
mais coisas. Como, por exemplo, se um site A voltado à música tem um link para
outro site B que, por sua vez, é voltado à matemática, este link de A para B é
quase desprezível, pois estes sites não possuem a mesma base. Os conteúdos
de A não estão muito relacionados aos conteúdos de B. A atualização destas
informações, na base de dados do Google, é feita de 3 em 3 meses, permitindo
uma renovação constante de dados.
Com isso, encerramos a introdução ao algorítmo do PageRank, criada por
Larry Page, em 1995, na Universidade de Stanford. Aos interessados em calcular
o PageRank de algum site, o Google disponibiliza uma ferramenta online. Basta
colocar o endereço do site, que o Google atribiu uma nota em uma escala de 0
a 10. Um meio de medir a relevância de um site, este é o objetivo maior do
PageRank.
2.3 Investimento a longo prazo

Uma curta e, entre as quatro aplicações apresentadas pode-se considerar
a mais simples entre elas, é utilizar os conhecimentos de processos estocásticos
e matrizes de transição para analisar o comportamento de uma sociedade a
longo prazo, cujo objetivo é analisar a viabilidade de investimentos cujo tempo
de retorno é relativamente longo. É importante considerarmos, ainda, que
condições externas àquelas previstas nos dados iniciais não poderão interferir,
sob nenhuma hipótese, nos resultados da cadeia e, portanto, esta condição
acaba por tornar a gama de possibilidades de utilização desta aplicação
relativamente pequena, considerando-se que, por exemplo, atividades políticas
em certo país interferem, diretamente, no comportamento do mercado financeiro
naquele período, dependendo da atividade econômica exercida.
Consideraremos um investidor cujo objetivo é aplicar o dinheiro na
construção de consultórios médicos individuais, em uma das duas cidades, A ou
B e, portanto, nosso objetivo é analisar qual delas seria mais adequada.
Consideraremos, ainda, que as duas cidades possuem um mercado igualmente
competitivo, com relação à oferta x demanda.
O parâmetro que utilizaremos para analisar a viabilidade da instalação
dos consultórios em cada cidade é o número de médicos que existirão em
cada cidade, a longo prazo, afinal, a probabilidade de alugarmos um consultório
médico numa cidade com poucos médicos é, claramente, menor do que em
situação contrária.
Na cidade A, observou-se que:

1. 50% dos filhos de médicos se tornam médicos na vida adulta, 30% se tornam
professores e 20% se tornam advogados.
2. 35% dos filhos de advogados se tornam professores, 25% se tornam médicos
e 40% advogados.
3. 20% dos filhos de professores se tornam professores, 50% se tornam médicos
e 30% se tornam advogados.
Na cidade B, observou-se que:
1. 30% dos filhos de médicos se tornam médicos na vida adulta, 30% se tornam
professores e 40% se tornam advogados.
2. 60% dos filhos de advogados se tornam professores, 25% se tornam médicos
e 15% advogados.
3. 30% dos filhos de professores se tornam professores, 20% se tornam médicos
e 50% se tornam advogados.
As demais profissões representam parcela pequena da distribuição de
empregos nas sociedades locais e, portato, serão desconsideradas para efeitos
de cálculos a longo prazo.
Denotaremos por 𝑇𝐴 𝑒 𝑇𝐵 as matrizes que representam as probabilidades
citadas anteriormente, respectivamente, nas cidades A e B.
0.5 0.3 0.2

𝑇𝐴 = [ 0.2 0.5 0.3],
0.25 0.35 0.4
0.3 0.3 0.4

𝑇𝐵 = [ 0.2 0.3 0.5 ].
0.25 0.6 0.15
Utilizando os conceitos aprendidos anteriormente, vemos que, como as duas
matrizes são regulares, as entregas de 𝑇𝐴𝑛 e 𝑇𝐵𝑛 tendem a se estabilizar, conforme
𝑛 → ∞ e, portanto,
0.307087 0.393701 0.299213

lim 𝑇𝐴 = [0.307087 0.393701 0.299213],
n→∞
0.307087 0.393701 0.299213
0.241803 0.405738 0.352459

lim 𝑇𝐵 = [0.241803 0.405738 0.352459].
𝑛→∞
0.241803 0.405738 0.352459
Observe que estes resultados são obtidos através do autovetor de
probabilidades 𝑢𝐴∗ e 𝑢𝐵∗ que, por sua vez, são obtidos como solução do sistema
linear (𝑇 − 𝐼)𝑣 = 0. Portanto, temos que
𝑢𝐴∗ = (0.307087,0.393701,0.299213),
𝑢𝐵∗ = (0.241803,0.405738,0.352459),
isto é, a longo prazo, o número de médicos na cidade A será maior que o número
de médicos na cidade B e, portanto, considerando-se que quaisquer outras
variáveis não inteferem no processo da cadeia a longo prazo, sugere-se,
claramente, o investimento na construção de consultórios médicos na cidade A.
2.4 Teoria das Filas

Segundo Hillier e Lieberman (1974), a Teoria de Filas estuda a
espera em diversas formas de filas. Tal teoria busca definir maneiras de lidar
mais eficientemente com sistemas de filas. Esta definição é possível a partir da
determinaçãoo da maneira como o sistema de filas funcionará e o tempo médio
de espera nas mesmas a partir da utilização de modelos de filas para diversas
situações reais. Fogliatti e Mattos (2007) definem um Sistema com Fila como
qualquer processo onde usu´arios oriundos de uma determinada populacão
chegam para receber um serviço pelo qual esperam, se for necessário,
saindo do sistema assim que o serviço é completado. Essa espera acontece

quando a demanda é maior do que a capacidade de atendimento oferecida,
em termos de fluxo.
O estudo da Teoria das Filas teve início com o matemático A.K.
Erlang no ano de 1909 para o problema de congestionamento de linhas
telefônicas na Dinamarca. A.K. Erlang é considerado por alguns autores o
“pai” da Teoria de Filas, devido ao fato de seu trabalho ter se antecipado
por várias décadas aos conceitos modernos dessa teoria. Já no ano de 1917,
publicou o livro “Solutions of Some Problems in the Theory of Probabilities
of Significance in Automatic Telephone Exchanges”, onde sua experiência ficou
documentada.
Desde então, as áreas de economia, administração e de processamento
de fluxos usufruíram dessa técnica, destacando-se, entre outros, problemas
de congestionamento de tráfego, escoamento de fluxo de carga de
terminais, carregamento/descarregamento de veículos, escoamento e fluxo
de processamento de informaçõees, formação de estoques, comunicação de
computadores.
Dentre os trabalhos precursores desenvolvidos em diferentes áreas,
podem-se citar, as modelagens apresentadas nas referências: Adams (1936) e
Tanner (1951), para o cálculo do tempo médio de espera de pedestres para
atravessar uma rua sem sinal; Everett (1953), para o problema de escoamento
de fluxo de barcos em terminais portuários; Cobham (1954), para o
problema de reparo de maquinárias; Bailey (1954), para o problema de
escoamento do fluxo de pacientes na emergência de um hospital; Morse (1962)
e Prabhu (1965), para o problema de formação de estoques; Bitran e Morabito
(1996), para sistemas de manufaturas.

A partir de 1960, a Teoria de Filas foi também utilizada para modelar
problemas concernentes à Ciência da Computação, Ramamoorthy (1965) e
Courtois (1977). Destacam-se a partir de 1980, as aplicações a redes de filas,
Gelembe e Pujolle (1987) e Walrand (1988); em comunicação de computadores,
Daigle (1991) e em provedores de internet, Fontanella e Morabito (2001).
Das publicações em português sobre Teoria de Filas, podem-se
mencionar Novaes (1975), que apresenta aplicaçõeoes direcionadas ao
Planejamento de Transportes, e MAGALHÃES (1996), que trata de modelos
de redes de filas frequentemente aplicados à Ciência da Computação.
2.4.1 Disciplina de atendimento

A disciplina de atendimento consiste na maneira pela qual os
usuários que estao na fila são selecionados para serem atendidos. Os tipos
de disciplinas de atendimento mais utilizados são:
1. FIFO (first in - first out ): os usuários são atendidos na ordem das chegadas.
Essa disciplina de atendimento é a mais comumente adotada.
2. LIFO (last in - first out ): o primeiro usuário a ser atendido é o que
chegou por último.
3. PRI (priority service): o atendimento aos usuários segue uma ou mais
prioridades preestabelecidas pela gerência do sistema.
4. SIRO (service in random order ): o atendimento aos usuários segue
uma ordem aleatória.
Vale salientar que há outros tipos de disciplinas de atendimento,
inclusive considerando aspectos como atendimento prioritário e desistências.

No entanto, como este é apenas um estudo introdutório, tais modelos não
serão vistos.
2.4.2 Notação de um sistema de filas

A notação utilizada neste trabalho para descrever um sistema com
fila é a notação encontrada em boa parte da literatura clássica de estudo de
filas e foi proposta por Kendall (1953). Considera-se a forma A/B/C/D/E, onde A
e B denotam, respectivamente, as distribuições dos tempos entre chegadas
sucessivas e de atendimento, C e D denotam o número de postos de
atendimento em paralelo e a capacidade física do sistema, respectivamente
e E, uma das siglas que representam as disciplinas de atendimento.
Como exemplos de escolhas para A e B, podem-se citar:
D: distribuição determinística ou degenerada e para comportamento aleatório;
M: distribuição exponencial (sem memória ou Markoviana)
𝐸𝐾 : distribuição Erlang do tipo k;
𝐺: distribuição geral (não especificada)
Para simplificar a notação, frequentemente as letras D e E da notação
acima descrita são omitidas. Quando tais “parâmetros” não aparecem,
considera-se que o sistema tenha capacidade infinita e disciplina de atendimento
FIFO.
Apresentaremos, a seguir, alguns modelos de filas representando
situações que se comportam como processo markovianos de nascimento e
morte.
2.4.3 Modelo M/M/1/∞/FIFO

O modelo M/M/1/∞/FIFO, como foi dito anteriormente, pode ser
representado como M/M/1 para simplificar a notação. Este modelo é
caracterizado por:
1.Tempos entre chegadas sucessivas e os tempos de atendimento seguindo
distribuições exponenciais;
2. Existe um único posto de atendimento;
3. Não há limitação para o espaço reservado para a fila de espera;
4. A ordem de acesso de usuários ao serviço segue a ordem das chegadas dos
mesmos ao sistema.
As chegadas e os atendimentos caracterizam um Processo de
Nascimento e Morte, lembrando que somente um único evento pode
acontecer em períodos pequenos de tempo. As taxas de chegada (ingresso)
ao sistema e de atendimento são constantes e dadas respectivamente por:
𝜆𝑛 = 𝜆 ∀𝑛 ≥ 0,
𝜇𝑛 = 𝜇 ∀𝑛 ≥ 1.
No regime estacionário de qualquer processo markoviano, temos que
𝑃𝑛 (𝑡) = 𝑃𝑛 ∀𝑛 ≥ 0.
Para um processo representado pelo modelo M/M/1 que se encontra nesse
regime, utilizando os conceitos anteriores aprendidos no referencial teórico,
temos que
𝜆𝑛
𝑃𝑛 = 𝑛 𝑃0 ∀𝑛 ≥ 1,
𝜇
e
∞ −1
𝜆 𝑛
𝑃0 = [ ∑ ( ) ] ,
𝜇
𝑛=0
𝜆
onde a soma geométrica só converge se 𝜇 < 1. Neste caso, temos que
𝜆
𝑃0 = 1 − .
𝜇
𝜆
O parâmetro 𝜌 = 𝜇 é denominado taxa de utilização do sistema que, substituindo
nas equações anteriores, leva a
𝑃𝑛 = 𝜌𝑛 (1 − 𝜌), ∀𝑛 ≥ 0,
de onde observamos que o número de usuários no sistema segue uma
distribuição geométrica modificada de parâmetro (1 − 𝜌) com valor esperado
dado por
𝜌
𝑊= .
1−𝜌
Conforme apresentado, as medidas de desempenho de um sistema em
regime estacionário auxiliam na avaliação da produtividade e no
dimensionamento do sistema. Serão apresentadas a seguir algumas medidas de
desempenho correspondentes ao modelo M/M/1.
2.4.3.1 Número médio de usuários (L)

Seja N a variável aleatória discreta que representa o número de usuários
no sistema no regime estacionário, com distribuição de probabilidade {𝑃𝑛 }, 𝑛 ≥ 0
e valor esperado L. Tem-se, então:

∞
𝐿 = 𝔼[𝑁] = ∑ 𝑛𝑃𝑛 .
𝑛=0
Usando a equação que vimos no capítulo anterior, segue que

∞ ∞ ∞
𝑛 𝑛−1
𝑑𝜌𝑛
𝐿 = (1 − 𝜌) ∑ 𝑛𝜌 = (1 − 𝜌)𝜌 ∑ 𝑛𝜌 = (1 − 𝜌)𝜌 ∑ .
𝑑𝜌
𝑛=0 𝑛=1 𝑛=1
Observe que, se 𝜌 < 1, então ∑∞ 𝑛

𝑛=0 𝜌 converge e, então,
∞ ∞
𝑑𝜌𝑛 𝑑
∑ = (∑ 𝜌𝑛 ),
𝑑𝜌 𝑑𝜌
𝑛=1 𝑛=0
dessa forma,
∞
𝑑 𝑑 1 1
𝐿 = (1 − 𝜌)𝜌 (∑ 𝜌𝑛 ) = (1 − 𝜌)𝜌 ( ) = (1 − 𝜌)𝜌 ( ),
𝑑𝜌 𝑑𝜌 1 − 𝜌 (1 − 𝜌)2
𝑛=0
de onde se conclui que

𝜌
𝐿= ,
1−𝜌
confirmando as expressões anteriores.
2.4.3.2 Número médio de usuários na
fila
Seja 𝑁𝑞 a variável aleatória discreta que representa o número de usuários
na fila do regime estacionário e 𝐿𝑞 seu valor esperado. Então,
𝑁 − 1, ∀𝑁 ≥ 1,
𝑁𝑞 = {
0, 𝑁 = 0,
de onde
∞ ∞ ∞
𝐿𝑞 = 𝔼[𝑁𝑞 ] = ∑(𝑛 − 1)𝑃𝑛 = ∑ 𝑛𝑃𝑛 − ∑ 𝑃𝑛 = 𝐿 − 1 + 𝑃0

𝑛=1 𝑛=1 𝑛=1
𝜌 𝜌 − 𝜌 + 𝜌2 𝜌2
= −1+1−𝜌 = = .
1−𝜌 1−𝜌 1−𝜌
2.4.3.3 Probabilidade de se ter mais do

que k elementos no sistema
Apesar de se tratar de um sistema com capacidade infinita, estas
probabilidades são úteis para se avaliar a necessidade de incluir certas
comodidades no local reservado para a fila, como cadeias, banheiros ou outras
instalações. Para esse sistema particular de fila, vale

∞ ∞ ∞
𝑃(𝑁 ≥ 𝑘) = ∑ 𝑃𝑛 = ∑ 𝜌𝑛 (1 − 𝜌) = (1 − 𝜌) ∑ 𝜌𝑘+1
𝑛=𝑘 𝑛=𝑘 𝑘=0
∞
1
= (1 − 𝜌)𝜌 ∑ 𝜌𝑖 = (1 − 𝜌)𝜌𝑘
𝑘
,
1−𝜌
𝑖=0
de onde segue que
𝑃(𝑁 ≥ 𝑘) = 𝜌𝑘 .
2.4.3.4 F.D.A. do tempo de espera

Considerando-se o sistema no regime estacionário, seja 𝑇𝑞 a variável
aleatória contínua que representa o tempo que um usuário qualquer permanece
na fila aguardando por atendimento. Esse tempo depende do número de
unidades que se encontram à sua frente e do tempo que essas unidades levam
para ser atendidas.
Na chegada de um usuário no sistema, podem ser identificados
dois eventos mutuamente excludentes:
1. O sistema está vazio, então, 𝑇𝑞 = 0;
2. Há n elementos no sistema, 𝑛 > 0, então, 𝑇𝑞 > 0.

Seja 𝑊𝑞 (𝑡) a função de distribuição acumulada de 𝑇𝑞 que expressa a
probabilidade de um usuário qualquer aguardar na fila no máximo um tempo 𝑡 ≥
0. Então,
𝑊𝑞 (𝑡) = 𝑃(𝑇𝑞 ≤ 𝑡)
𝑊𝑞 (0) = 𝑃(𝑇𝑞 ≤ 0) = 𝑃(𝑁 = 0) = 𝑃0 = 1 − 𝜌,
e, para 𝑡 > 0,
∞
𝑊𝑞 (𝑡) = ∑ 𝑃 (𝑛 𝑢𝑠𝑢á𝑟𝑖𝑜𝑠 𝑛𝑜 𝑠𝑖𝑠𝑡𝑒𝑚𝑎 𝑒 𝑜𝑠 𝑛 𝑠𝑒𝑟𝑣𝑖ç𝑜𝑠 𝑐𝑜𝑚𝑝𝑙𝑒𝑡𝑎𝑑𝑜𝑠 𝑎𝑡é 𝑡).

𝑛=0
O evento “n serviços completados até t” é equivalente ao evento “o tempo
para completar n serviços é menor do que t”.
Seja 𝑇(𝑛) a variável aleatória contínua que representa a soma dos tempos
de atendimento de n usuários consecutivos. Os tempos de serviço são
independentes e exponencialmente distribuídos com taxa 𝜇, consequentemente,
𝑇(𝑛) segue uma distribuição de Erlang com parâmetros 𝑛 𝑒 𝜇. Então, para todo
𝑡 > 0,
∞
𝑊𝑞 (𝑡) = 𝑊𝑞 (0) + ∑ 𝑃 [(𝑛 𝑢𝑠𝑢á𝑟𝑖𝑜𝑠 𝑛𝑜 𝑠𝑖𝑠𝑡𝑒𝑚𝑎 ∩ (𝑇(𝑛) ≤ 𝑡))]

𝑛=1
= 𝑃0 + ∑ 𝑃𝑛 𝑃[𝑇(𝑛) ≤ 𝑡 |𝑛 𝑢𝑠𝑢á𝑟𝑖𝑜𝑠 𝑛𝑜 𝑠𝑖𝑠𝑡𝑒𝑚𝑎]

𝑛=1
∞ 𝑡
𝜇(𝜇𝑥)𝑛−1 −𝜇𝑥
= (1 − 𝜌) + ∑[𝜌𝑛 (1 − 𝜌)] (∫ 𝑒 𝑑𝑥)
0 (𝑛 − 1)!
𝑛=1
𝑡 ∞
−𝜇𝑥
(𝜆𝑥)𝑛−1
= (1 − 𝜌) + 𝜌(1 − 𝜌) ∫ (𝜇𝑒 ∑ ) 𝑑𝑥
0 (𝑛 − 1)!
𝑛=1
𝑡
𝑥
= (1 − 𝜌) + 𝜌(1 − 𝜌)𝜇 ∫ 𝑒 −(𝜇−𝜆) 𝑑𝑥.
0
Sabendo que 𝜇 − 𝜆 = 𝜇(1 − 𝜌), temos que:

𝑊𝑞 (𝑡) = (1 − 𝜌) + 𝜌 − 𝜌𝑒 −(𝜇−𝜆)𝑡
𝑡
1 − 𝜌𝑒 −(𝜇−𝜆) .
2.4.3.5 Função de densidade do tempo

de espera na fila
Como se sabe, a função de densidade de probabilidade de uma
determinada variável aleatória pode ser obtida como a derivada de sua função
de distribuição acumulada. Assim sendo,

𝑡
𝑑𝑊𝑞 (𝑡) 𝑑(1 − 𝜌𝑒 −(𝜇−𝜆) ) 𝑡
𝜔𝑞 (𝑡) = = = 𝜌(𝜇 − 𝜆)𝑒 (𝜇−𝜆) .
𝑑𝑡 𝑑𝑡
2.4.3.6 F.D.A. do tempo de

atendimento
Com raciocínio análogo ao utilizado para obter 𝑊𝑞 (𝑡), podemos obter a
função de distribuição acumulada do tempo T de atendimento, isto é:

𝑡
𝑊(𝑡) = 1 − 𝑒 −𝜇(1−𝜌) ∀𝑡 ≥ 0.
Desta expressão, observamos que a variável 𝑇 segue uma distribuição
exponencial de parâmtro 𝜇(1 − 𝜌), com valor esperado dado por:
1 1
𝔼[𝑇] = =
𝜇(1 − 𝜌) 𝜇 − 𝜆
2.4.3.7 Tempo médio de espera na fila

O valor esperado de 𝑇𝑞 é dado por
∞
𝑊𝑞 = 𝔼[𝑇𝑞 ] = ∫ 𝑡𝜔𝑞 (𝑡) 𝑑𝑡
0
∞
𝑡
= ∫ 𝑡𝜌(𝜇 − 𝜆)𝑒 −(𝜇−𝜆) 𝑑𝑡
0
𝜆 𝜌
= = .
𝜇(𝜇 − 𝜆) 𝜇 − 𝜆
2.4.3.8 Tempo médio de permanência

no sistema
Essa média pode ser calculada observando-se que o tempo médio que
um usuário qualquer permanece no sistema é igual à soma do tempo médio de
espera na fila com o tempo médio de atendimento, ou seja,
1 𝜆 1 1
𝑊 = 𝑊𝑞 + = + = .
𝜇 𝜇(𝜇 − 𝜆) 𝜇 𝜇 − 𝜆
2.4.3.9 Probabilidade de tempo de

espera na fila ser maior do que um
tempo t>0 𝑡
Usando a equação 𝑊𝑞 (𝑡) = 1 − 𝜌 𝑒 −(𝜇−𝜆) , temos que
𝑡
𝑃(𝑇𝑞 > 𝑡) = 1 − 𝑊𝑞 (𝑡) = 𝜌𝑒 −(𝜇−𝜆) .
2.4.4 Modelo M/M/c/∞/FIFO

No modelo M/M/c/∞/FIFO, os tempos entre chegadas sucessivas
seguem distribuições exponenciais de parâmtro 𝜆 e há c servidores, cada um
dos quais com tempos de atendimento que seguem distribuições exponenciais,
de parâmetro 𝜇. Como as chegadas e os atendimentos neste caso caracterizam
processos de nascimento e morte, logo as taxas de chegadas e de atendimento
respectivamente são dadas por:
𝜆𝑛 = 𝜆 ∀𝑛 ≥ 0
e
𝑛𝜇 , 𝑠𝑒 1 ≤ 𝑛 < 𝑐,
𝜇𝑛 = {
𝑐𝜇 , 𝑠𝑒 𝑛 ≥ 𝑐.
𝜆
Denotando 𝑟 = 𝜇, a taxa de utilização do sistema é dada por
𝑟 𝜆
𝜌= = .
𝑐 𝑐𝜇
Substituindo no sistema anterior, obtemos
𝑃0 𝑟 𝑛
, 𝑠𝑒 1 ≤ 𝑛 < 𝑐,
𝑃𝑛 = { 𝑛! ,
𝑃0 𝑟 𝑛
, 𝑠𝑒 𝑛 ≥ 𝑐
𝑐 𝑛−𝑐 𝑐!
o que implica que

∞ 𝑐−1 ∞ 𝑐−1 ∞
𝑟 𝑛 𝑃0 𝑟𝑛
∑ 𝑃𝑛 = ∑ 𝑃𝑛 + ∑ 𝑃𝑛 = 𝑃0 ∑ + ∑ 𝑛−𝑐
𝑛! 𝑐! 𝑐
𝑛=0 𝑛=0 𝑛=𝑐 𝑛=0 𝑛=𝑐
𝑐−1 ∞
𝑟𝑛 𝑟𝑐
= 𝑃0 (∑ + ∑ 𝜌𝑖 ).
𝑛! 𝑐!
𝑛=0 𝑖=0
A soma converge se 𝜌 < 1. Neste caso, tem-se que:
∞ 𝑐−1
𝑟𝑛 𝑟𝑐 1
∑ 𝑃𝑛 = 𝑃0 [(∑ ) + . ]
𝑛! 𝑐! 1 − 𝜌
𝑛=0 𝑛=0
𝑐−1
𝑟𝑛 𝑐𝑟 𝑐
= 𝑃0 [(∑ + )].
𝑛! 𝑐! (𝑐 − 𝑟)
𝑛=0
Como ∑∞
𝑛=0 𝑃𝑛 = 1, então
𝑐−1 −1
𝑟𝑛 𝑐𝑟 𝑐
𝑃0 = (∑ + ) .
𝑛! 𝑐! (𝑐 − 𝑟)
𝑛=0
Serão apresentadas, a seguir, algumas medidas de desempenho
correspondentes ao modelo M/M/c.

2.4.4.1 Número médio de usuários na

fila
Para esse modelo, temos que
∞
𝐿𝑞 = 𝔼[𝑁𝑞 ] = ∑(𝑛 − 𝑐)𝑃𝑛

𝑛=𝑐
∞
𝑃0 𝑟 𝑐+1 (𝑛 − 𝑐)𝑟 𝑛−𝑐−1
= .∑
𝑐! 𝑐 𝑐 𝑛−𝑐−1
𝑛=𝑐
∞
𝑃0 𝑟 𝑐+1 𝜕 𝑟 𝑛
= . 𝑟 ∑( )
𝑐! 𝑐 𝜕 ( ) 𝑐
𝑐 𝑛=0
1
𝜕( 𝑟)
𝑃0 𝑟 𝑐+1 1−𝑐
= . 𝑟
𝑐! 𝑐 𝜕 (𝑐 )
𝑃0 𝑟 𝑐+1 1 𝑃0 𝑐𝑟 𝑐+1
= . = .
𝑐! 𝑐 𝑟 2 𝑐! (𝑐 − 𝑟)2
(1 − 𝑐 )
Usando-se as fórmulas que já vimos, obtemos as demais medidas de
desempenho que, por questões de celeridade,sumprimos os cálculos:
𝑟 𝑐+1 𝑐
Número médio de usuários no sistema: 𝐿 = 𝑟 + [𝑐!(𝑐−𝑟)2] 𝑃0 .
𝑟𝑐𝜇
Tempo médio de espera na fila: 𝑊𝑞 = (𝑐−1)!(𝑐𝜇−𝜆)2 𝑃0 .
1 𝑟𝑐𝜇
Tempo médio de permanência no sistema: 𝑊 = 𝜇 + [(𝑐−1)!(𝑐𝜇−𝜆)2 ] 𝑃0 .
2.4.4.2 F.D.A. do tempo de espera na

fila
Considere 𝑇𝑞 como sendo o tempo de espera na fila de um usuário
qualquer. Como há c postos de atendimento, então 𝑇𝑞 será zero quando o

número de usuários à frente do usuário considerado for menor ou igual a 𝑐 − 1,
ou seja,
𝑐−1 𝑐−1
𝑟𝑛
𝑃(𝑇𝑞 = 0) = 𝑃(𝑁 ≤ 𝑐 − 1) = ∑ 𝑃𝑛 = 𝑃0 ∑ .
𝑛!
𝑛=0 𝑛=0
Neste caso, definindo 𝑊𝑞 (𝑡) como função de distribuição acumulada de 𝑇𝑞 e,
portanto, temos que
𝑃0 𝑐𝑟 𝑐
𝑊𝑞 (0) = 𝑃(𝑇𝑞 = 0) = 1 − .
𝑐! (𝑐 − 𝑟)
O tempo 𝑇𝑞 que um usuário aguarda na fila é positivo e no máximo t unidades de
tempo se esse usuário encontra à sua frente n usuários com 𝑛 ≥ 𝑐 e os
servidores completam pelo menos 𝑛 − 𝑐 − 1 serviços até t. Desta forma, calcular
a probabilidade de que n serviços sejam completados até o tempo t é o mesmo
que calcular a probabilidade de que o tempo para completar n serviços seja
menor que t. Assim, definindo a variável aleatória
𝑇(𝑛) : 𝑎 𝑠𝑜𝑚𝑎 𝑑𝑜𝑠 𝑡𝑒𝑚𝑝𝑜𝑠 𝑑𝑒 𝑎𝑡𝑒𝑛𝑑𝑖𝑚𝑒𝑛𝑡𝑜 𝑑𝑒 𝑛 𝑢𝑠𝑢á𝑟𝑖𝑜𝑠 𝑐𝑜𝑛𝑠𝑒𝑐𝑢𝑡𝑖𝑣𝑜𝑠,
então, dado que os tempos de serviço são exponenciais com taxa 𝜇, 𝑇(𝑛) segue
uma distribuição de Erlang de parâmetros 𝑛 𝑒 𝜇. Portanto,
𝑊𝑞 (𝑡) = 𝑃(𝑇𝑞 ≤ 𝑡) ,
o que implica
∞
𝑊𝑞 (𝑡) = 𝑊𝑞 (0) + ∑ 𝑃 (𝑛 𝑢𝑠𝑢á𝑟𝑖𝑜𝑠 𝑛𝑜 𝑠𝑖𝑠𝑡𝑒𝑚𝑎 𝑒 𝑝𝑒𝑙𝑜 𝑚𝑒𝑛𝑜𝑠 𝑛 − 𝑐 + 1 𝑠𝑒𝑟𝑣𝑖ç𝑜𝑠 𝑐𝑜𝑚𝑝𝑙𝑒𝑡𝑎𝑑𝑜𝑠 𝑎𝑡é 𝑡)

𝑛=𝑐
∞ ∞
𝑟𝑛
𝜇𝑐(𝜇𝑐𝑥)𝑛−𝑐 −𝜇𝑐𝑥
= 𝑊𝑞 (0) + 𝑃0 ∑ 𝑛−𝑐 ∫ 𝑒 𝑑𝑥
𝑐 𝑐! 0 (𝑛 − 𝑐)!
𝑛=𝑐
∞ ∞
𝑃0 𝑟 𝑐 (𝜇𝑟𝑥)𝑛−𝑐
= 𝑊𝑞 (0) + ∫ 𝜇𝑒 −𝜇𝑐𝑥 ∑ 𝑑𝑥
(𝑐 − 1)! 0 (𝑛 − 𝑐)!
𝑛=𝑐
𝑡
𝑃0 𝑟 𝑐
= 𝑊𝑞 (0) + ∫ 𝜇𝑒 −𝜇(𝑐−𝑟)𝑥 𝑑𝑥
(𝑐 − 1)! 0
𝑃0 𝑟 𝑐 1 − 𝑒 −𝜇(𝑐−𝑟)𝑡 𝑃0 𝑟 𝑐
= 𝑊𝑞 (0) + . = 1− 𝑒 −(𝑐𝜇−𝜆)𝑡 .
(𝑐 − 1)! 𝑐−𝑟 𝑐! (1 − 𝜌)
2.4.5 Modelagem de uma situação real

Faremos a modelagem de um sistema de atendimento na secretaria de
uma Instituição de ensino, onde observamos, por dois dias, o fluxo de pessoas
e anotou-se o tempo entre as chegas dessas pessoas ao estabelecimento, bem
como quanto tempo elas passaram em atendimento. Foi considerado um dia em
que seria a data-limite para inscrição num programa específico e outro, sem
quaisquer eventos atípicos.
Vale lembrar que a Instituição considerada tinha duas recepcionistas em
atendimento, o que nos leva a consideraro modelo com dois postos de serviço.
Quanto à limitação do sistema, qualquer cliente que chegue antes do horário de
fechamento poderia ficar esperando para ser atendido e, além disso, a casa
lotérica, tendo uma fila única, atende primeiro quem chega primeiro (modelo
FIFO). Assim, a idéia é considerar um modelo M/M/2, mas, para tanto,
precisamos ver a adequabilidade de se considerar que as chegadas e os
atendimentos ocorrem segundo um processo de Poisson. Para verificar se tal
suposição é plausível, basta propor um teste Qui-quadrado de aderência, cuja
descrição pode ser encontrada, por exemplo, em Bussab e Morettin (2002).
Primeiramente as hipóteses formuladas para a execução do teste foram:
𝐻0 : As chegas dos clientes se adequam a uma distribuição de Poisson
𝐻1 : As chegas dos clientes não se adequam a uma distribuição de
Poisson
As frequências do número de chegadas por minuto foram calculadas e
(𝑂𝑖 −𝑂𝑒 )2
apresentadas na Tabela 1, no intuito de calcular-se a estatística 𝑋 2 = e
𝑂𝑒
2
compará-la com o quantil de uma 𝑋2;95% .
Tabela 1:
2
Tivemos que 𝑋 2 = 0,99136 < 𝑋1;95% = 5,991, logo, aceitamos a hipótese
nula, portanto, não há evidências significativas para não se levar em
consideração que o número de chegadas por minuto segue uma distribuição de
Poisson ao nível de 5% de significância.
Uma vez que foi estabelecido o modelo de fila que será utilizado, bem
como a viabilidade deste, serão estimados os parâmetros 𝜆 𝑒 𝜇 e calculadas as
medidas de desempenho através das fórmulas desenvolvidas no capítulo
anterior. As medidas de desempenho para os dias normais de funcionamento
foram calculadas e mostradas na Tabela 2. Podemos ver, entre outras coisas,
que a taxa de chegadas é menor que a taxa de atendimento e também que a
probabilidade de formação de fila é baixa. Outro ponto que vale a pena ser
destacado é que 𝜌 < 1, o que é uma condição considerada no desenvolvimento
da teoria apresentada.
Tabela 2:
Tendo em vista a observação das medidas de desempenho apresentadas
nesta tabela, foi feito a simulação do sistema com apenas um posto de
atendimento para os dias normais de funcionamento. As medidas de
desempenho para este caso são apresentadas na Tabela 3. Comparando com
os resultados apresentados anteriormente na Tabela 2, vemos que há um
aumento considerável da probabilidade de se formar uma fila. Além disso, o
número esperado de usuários no sistema quase duplicou e o tempo médio de
espera aumentou em torno de 73%.

Para a modelagem de um dia que considera-se atípico, como o último dia
para inscrição num determinado projeto, apresentamos, na tabela 4, as
frequências observadas e esperadas do número de chegadas por minuto e,
também, o cálculo das estatísticas 𝑋 2 .
Utilizando os mesmos métodos para verificar se, ainda nestas condições,
esta distribuição pode ser modelada por uma Qui-quadrado, fazemos os
mesmos testes realizados anteriormente, atualizando-se os valores observados
e, em seguida, calculamos as medidas de desempenho, cujos resultados podem
ser observados na Tabela 5:

Podemos ver, pelos valores apresentados na Tabela 5 que, como era de
se esperar, o número médio de clientes no sistema aumentou em relação aos
dias em que não há pagamento do benefício. Obviamente, também aumentou o
tempo médio de permanência no sistema. Podemos também observar que a
razão entre a taxa de chegadas e de atendimento (𝜌) permanece abaixo de 1, o
que é uma condição fundamental para o bom funcionamento do sistema.

3.0 Conclusão
Ao longo do referencial teórico e, também, das aplicações apresentadas,
pode-se dizer que foi possível solidifcar alguns conceitos importantes vistos
superficialmente na graduação, bem como aprender coisas novas. O
desenvolvimento deste estudo requeria um bom conhecimento de cálculo
(derivadas, integrais e séries) , o que resultou num crescimento da maturidade
matemática , que é fundamental para aqueles que queiram fazer uma pós-
graduação na área de Estatística.
Quanto às aplicações, foi muito gratificante poder aplicar a teoria vista
em problemas reais, o que justifica horas a fio de estudos. Pôde-se concluir,
também, que as aplicações apresentadas são importantes ferramentas para
diversas áreas de estudo e, principalmente, a Teoria das filas, cujas aplicações
são fundamentais para o controle de fuxos de usuários, já que através destes
estudo pode-se observar detalhadamente o comportamento desses sistemas e
ainda propôr melhorias para um bom funcionamento do mesmo.

Referências
[1] LAY, David C. Linear Algebra and It’s Applications. University Of Maryland –
College Park – Fourth edition.
[2] PRIVAULT, Nicolas. Understanding Markov Chains. Springer Undergratuate.
2013.
[3] OLVER, Peter J and SHAKIBAN, Chehrzad. Applied Linear Algebra. Pearson.
2006.
[4] ROSS, Sheldon M. Stochastic Processes. Second Edition. University of
California. 1996.
[5] SERRE, Denis. Matrices: Theory and Applications. Springer. 2000.
[6] ÇINLAR, Erhan. Introduction do Stochastic Processes. 1973
[7] MELSA, James L. And SAGE, Andrew P. An Introcution to Probability and
Stochastic Processes. Prentice-Hall, 1973.
[8] MARKARIAN, Roberto e MOLLER, Nelson. La importancia de cada nodo en
una estructura de enlaces: Google Page Rank. B. de la Asociación Matemática
Venezuelana. 2004.
[9] FERNANDEZ, Pedro. Introdução aos processos estocásticos. IMPA. 2014.
[10] CALLIOLI, Carlos A. Álgebra Linear e Aplicações. Atual. 6ª edição.
[11] ALVES, Rui. Processos Estocásticos. Universidade do Porto. 1997.
[12] MENDONÇA, Ednário Barbosa de. Teoria de Filas Markovianas e Aplicações.
UEPB.
[13] GOLMAKANI, Ali. Cadeias de Markov. Universidade Federal de Alagoas.
[14] NOGUEIRA, Fernando. Modelagem e Simulação – Cadeias de Markov. UFJF.
[15] BATISTA, F.S. e ANDRADE, L. Sobre a Convergência de Cadeias de Markov.

Minha Monografia - 11.08.2019 PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Minha Monografia - 11.08.2019 PDF

Enviado por

Direitos autorais:

Formatos disponíveis

Aplicações básicas de processos estocásticos e cadeias de Markov 1

Universidade Federal do Rio de Janeiro

Centro de Ciências Matemáticas e da Natureza

Antonio Henrique Pinto de Souza

Orientador: Prof. Cesar Niche

Aplicações básicas de processos estocásticos e

1 Fundamentação Teórica .............................................................................. 5

1.1 Processos estocásticos ....................................................................... 5

1.2 Processos de Markov ........................................................................... 6

1.3 Vetores de probabilidades ................................................................... 8

1.4 Matrizes de transição ........................................................................... 8

1.5 Cadeias de Markov de dois estados .................................................. 14

1.6 Classificação dos estados.................................................................. 18

1.7 Periodicidade .................................................................................. 26

1.8 Comportamento a longo prazo......................................................... 29

1.9 Processo de Nascimento e Morte .................................................... 36

1.10 Processo de Poisson ..................................................................... 41

2.0 Aplicações .................................................................................................. 43

2.1 A modelagem dos jogos de baseball ................................................. 43

2.1.1 Construindo a matriz de transição .......................................... 45

2.2 Google Page Rank ............................................................................. 51

2.3 Investimento a longo prazo ................................................................ 60

2.4 Teoria das Filas ................................................................................. 62

2.4.1 Disciplina de atendimento....................................................... 64

2.4.2 Notação de um sistema de filas.............................................. 65

2.4.3 Modelo M/M/1/∞/FIFO ............................................................ 66

2.4.3.1 Número médio de usuários (L) .................................... 67

2.4.3.2 Número médio de usuários na fila............................... 68

2.4.3.3 Probabilidade de se ter mais do que k elementos no

2.4.3.4 F.D.A. do tempo de espera ......................................... 69

2.4.3.5 Função de densidade do tempo de espera na fila ...... 71

2.4.3.6 F.D.A. do tempo de atendimento ................................ 71

2.4.3.7 Tempo médio de espera na fila ................................... 71

2.4.3.8 Tempo médio de permanência no sistema ................. 72

2.4.3.9 Probabilidade de tempo de espera na fila ser maior do

que um tempo t>0 ................................................................... 72

2.4.4 Modelo M/M/c/∞/FIFO ............................................................ 72

2.4.4.1 Número médio de usuários na fila............................... 74

2.4.4.2 F.D.A. do tempo de espera na fila............................... 74

2.4.5 Modelagem de uma situação real........................................... 76

3.0 Conclusão .................................................................................................. 81

A proposta desta monografia é aprofundar alguns conceitos relacionados

à probabilidade, processos estocásticos e cadeias de Markov, e, em seguida,

analisar, criteriosamente, diversas atividades do cotidiano e suas relações com

nossas fundamentações teóricas, bem como otimizá-las para que consigamos

os resultados desejáveis. Como exemplo, citamos, pois, os custos gastos por

diversas empresas em atendimento ao público e o tempo de espera. Como é de

conhecimento de todos, filas de espera fazem parte do cotidiano e não podem

ser evitadas. Os processos geradores de filas podem ser analisados de modo a

otimzar o tempo de espera e, também, os custos relacionados à otimização, de

modo que tenhamos um pequeno índice de desistência por tempo de espera e

alta produtividade dos colaboradores, sem intereferir, significativamente, nos

Ainda como exemplos de aplicações que veremos ao longo desta

monografia, temos as análises de investimentos financeiros associadas às

tendências, a longo prazo, de aspectos como idade, profissão e afinidades de

Palavras-chave: processos estocásticos, cadeias de Markov, aplicações.

mercados financeiros, filas de espera.

básicos e fundamentais de probabilidade, bem como de outros assuntos comuns

à graduação já são conhecidos e iniciaremos, portanto, a fundamentação por

1.1 Processos estocásticos

qualquer processo cujas etapas são sucessões de eventos de resultados

aleatórios. Formalmente, de acordo com Sheldon M. Ross (1996), um processo

estocástico 𝑋 = { 𝑋(𝑡), 𝑡 ∈ 𝑇 } é uma coleção de variáveis aleatórias, isto é, para