010 Lay PDF

10
Cadeias de
Markov de
Estados Finitos
WEB
EXEMPLO INTRODUTRIO
Google e Cadeias de Markov

Google significa muitas coisas: um mecanismo de busca na
Internet, a companhia que produz esse mecanismo e uma
pesquisa na Internet por alguma informao. Embora possa
parecer difcil de acreditar, h no muito tempo, as pessoas
no podiam usar o Google para encontrar a capital de
Botsuana, ou uma receita de ovos cozidos ou outras questes
de importncia vital. Usurios da Internet dependem de
mecanismos de busca confiveis a quantidade de informao
disponvel to imensa que o pesquisador depende do
mecanismo de busca no s para encontrar as pginas na rede
que contm as palavras da pesquisa, mas tambm para indicar
primeiro as pginas que, possvel, sero mais relevantes para
a pesquisa. Os mecanismos de busca mais antigos no tinham
um modo de determinar quais pginas seriam, provavelmente,
mais relevantes para a pesquisa. As pessoas tinham de verificar
as pginas indicadas uma por uma, um processo enfadonho
e frustrante. Esta situao melhorou muito em 1998, quando
os mecanismos de busca comearam a usar a informao
contida na estrutura de hiperlink da rede World Wide Web para
ajudar a ordenar as pginas. O primeiro dessa nova gerao de
mecanismos de busca foi o Google, um projeto de dois alunos
de ps-graduao em cincia da computao na Universidade
de Stanford: Sergey Brin e Lawrence Page.
Brin e Page raciocinaram que uma pgina na rede era

importante se tivesse hiperlinks a partir dela para outras pginas
importantes. Eles usaram a ideia de um surfista aleatrio: um
surfista na rede movendo-se de pgina para pgina, escolhendo
aleatoriamente o link que seguir. O movimento do surfista entre
as pginas pode ser modelado usando-se cadeias de Markov,
que foram introduzidas na Seo 4.9. As pginas visitadas
com mais frequncia por esse surfista aleatrio devem ser
mais importantes e, portanto, mais relevantes, se seu contedo
contiver as palavras da pesquisa. Embora Brin e Page no
soubessem disso na poca, eles estavam tentando encontrar o
vetor estado estacionrio para uma cadeia de Markov particular,
cuja matriz de transio modelava a estrutura de hiperlinks
da rede. Depois de algumas modificaes importantes dessa
matriz imensa (detalhadas na Seo 10.2), pode-se encontrar
um vetor estado estacionrio e seus componentes podem ser
interpretados como a quantidade de tempo que um surfista
aleatrio vai gastar em cada pgina da Web. O clculo desse
vetor estado estacionrio a base para o algoritmo PageRank
do Google.
Ento, da prxima vez que voc usar o Google para
pesquisar sobre a capital da Botsuana, saiba que est usando os
resultados deste captulo para encontrar a pgina certa na rede.
Embora o nmero de pginas da Web seja imenso, ainda assim finito. Quando a estrutura de links
da rede World Wide Web modelada por uma cadeia de Markov, cada pgina na rede um estado
da cadeia de Markov. Este captulo continua o estudo das cadeias de Markov iniciado na Seo 4.9,
focalizando nas cadeias com um nmero finito de estados. A Seo 10.1 introduz a terminologia e
desenvolve alguns exemplos de cadeias de Markov: modelos de transmisso de sinais, modelos de
difuso da fsica e caminhos aleatrios em diversos conjuntos. Caminhos aleatrios em grafos direcionados tero uma aplicao especfica no algoritmo PageRank. A Seo 10.2 define o vetor estado
estacionrio para uma cadeia de Markov. Embora toda a cadeia de Markov tenha um vetor estado
estacionrio, nem toda a cadeia de Markov converge para um vetor estado estacionrio. Quando a
cadeia de Markov converge para um vetor estado estacionrio, esse vetor pode ser interpretado como
indicando a quantidade de tempo que a cadeia gastar em cada estado. Essa interpretao necessria
para o algoritmo PageRank, de modo que sero estudadas as condies sob as quais uma cadeia de
Markov ir convergir para um vetor estado estacionrio. O modelo para a estrutura de links da rede
World Wide Web ser ento modificado para satisfazer essas condies, formando a chamada matriz
do Google. As Sees 10.3 e 10.4 discutem cadeias de Markov que no convergem para um vetor
Cadeias de Markov de Estados Finitos 49
estado estacionrio. Essas cadeias de Markov podem ser usadas para modelar situaes nas quais a
cadeia acaba restrita a um estado ou a um conjunto de estados. A Seo 10.5 introduz a matriz fundamental. Essa matriz pode ser usada para calcular o nmero esperado de passos para a cadeia mudar
de estado, assim como a probabilidade de que a cadeia fique restrita a um estado particular. Na Seo
10.6, a matriz fundamental aplicada a um modelo para estatsticas em beisebol: o nmero de batedores em um meio turno e o estado no qual esse meio turno ir terminar sero muito importantes para
calcular o nmero esperado de pontos ganhos.
10.1 INTRODUO E EXEMPLOS

Lembre-se da Seo 4.9 que uma cadeia de Markov um modelo matemtico para o movimento
entre estados. Um processo que comea em um desses estados e se move de estado para estado. Os
movimentos entre estados so chamados passos ou transies. As palavras cadeia e processo
sero usadas com o mesmo significado, de modo que se pode dizer que a cadeia se move entre estados, ou est em um estado depois de determinado nmero de passos.
O estado da cadeia em qualquer instante dado no conhecido; o que conhecido a probabilidade de a cadeia se mover do estado j para o estado i em um nico passo. Essa probabilidade chamada uma probabilidade de transio para a cadeia de Markov. As probabilidades de transio so
colocadas em uma matriz chamada matriz de transio P para a cadeia: o elemento (i, j) da matriz
P a probabilidade de transio do estado j para o estado i. Ento, se existirem m estados 1, 2, , m,
a matriz de transio seria a matriz m m
As probabilidades de que a cadeia esteja em cada um dos estados possveis depois de n passos esto
listadas em um vetor de estado xn. Se existissem m estados possveis, o vetor de estado seria
Um vetor de estado um vetor probabilidade, j que a soma de suas componentes igual a 1. O

vetor de estado x0 chamado vetor probabilidade inicial.
Note que a j-sima coluna de P um vetor probabilidade suas componentes listam as probabilidades de um movimento do estado j para um dos estados da cadeia de Markov. Assim, a matriz de
transio uma matriz estocstica, j que cada uma de suas colunas um vetor probabilidade.
Os vetores de estado para a cadeia esto relacionados pela equao

(1)
para n = 1, 2, Note que a equao (1) pode ser usada para se mostrar que

(2)
Ento, qualquer vetor de estado xn pode ser calculado do vetor probabilidade inicial x0 e de uma potncia apropriada da matriz de transio P.
Este captulo trata de cadeias de Markov com um nmero finito de estados , ou seja, cadeias
para as quais a matriz de transio tem tamanho finito. Para usar uma cadeia de Markov de estado
finito para modelar um processo, o processo tem de ter as seguintes propriedades, implicadas com
as equaes (1) e (2):
1. Como os valores no vetor xn+1 dependem apenas da matriz de transio P e de xn, o estado da cadeia antes do instante n no tem efeito sobre seu estado no instante n + 1 e depois.
2. Como a matriz de transio no varia com o tempo, a probabilidade de uma transio de estado
depende apenas de quantos passos a cadeia j executou.
50 Captulo 10
Mesmo com essas restries, cadeias de Markov podem ser usadas para modelar uma variedade incrvel de processos. A seguir, algumas amostras.
Transmisso de Sinais
Considere o problema de transmitir um sinal por meio de uma linha telefnica ou por ondas de rdio.
Cada trecho dos dados tem de passar por um processo em diversos estgios para ser transmitido e,
em cada estgio, existe uma probabilidade de que um erro de transmisso ir corromper os dados.
Suponha que a probabilidade de que um erro na transmisso no seja afetado por erros de transmisso que ocorreram anteriormente nem dependa do tempo e o nmero de trechos possveis de dados
finito. O processo de transmisso ento pode ser modelado por uma cadeia de Markov. O objeto de
interesse a probabilidade de que um trecho de dados passe pelo processo com vrios estgios sem
erro. Veja exemplo de tal modelo a seguir.
EXEMPLO 1 Suponha que cada bit de dados seja 0 ou 1 e, em cada estgio, exista uma probabilidade
p de que o bit ir passar sem modificao. Assim, a probabilidade de que o bit ser transposto 1 p.
O processo de transmisso modelado por uma cadeia de Markov com estados 0 e 1 e matriz de
transmisso
De:
Para:
Muitas vezes possvel visualizar a ao de uma cadeia de Markov representando suas probabilidades de transio graficamente, como na Figura 1. Os pontos so os estados da cadeia, e os caminhos
indicados por setas representam as transies.
Suponha que p = 0,99. Encontre a probabilidade de que o sinal 0 ainda ser 0 depois de um processo de transmisso em dois estgios.
1p
1p
FIGURA 1 Diagrama de transio para a transmisso de sinais.
SOLUO Como o sinal comea em 0, a probabilidade de que a cadeia comece em 0 de 100%, ou
igual a 1; ou seja, o vetor de probabilidade inicial x0 =
. Para encontrar a probabilidade em um
processo de transmisso em dois estgios, calcule
Ento, a probabilidade de que o sinal ainda seja 0 depois de um processo em dois estgios 0,9802.
Note que isso no o mesmo que a probabilidade de que 0 seja transmitido sem erro; essa ltima
probabilidade seria (0,99)2 = 0,9801. Nossa anlise inclui a probabilidade muito pequena de que 0
seja mudado erroneamente para 1 no primeiro estgio, depois, de volta para 0 no segundo estgio da
transmisso.
Difuso
Considere dois compartimentos cheios com gases diferentes separados apenas por uma membrana
que permite a passagem de molculas de cada gs para o outro compartimento. Ao longo do tempo,
os dois gases iro se misturar, de modo que cada compartimento conter uma mistura desses gases.
O problema mais interessante qual a mistura que estar em cada compartimento em algum instante
aps o incio da interao. Um modelo matemtico famoso para este processo foi descrito originalmente pelos fsicos Paul e Tatyana Ehrenfest. Como o termo preferido deles para compartimento
era urna, o modelo conhecido como o modelo da urna de Ehrenfest para a difuso.
Vamos chamar as urnas A e B e colocar k molculas de gs em cada urna. Em cada instante de tempo, selecione uma das 2k molculas de forma aleatria, mova-a de uma urna para a outra e mantenha
um registro do nmero de molculas na urna A. Esse processo pode ser modelado por uma cadeia
de Markov de estado finito: o nmero de molculas na urna A depois de n + 1 instantes de tempo s
depende do nmero de molculas na urna depois de n instantes de tempo, as probabilidades de transio no variam com o tempo e o nmero de estados finito.
EXEMPLO 2 Para este exemplo, suponha que k = 3. Ento as duas urnas contm um total de 6
molculas e os estados possveis para a cadeia de Markov so 0, 1, 2, 3, 4, 5 e 6. Em primeiro lugar,

note que, se a urna A contiver 0 molculas no instante n, ento a urna A conter 1 molcula no instante
n + 1 e, se a urna A contiver 6 molculas no instante n, ento a urna A conter 5 molculas no instante
n + 1. Em termos da matriz de transio P, isso significa que as colunas de P correspondentes aos
estados 0 e 6 so
Se a urna A contiver i molculas no instante n, com 0 < i < 6, ento a urna A conter i + 1 ou i 1
molculas no instante n + 1. Para que ocorra uma transmisso de i para i 1 molculas, uma das i
molculas na urna A tem de ser selecionada para se mover; esse evento ocorre com probabilidade i/6.
Analogamente, uma transmisso de i para i + 1 molculas ocorre quando uma das 6 i molculas
na urna B selecionada, e isso ocorre com probabilidade (6 i)/6. Fazendo i variar de 1 a 5, gerase as colunas de P correspondente a esses estados, e a matriz de transio para o modelo da urna de
Ehrenfest com k = 3
A Figura 2 mostra o diagrama de transio dessa cadeia de Markov. Outros modelos para a difuso
sero considerados nos Exerccios para esta seo.
FIGURA 2 Diagrama de transmisso para o modelo da urna de Ehrenfest.
Passeios Aleatrios em {1, , n}

H muito tempo que o movimento molecular vem sendo estudado em fsica. Einstein e outros investigaram o Movimento Browniano, um modelo matemtico para o movimento de uma molcula exposta
a colises com outras molculas. A anlise do Movimento Browniano bem complicada, mas uma
verso discreta, chamada passeio aleatrio, fornece uma introduo a esse modelo importante. Pense
nos estados {1, 2, , n} como contidos em uma reta. Coloque uma molcula em um ponto que no
est em uma das extremidades. Em cada passo, a molcula se move uma unidade para a esquerda com
probabilidade p e uma unidade para a direita com probabilidade 1 p. Veja a Figura 3. A molcula ento passeia aleatoriamente ao longo da reta. Se p = , o passeio simples ou imparcial. Se p ,
o passeio dito tendencioso.
52 Captulo 10
1p
...
1p
k2
k1
1p
1p
k+1
k
p
k + 2 ...
FIGURA 3 Uma representao grfica de um passeio aleatrio.
A molcula tem de se mover para a esquerda ou para a direita nos estados 2, , n 1, mas no
pode fazer isso nas extremidades 1 e n. As possibilidades de movimento para as molculas nas extremidades 1 e n tm de ser especificadas. Uma possibilidade que elas permaneam para sempre em
uma extremidade quando chegam l: isto chamado passeio aleatrio com fronteiras absorventes e as extremidades 1 e n so chamadas estados absorventes. Outra possibilidade ter a molcula
quicando de volta uma unidade ao atingir uma extremidade: isto chamado passeio aleatrio com
fronteiras refletoras.
EXEMPLO 3 Um passeio aleatrio em {1, 2, 3, 4, 5} com fronteiras absorventes tem matriz de

transio
j que uma molcula no estado 1 tem probabilidade 1 de permanecer no estado 1 e uma molcula no
estado 5 tem probabilidade 1 de permanecer no estado 5. Um passeio aleatrio em {1, 2, 3, 4, 5} com
fronteiras refletoras tem matriz de transio
j que uma molcula no estado 1 tem probabilidade 1 de se mover para o estado 2 e uma molcula no
estado 5 tem probabilidade 1 de se mover para o estado 4.

Alm de sua utilizao em fsica, passeios aleatrios tambm ocorrem em problemas relacionados
a jogos e suas variaes mais aceitveis socialmente: a bolsa de valores e a indstria de seguros.
EXEMPLO 4 Considere um jogo de cassino muito simples. Um jogador (que ainda tem algum dinheiro
para jogar) joga uma moeda imparcial dizendo se vai dar cara ou coroa. Se ele estiver correto, ganhar
um real; se estiver errado, perder um real. Suponha que o jogador ir parar de jogar quando tiver
ganhado n reais ou quando tiver perdido todo seu dinheiro.
1
7
FIGURA 4 Um grafo com
sete vrtices.
Suponha que n = 7 e o jogador comeou com R$4,00. Note que os ganhos aumentam ou diminuem
de um real a cada jogada da moeda e, uma vez que os ganhos do jogador chegam a 0 ou 7, eles no
variam mais, pois o jogador vai parar de jogar. Assim, os ganhos do jogador podem ser modelados
por um passeio aleatrio em {0, 1, 2, 3, 4, 5, 6, 7} com fronteiras absorventes. Como a probabilidade
de o ganho aumentar ou diminuir a mesma, p = e o passeio simples.
Passeios Aleatrios em Grafos

til efetuar passeios aleatrios em objetos geomtricos diferentes de uma reta unidimensional. Por
exemplo, um grafo uma coleo de pontos e segmentos de reta ligando alguns dos pontos. Os pontos em um grafo so chamados vrtices ou ns, e as arestas que ligam os vrtices so denominadas
arestas. Na Figura 4, os vrtices esto numerados de 1 a 7.
Para definir um passeio aleatrio em um grafo, permita que a cadeia se mova de vrtice em vrtice. Em cada estgio, a cadeia tem a mesma probabilidade de se mover ao longo de qualquer uma das
arestas ligadas ao vrtice. Por exemplo, se a molcula estiver no estado 5 na Figura 4, ela tem probabilidade de se mover para o estado 2 e probabilidade de se mover para o estado 6. Esta cadeia
de Markov chamada um passeio simples em um grafo.
EXEMPLO 5 O passeio aleatrio simples no grafo na Figura 4 tem matriz de transio
Encontre a probabilidade de que a cadeia na Figura 4 mude do estado 6 para o estado 2 em exatamente trs passos ou estgios.
SOLUO Calcule
Logo, a probabilidade de se mover do estado 6 para o estado 2 em exatos trs passos 0,0417.
Algumas vezes, pode ser til interpretar um processo aleatrio como um passeio aleatrio em um
grafo.
EXEMPLO 6 Suponha que um camundongo percorra o labirinto de cinco compartimentos esquerda
na Figura 5. Em cada instante (ou estgio), o camundongo se move para um compartimento diferente.
Quando ele estiver em um compartimento, ele pode escolher qualquer uma das portas do compartimento
com a mesma probabilidade. Note que o movimento do camundongo pode ser modelado por uma
cadeia de Markov. Encontre a probabilidade de que um camundongo comeando no compartimento
3 retorne a ele em exatamente cinco estgios.
2
3
1
4
2
3
4
5
FIGURA 5 Labirinto com cinco compartimentos com grafo sobreposto.
SOLUO A Figura 5 direita mostra um grafo sobreposto ao labirinto. Note que o movimento do ca-
mundongo idntico a um passeio aleatrio simples no grafo, de modo que a matriz de transio
54 Captulo 10
Logo, a probabilidade de um retorno ao compartimento 3 depois de exatamente cinco estgios
0,2701.
1
7
FIGURA 6 Um grafo direcio-
nado com sete vrtices.
Outro objeto interessante no qual se efetua um passeio aleatrio um grafo direcionado. Um grafo
direcionado um grafo no qual as arestas contm setas indicando o sentido de percurso. Veja a Figura 6.
Para efetuar um passeio aleatrio simples em um grafo direcionado, permita que a cadeia se mova
entre os vrtices apenas nos sentidos indicados pelas setas. Em cada estgio, as probabilidades de
movimento do vrtice (estado) atual ao longo de qualquer aresta saindo desse vrtice so iguais. Por
exemplo, se a molcula estiver no estado 6 na Figura 6, ela ter probabilidade de se mover para o
estado 3, para o estado 5 ou para o estado 7.
O algoritmo PageRank usado pelo Google para ordenar a importncia das pginas na rede World
Wide Web (veja a Introduo deste captulo) comea com um passeio aleatrio simples em um grafo
direcionado. A rede modelada como um grafo direcionado em que os vrtices so as pginas, e
desenhada uma seta da pgina j para a pgina i se existir um hiperlink na pgina j levando pgina i.
Uma pessoa surfa aleatoriamente da seguinte maneira: quando chega a uma pgina, escolhe um link
contido na pgina com a mesma probabilidade de qualquer outro link saindo. A pessoa ento segue
o link, chegando a outra pgina. A pessoa que surfa a rede dessa forma est efetuando um passeio
aleatrio simples no grafo direcionado que a rede World Wide Web.
EXEMPLO 7 Considere um conjunto de sete pginas com hiperlinks como os indicados na Figura
6. Se a pessoa que vai fazer o passeio aleatrio comear na pgina 5, encontre a probabilidade de que
estar na pgina 3 depois de clicar quatro vezes no mouse seguindo um hiperlink.
SOLUO A matriz de transio para o passeio aleatrio simples no grafo direcionado
Note que no h arestas saindo do estado 4 nem do estado 7 na Figura 6. Se a pessoa acessar um link
que chega a uma dessas pginas, no haver mais links a seguir.1 Por essa razo, as probabilidades
de transio p44 e p77 so iguais a 1 a cadeia tem de permanecer no estado 4 ou no estado 7 para
sempre quando entra em um desses estados. Calculando x4, obtm-se
de modo que a probabilidade de estar na pgina 3 depois de exatamente quatro cliques no mouse
0,0880.
No permitido o uso da tecla que volta para a pgina anterior: o estado da cadeia antes do instante n no pode ter efeito
em seu estado no instante n + 1 ou mais adiante.
1
Os estados 4 e 7 so estados absorventes para a cadeia de Markov no exemplo anterior. Em termos

tcnicos, esses vrtices so chamados ns pendurados e so bastante comuns na rede; pginas de
dados, em particular, no contm links em geral. Os ns pendurados iro aparecer na prxima seo,
em que o algoritmo PageRank ser explicado.
Como observado na Seo 4.9, as perguntas mais interessantes sobre cadeias de Markov so as
relacionadas com seu comportamento em longo prazo ou seja, o comportamento de xn quando n
aumenta. Esse estudo ocupar uma boa parte deste captulo. As questes mais importantes em nosso
estudo sero se a sequncia de vetores {xn} est convergindo para algum limite quando n aumenta e
como interpretar esse vetor limite se existir. A convergncia ser discutida na prxima seo.
PROBLEMAS PRTICOS
1. Complemente os elementos que esto faltando na matriz estocstica a seguir.
2. No modelo de transmisso de sinal no Exemplo 1, suponha que p = 0,97. Encontre a probabilidade

de que o sinal 1 ser um 0 depois de um processo de transmisso em trs estgios.
10.1 EXERCCIOS
Nos Exerccios 1 e 2, determine se P uma matriz estocstica. Se no
for, explique por qu.
Nos Exerccios 3 e 4, calcule x3 de duas maneiras: calculando x1 e x2, e

calculando P3.
Nos Exerccios 5 e 6, dada a matriz de transio P de uma cadeia de

Markov com estados 0 e 1. Suponha que, em cada caso, a cadeia comece
no estado 0 no instante n = 0. Encontre a probabilidade de que a cadeia
estar no estado 1 no instante n.
10. Considere um par de urnas de Ehrenfest A e B. Agora, a urna A no

contm nenhuma molcula e a urna B contm 5 molculas. Qual a
probabilidade de que exatamente a mesma situao ocorrer depois de

a. 4 selees?

b. 5 selees?
11. Considere um passeio aleatrio imparcial no conjunto {1, 2, 3, 4}.
Qual a probabilidade de se mover de 2 para 3 em exatamente 3
passos se o passeio tiver

a. fronteiras refletoras?

b. fronteiras absorventes?
12. Considere um passeio aleatrio tendencioso no conjunto {1, 2, 3,
4} com probabilidade p = 0,2 de se mover para a esquerda. Qual
a probabilidade de se mover de 2 para 3 em exatamente 3 passos se
o passeio tiver

a. fronteiras refletoras?

b. fronteiras absorventes?
Nos Exerccios 13 e 14, encontre a matriz de transio para o passeio
aleatrio simples no grafo dado.
1
Nos Exerccios 7 e 8, dada a matriz de transio P de uma cadeia de

Markov com estados 0, 1 e 2. Suponha que, em cada caso, a cadeia comece no estado 0 no instante n = 0. Encontre a probabilidade de que a
cadeia estar no estado 1 no instante n.
Nos Exerccios 15 e 16, encontre a matriz de transio para o passeio

aleatrio simples no grafo direcionado dado.
1
4
3
9. Considere um par de urnas de Ehrenfest A e B. Existem agora 3

molculas na urna A e uma na urna B. Qual a probabilidade de
que exatamente a mesma situao ocorrer depois de

a. 4 selees?

b 5 selees?
Nos Exerccios 17 e 18, suponha que um camundongo perambule pelo

labirinto dado. O camundongo tem de se mover para um compartimento
56 Captulo 10
diferente em cada instante de tempo e igualmente provvel que escolha

qualquer uma das portas disponveis.
17. O camundongo colocado no compartimento 2 do labirinto a
seguir.

a. Construa uma matriz de transio e um vetor de probabilidade
inicial para o movimento do camundongo.

b. Quais as probabilidades de que o camundongo estar em cada
um dos compartimentos depois de 3 movimentos?
2
3

seguir.


b. Quais as probabilidades de que o camundongo estar em cada um
dos compartimentos depois de 4 movimentos?
1
2
4
3
5
Nos Exerccios 19 e 20, suponha que um camundongo perambule pelo

labirinto dado e algumas dessas portas so de mo nica: s tem largura suficiente para o camundongo se espremer em apenas um sentido.
O camundongo ainda tem de se mover para um compartimento diferente
em cada instante de tempo, se possvel. Ao encontrar aberturas acessveis
em dois ou mais compartimentos, o camundongo escolher com a mesma
probabilidade qualquer uma delas.
seguir.


b. Quais as probabilidades de que o camundongo estar em cada um
dos compartimentos depois de 4 movimentos?
20. O camundongo colocado no compartimento 1 do labirinto a seguir.


b. Quais as probabilidades de que o camundongo estar em cada
um dos compartimentos depois de 3 movimentos?
2
3
21. a. A soma dos elementos em cada coluna de uma matriz de transi o para uma cadeia de Markov tem de ser igual a 1.

b. A matriz de transio P pode variar com o tempo.

c. O elemento (i, j) em uma matriz de transio P fornece a proba bilidade de um movimento do estado j para o estado i.
22. a. A soma dos elementos em cada linha de uma matriz de transio
para uma cadeia de Markov tem de ser igual a 1.

b. Se {xn} denotar uma cadeia de Markov, ento xn+1 s poder de pender da matriz de transio e de xn.

c. O elemento (i, j) em P3 fornece a probabilidade de um movimento
do estado i para o estado j em exatamente trs instantes.
23. Em qualquer dia, o tempo em Charlotte, na Carolina do Norte, pode
ser classificado como ensolarado, nublado ou chuvoso. Dados de
20032 mostram que

Se um dia est ensolarado, ento o dia seguinte estar ensolara do com probabilidade 0,65, estar nublado com probabilidade
0,1 e estar chuvoso com probabilidade 0,25.

Se um dia est nublado, ento o dia seguinte estar ensolarado com
probabilidade 0,25, estar nublado com probabilidade 0,25 e
estar chuvoso com probabilidade 0,5.

Se um dia est chuvoso, ento o dia seguinte estar ensolarado
com probabilidade 0,25, estar nublado com probabilidade 0,15
e estar chuvoso com probabilidade 0,60.

Suponha que o dia est nublado em uma segunda-feira. Use uma
cadeia de Markov para determinar as probabilidades de cada um
dos tipos de tempo na sexta-feira seguinte.
24. Suponha que se vai chover ou no em Charlotte amanh depende
das condies do tempo hoje e ontem. Dados de 20032 mostram
que

Se choveu ontem e hoje, ento a probabilidade de que chova
amanh ser de 0,58.

Se choveu ontem, mas no hoje, ento a probabilidade de que
chova amanh ser de 0,29.

Se choveu hoje, mas no ontem, ento a probabilidade de que

Se no choveu ontem nem hoje, ento a probabilidade de que

Embora o tempo dependa dos dois ltimos dias nesse caso, podemos
criar um modelo de cadeia de Markov usando os estados

1 choveu ontem e hoje

2 choveu ontem, mas no hoje

3 choveu hoje, mas no ontem

4 no choveu ontem nem hoje

Ento, por exemplo, a probabilidade de transio do estado 1 para
o estado 1 de 0,58 e a probabilidade de transio do estado 1 para
o estado 3 0.

a. Complete a matriz de transio para essa cadeia de Markov.

b. Se chover na tera-feira e no chover na quarta, qual ser a pro babilidade de que no ir chover no prximo fim de semana?
25. Considere um conjunto de quatro pginas da rede com hiperlinks
dados pelo grafo direcionado no Exerccio 15. Se uma pessoa que
surfa aleatoriamente comear na pgina 1, quais sero as probabilidades de que a pessoa estar em cada uma das pginas depois de
3 cliques?
26. Considere um conjunto de cinco pginas da rede com hiperlinks
dados pelo grafo direcionado no Exerccio 16. Se uma pessoa que
surfa aleatoriamente comear na pgina 2, quais sero as probabilidades de que a pessoa estar em cada uma das pginas depois de
4 cliques?
27. Considere um modelo de transmisso de sinais no qual os dados
so enviados como bytes de dois bits. Ento, existem quatro bytes
possveis: 00, 01, 10 e 11, que so os estados da cadeia de Markov.

Nos Exerccios 21 e 22, marque cada afirmao como Verdadeira ou Falsa. Justifique cada resposta.
http://www.wunderground.com/history/airport/KCLT/2003/1/1/MonthlyHistory.html.
2
Em cada estgio, existe uma probabilidade p de que cada bit passar sem mudana.

a. Construa a matriz de transio para esse modelo.

b. Suponha que p = 0,99. Encontre a probabilidade de que o sinal
01 ainda ser 01 depois de uma transmisso em trs est gios.
28. Considere um modelo para a transmisso de sinais no qual os dados so transmitidos como bytes de trs bits. Construa a matriz de
transio para esse modelo.
29. Outra verso para o modelo de Ehrenfest para a difuso comea com k
molculas de gs em cada urna. Uma das 2k molculas selecionada
aleatoriamente como no modelo de Ehrenfest no texto. A molcula
escolhida movida para a outra urna com probabilidade p e colocada de volta em sua prpria urna com probabilidade 1 p. (Note
que o modelo de Ehrenfest no texto igual a este com p = 1.)

a. Seja k = 3. Encontre a matriz de transmisso para esse modelo.

b. Seja k = 3 e p = . Se atualmente a urna A no contm molculas,
qual a probabilidade de que haver 3 molculas na urna A de pois de 5 selees?
30. Outro modelo para a difuso conhecido como o modelo de Bernoulli-Laplace. Duas urnas (A e B) contm um total de 2k molculas. Neste caso, k molculas so de um tipo (chamadas molculas
do tipo I) e k so de outro tipo (molculas do tipo II). Alm disso,
cada urna tem de conter k molculas em todos os instantes. Em cada
instante, seleciona-se um par de molculas, um de cada urna, e essas molculas mudam de urna. Considere a cadeia de Markov que
modela o nmero de molculas do tipo I na urna A (que igual ao
nmero de molculas do tipo II na urna B).

a. Suponha que existam j molculas do tipo I na urna A, com
0 < j < k. Explique por que a probabilidade de transio de j 1
molculas do tipo I na urna A (j/k)2 e por que probabilidade de
transio de j + 1 molculas do tipo I na urna A ((k j)/k)2.

b. Seja k = 5. Use o resultado no item (a) para criar a matriz de tran sio para a cadeia de Markov que modela o nmero de mol culas do tipo I na urna A.

c. Seja k = 5 e comece com todas as molculas de tipo I na urna A.
Qual a distribuio de molculas de tipo I depois de 3 instantes
de tempo?
31. Para ganhar uma partida no tnis, um dos jogadores tem de marcar
quatro pontos e, alm disso, pelo menos dois pontos a mais que seu
oponente. Se os dois jogadores fizerem o mesmo nmero de pontos (quatro ou mais), com o escore iguais no jargo do tnis, um
dos jogadores tem de fazer mais dois pontos seguidos para ganhar
a partida. Suponha que dois jogadores A e B estejam jogando uma
partida que est em iguais. Se A ganhar o prximo ponto, o escore
ser vantagem para A, enquanto, se B vencer o prximo ponto, o
escore ser vantagem para B. Se A estiver em vantagem e ganhar
o prximo ponto, A ganhar a partida. Se A estiver em vantagem e
B ganhar o prximo ponto, a partida voltar a ter escore iguais.

a. Suponha que a probabilidade de o jogador A ganhar qualquer
ponto seja p. Modele o progresso de uma partida de tnis come ando com o escore iguais e usando uma cadeia de Markov
com os cinco estados a seguir:
1 iguais
2 vantagem para A
3 vantagem para B
4 A ganha a partida
5 B ganha a partida
Encontre a matriz de transio para essa cadeia de Markov.

b. Seja p = 0,6. Encontre a probabilidade de que a partida esteja
no escore vantagem para B depois de trs pontos, comeando
em iguais.
32. O jogo de voleibol usa dois sistemas diferentes de contagem de
pontos* nos quais um dos times tem de vencer por pelo menos
dois pontos. Em ambos os sistemas, um rali comea com o golpe do saque pelo sacador at a bola estar fora do jogo ou tocar
o cho, ou um jogador cometer uma falta. O time que ganhar o
rali o prximo a sacar. As partidas podem ser de 15, 25 ou 30
pontos.

a. Em uma pontuao por rali, o time que ganha um rali ganha
um ponto, independente de qual time sacou. Suponha que o time
A tenha probabilidade p de ganhar um rali no qual sacou, e o
time B tenha probabilidade q de ganhar um rali no qual sacou.
Modele o progresso de um jogo de voleibol usando uma cadeia
de Markov com os seis estados a seguir.
1 empate saque de A
2 empate saque de B
3 A ganhando de um ponto saque de A
4 B ganhando de um ponto saque de B
5 A ganha a partida
6 B ganha a partida

Encontre a matriz de transio para esta cadeia de Markov

b. Suponha que os dois times esto empatados 15-15 em uma par tida de 15 pontos, e o time A esteja servindo. Sejam p = q = 0,6.
Encontre a probabilidade de que a partida ainda no ter termi nado depois de trs ralis.

c. Na pontuao por fora, o time s ganha um ponto ao final do
rali se for o time que serviu o saque. Suponha que o time A te nha probabilidade p de ganhar um rali no qual sacou, e o time
B tenha probabilidade q de ganhar um rali no qual sacou. Mo dele o progresso de um jogo de voleibol usando uma cadeia de
Markov com os oito estados a seguir.
1 empate saque de A
2 empate saque de B
3 A ganhando de um ponto saque de A
4 A ganhando de um ponto saque de B
5 B ganhando de um ponto saque de A
6 B ganhando de um ponto saque de B
7 A ganha a partida
8 B ganha a partida

Encontre a matriz de transio para essa cadeia de Markov.

d. Suponha que os dois times estejam empatados 15-15 em uma
partida de 15 pontos, e o time A esteja servindo. Sejam
p = q = 0,6. Encontre a probabilidade de que a partida ainda no
ter terminado depois de trs ralis.
33. Suponha que P seja uma matriz estocstica com todos seus elementos maiores ou iguais a p. Mostre que todos os elementos em Pn so
maiores ou iguais a p para n = 1, 2, .
*Nas regras oficiais aprovadas em 2010, os sets so de 25 pontos e a pontuao por rali. (N.T.)
SOLUES DOS PROBLEMAS PRTICOS
1. Como uma matriz estocstica tem de ter a soma de cada coluna igual a 1,
58 Captulo 10
2. A matriz de transio para o modelo
Como o sinal comea em 1, o vetor de probabilidade inicial
Para encontrar a probabilidade de uma transio em trs estgios, calcule
A probabilidade de uma mudana para 0 0,0847.
10.2 O VETOR ESTADO ESTACIONRIO E O PAGERANK DA GOOGLE

Como vimos na Seo 4.9, o aspecto mais interessante de uma cadeia de Markov seu comportamento no longo prazo: o comportamento de xn quando n aumenta indefinidamente. Em muitos casos,
a sequncia de vetores {xn} converge para um vetor chamado vetor estado estacionrio para a cadeia de Markov. Esta seo far uma reviso do clculo do vetor estado estacionrio de uma cadeia
de Markov, explicar como interpretar esse vetor, caso exista, e oferecer uma verso expandida do
Teorema 18 na Seo 4.9, que descreve as circunstncias sob as quais {xn} converge para um vetor
estado estacionrio. Esse teorema ser aplicado ao modelo de cadeia de Markov usado para a rede
World Wide Web na seo precedente e mostrar como obter o mtodo PageRank para a ordem de
relevncia de pginas da rede.
Vetores Estado Estacionrio

Em muitos casos, a cadeia de Markov xn e a matriz Pn variam muito pouco para valores grandes de n.
EXEMPLO 1 Para comear, lembre o Exemplo 3 na Seo 4.9. Aquele exemplo tratava de uma
cadeia de Markov com matriz de transio
L foi visto que os vetores xn convergem para o vetor

ser escrito como
ser calculadas:
e vetor de probabilidade inicial
Esse resultado pode
Potncias cada vez maiores da matriz de transio tambm podem
de modo que a sequncia de matrizes {Pn} tambm parece estar convergindo a uma matriz quando
n aumenta, e essa matriz tem a propriedade estranha de que todos as suas colunas so iguais a q. O
exemplo tambm mostrou que Pq = q. Essa equao forma a definio do vetor estado estacionrio
e fornece uma maneira direta de calcul-lo.
DEFINIO
Se P for uma matriz estocstica, ento um vetor estado estacionrio (ou vetor de equilbrio ou
vetor de probabilidade invariante) para P ser um vetor de probabilidade q tal que
Pq = q
Os Exerccios 36 e 37 mostraro que toda matriz estocstica P tem um vetor estado estacionrio
q. Note que 1 tem de ser um autovalor de qualquer matriz estocstica e o vetor estado estacionrio
um vetor probabilidade que tambm um autovetor de P associado ao autovalor 1.
Embora a definio de vetor estado estacionrio torne o clculo de q direto, ela tem uma grande desvantagem, j que existem cadeias de Markov que tm um vetor estado estacionrio q, mas
a definio no suficiente para que xn convirja. Os Exemplos de 3 a 5 a seguir mostram coisas diferentes que podem acontecer para que xn no convirja. Mais adiante, nesta seo, enunciaremos de
novo as condies sob as quais
. Por enquanto, considere que q significa que
,
como no exemplo anterior. Quando
, existem dois modos de interpretar este vetor:
Como xn aproximadamente igual a q para valores grandes de n, as coordenadas de q aproximam a

probabilidade de que a cadeia esteja em cada estado depois de n instantes de tempo. Assim, no exemplo anterior, independente do valor do vetor de probabilidade inicial, depois de muito tempo, a probabilidade de que a cadeia esteja no estado 1 aproximadamente igual a q1 = 0,3. De forma anloga,
a probabilidade de que a cadeia esteja no estado 2, no futuro distante, aproximadamente igual a q2 =
0,6, e a probabilidade de que a cadeia esteja no estado 3, no futuro distante, aproximadamente igual
a q3 = 0,1. Ento, as coordenadas de q fornecem as probabilidades no longo prazo.
Quando N grande, q aproxima xn para quase todos os valores de n N. Logo, as coordenadas de q
aproximam a proporo de instantes de tempo que a cadeia gasta em cada estado. No exemplo anterior, a cadeia acabar ficando 0,3 dos instantes de tempo no estado 1, 0,6 dos instantes de tempo no
estado 2 e 0,1 dos instantes de tempo no estado 3. Isso significa que as coordenadas de q fornecem a
proporo de tempo gasta em cada estado, chamada tempo de ocupao para cada estado.
EXEMPLO 2 Para uma aplicao do clculo de q, considere o exemplo do camundongo em um
labirinto (Exemplo 6, Seo 10.1). Nesse exemplo, a posio do camundongo em um labirinto com
cinco compartimentos modelada por uma cadeia de Markov com cinco estados {1, 2, 3, 4, 5} e
matriz de transio
O vetor estado estacionrio pode ser calculado resolvendo-se o sistema Pq = q, que equivalente ao
sistema homogneo (P I)q = 0. Escalonando a matriz, obtm-se
de modo que a soluo geral
Escolhendo q5 igual ao inverso da soma das coordenadas do vetor resulta no vetor estado estacionrio
60 Captulo 10
De novo, existem duas interpretaes para q: probabilidades no longo prazo e tempos de ocupao.
Depois de muitos movimentos, a probabilidade de que o camundongo estar no compartimento 1
em determinado instante 1/7 independente de onde o camundongo comeou sua jornada. Dito de
outra forma, espera-se que o camundongo fique no compartimento 1 durante 1/7 (aproximadamente
14,3%) do tempo.
Mais uma vez, note que as potncias altas da matriz de transio P so matrizes cujas colunas
convergem para q; por exemplo,
As colunas de P10 so praticamente iguais umas s outras, e cada coluna tambm quase igual a q.
Interpretao do Vetor Estado Estacionrio

Como j observamos, toda matriz estocstica tem um vetor estado estacionrio, mas, em alguns casos,
esse vetor no pode ser interpretado como um vetor de probabilidades no longo prazo nem como um
vetor de tempos de ocupao. Os exemplos a seguir mostram algumas dificuldades.
EXEMPLO 3 Considere um passeio aleatrio imparcial em {1, 2, 3, 4, 5} com fronteiras absorventes.

A matriz de transio
Note que s existem duas possibilidades no longo prazo para essa cadeia: ela tem de terminar no estado 1 ou no estado 5. Ento, a probabilidade de que a cadeia esteja em um dos estados 2, 3 ou 4 fica
cada vez menor medida que n aumenta, como Pn ilustra:
Parece que Pn converge para a matriz
quando n aumenta. Mas as colunas dessa matriz no so iguais; a probabilidade de terminar em 1 ou

em 5 depende de onde a cadeia comeou. Embora a cadeia tenha vetores estado estacionrios, eles no
podem ser interpretados como no Exemplo 1. O Exerccio 31 confirma que, se 0 q 1, o vetor
um vetor estado estacionrio para P. Essa matriz tem um nmero infinito de vetores estado estacionrios possveis, o que mostra de outra forma que no se pode esperar que xn tenha um comportamento
convergente independente de x0.
EXEMPLO 4 Considere um passeio aleatrio imparcial em {1, 2, 3, 4, 5} com fronteiras refletoras.

A matriz de transio
Se a cadeia xn comear no estado 1, note que ela s poder retornar a 1 quando n for par, enquanto a
cadeia s poder estar no estado 2 quando n for mpar. De fato, a cadeia tem de estar em um estado
par quando n for mpar e tem de estar em um estado mpar quando n for par. Se a cadeia comear no
estado 2, no entanto, esta situao ficar invertida: a cadeia ter de estar em um estado mpar quando
n for mpar e ter de estar em um estado par quando n for par. Portanto, Pn no pode convergir para
uma nica matriz, j que Pn tem uma aparncia muito diferente dependendo se n for par ou mpar:
Embora Pn no convirja para uma nica matriz, P tem um vetor estado estacionrio. De fato,
um vetor estado estacionrio para P (veja o Exerccio 32). Esse vetor pode ser interpretado como
fornecendo probabilidades no longo prazo e tempos de ocupao em um sentido que ficar preciso
na Seo 10.4.
EXEMPLO 5 Considere uma cadeia de Markov em {1, 2, 3, 4, 5} com matriz de transio
Se essa cadeia de Markov comear no estado 1, 2 ou 3, ento ela sempre ter de estar em um desses
estados. Analogamente, se ela comear no estado 4 ou 5, ento sempre ter de estar em um desses estados. A cadeia se divide em duas cadeias separadas, cada uma delas com seu prprio vetor estado estacionrio. Nesse caso, Pn converge para uma matriz cujas colunas no so iguais. Ambos os vetores
satisfazem a definio de vetor estado estacionrio (Exerccio 33). O primeiro vetor fornece as probabilidades limites se a cadeia comear em um dos estados 1, 2 ou 3, e o segundo faz o mesmo para
os estados 4 e 5.
62 Captulo 10
Matrizes Regulares
Os Exemplos 1 e 2 mostram que, em alguns casos, uma cadeia de Markov xn com matriz de transio
P tem um vetor estado estacionrio q para o qual
Nesses casos, q pode ser interpretado como um vetor de probabilidades no longo prazo ou como um
vetor de tempos de ocupao para a cadeia. Essas probabilidades ou tempos de ocupao no dependem do vetor de probabilidade inicial, ou seja, para qualquer vetor de probabilidade x0,
Note tambm que q o nico vetor de probabilidade que tambm um autovetor de P associado ao
autovalor 1.
Nos Exemplos 3, 4 e 5, tal vetor estado estacionrio q no existe. Nos Exemplos 3 e 5, o vetor
estado estacionrio no nico; em todos os trs exemplos, a matriz Pn no converge para uma matriz tendo as colunas iguais quando n aumenta. O objetivo, ento, encontrar alguma propriedade
da matriz de transio P que leva a esses comportamentos diferentes e mostrar que essa propriedade
causa as diferenas no comportamento.
Alguns clculos mostram que, nos Exemplos 3, 4 e 5, todas as matrizes da forma Pk tem alguns
elementos nulos. Nos Exemplos 1 e 2, no entanto, alguma potncia de P tem todos os elementos positivos. Como mencionado na Seo 4.9, esta a exata e propriedade necessria.
DEFINIO
Uma matriz estocstica P regular se alguma potncia Pk contiver apenas elementos estritamente positivos.
Como a matriz Pk contm as probabilidades de movimentos em k estgios (ou passos) de um estado para outro, uma cadeia de Markov com uma matriz de transio regular tem a propriedade de que,
para algum k, possvel a cadeia se mover de qualquer estado para qualquer outro estado em exatamente k passos. O teorema a seguir expande o contedo do Teorema 18 na Seo 4.9. Uma ideia tem
de ser apresentada antes de apresentar o teorema. O limite de uma sequncia de matrizes m n a
matriz m n (se existir) cujo elemento (i, j) o limite dos elementos (i, j) na sequncia de matrizes.
Com essa compreenso, eis o teorema.
TEOREMA 1
Se P for uma matriz de transio regular m m com m 2, as afirmaes a seguir sero todas
verdadeiras.
a. Existe uma matriz estocstica tal que
b. Todas as colunas de so iguais ao mesmo vetor de probabilidade q.
c. Para qualquer vetor de probabilidade inicial x0,
d. O vetor q o nico vetor de probabilidade que um autovetor de P associado ao autovalor 1.
e. Todos os autovalores de P diferentes de 1 satisfazem || < 1.
O Apndice 1 contm uma demonstrao do Teorema 1. Esse teorema um caso particular do Teorema de Perron-Frobenius, que usado em aplicaes da lgebra linear economia, teoria dos grafos
e anlise de sistemas. O Teorema 1 mostra que uma cadeia de Markov com uma matriz de transio
regular tem as propriedades encontradas nos Exemplos 1 e 2. Por exemplo, como a matriz de transio P no Exemplo 1 regular, o Teorema 1 justifica a concluso que Pn converge a uma matriz
estocstica com todas as colunas iguais a
como a evidncia numrica parecia indicar.
PageRank e a Matriz do Google

Na Seo 10.1, foi definida a noo de passeio aleatrio simples em um grafo. A rede World Wide
Web pode ser modelada como um grafo direcionado com os vrtices representando as pginas e as
arestas representando os links entre as pginas. Seja P a matriz de transio imensa para essa cadeia
de Markov. Se a matriz P fosse regular, o Teorema 1 mostraria que existe um vetor estado estacionrio
q para a cadeia e as coordenadas de q poderiam ser interpretadas como tempos de ocupao para cada
estado. Em termos do modelo, as coordenadas de q diriam que frao do tempo da pessoa surfando
seria gasta em cada pgina. Os fundadores do Google, Sergey Brin e Lawrence Page, raciocinaram que
pginas importantes receberiam links de pginas importantes. Assim, a pessoa surfando de forma
aleatria gastaria mais tempo em pginas importantes e menos tempo em pginas menos importantes.
Mas a quantidade de tempo gasta em cada pgina simplesmente o tempo de ocupao daquele estado na cadeia de Markov. Essa observao a base para o algoritmo PageRank, que o modelo usado
pelo Google para ordenar por importncia todas as pginas na rede catalogadas por ele.
A importncia de uma pgina na rede medida pelo tamanho relativo da coordenada correspondente
no vetor estado estacionrio q para uma cadeia de Markov escolhida de modo apropriado.
1
Infelizmente, um passeio aleatrio simples no modelo de grafo direcionado para a rede no

a cadeia de Markov apropriada, porque a matriz P no regular. Ento, o Teorema 1 no pode ser
aplicado. Por exemplo, considere o modelo de rede com sete pginas na Seo 10.1 usando o grafo
direcionado na Figura 1. A matriz de transio
7
FIGURA 1 Uma rede com
sete pginas.
As pginas 4 e 7 so ns pendurados, de modo que so estados absorventes para a cadeia. Como no

Exemplo 3, a presena de estados absorventes implica os vetores de estado xn no tenderem a um
nico limite quando n . Para tratar ns pendurados, preciso fazer um ajuste em P:
AJUSTE 1: Se a pessoa surfando na rede chegar a um n pendurado, ela ir escolher qualquer pgina
na rede com a mesma probabilidade e mover para aquela pgina. Em termos da matriz de transio
P, se o estado j for um estado absorvente, substitua a coluna j de P pelo vetor
no qual n o nmero de linhas (e colunas) em P.

No exemplo com sete pginas, a matriz de transio agora
Mas esse ajuste ainda no suficiente para garantir que a matriz de transio seja regular: embora
no existam mais ns pendurados, ainda possvel existirem ciclos de pginas. Se a pgina j s tiver links para a pgina i e a pgina i s tiver links para a pgina j, uma pessoa que chegue a qualquer
uma dessas pginas ficar condenada a passar a eternidade clicando da pgina i para a pgina j e de
volta. Assim, as colunas de P*k correspondentes a essas pginas sempre teriam elementos nulos nelas
e a matriz de transio P* no seria regular. necessrio outro ajuste
AJUSTE 2: Seja p um nmero entre 0 e 1. Suponha que a pessoa surfando a rede esteja agora na
pgina j. Com probabilidade p, a pessoa ir escolher uma pgina entre todos as que recebem links
da pgina j com probabilidades iguais e ir se mover para aquela pgina. Com probabilidade 1 p,
64 Captulo 10
a pessoa ir escolher qualquer pgina na rede com probabilidades iguais e ir se mover para aquela
pgina. Em termos da matriz de transio P*, a nova matriz de transio ser
em que K uma matriz n n com todas as colunas iguais a3
A matriz G chamada matriz do Google e G agora uma matriz regular, j que todos os elementos
em G1 = G so positivos. Embora qualquer valor de p entre 0 e 1 seja permitido, dizem que o Google
usa um valor de p = 0,85 para seus clculos no algoritmo PageRank. No exemplo da rede com sete
pginas, a matriz do Google
Agora possvel encontrar o vetor estado estacionrio q pelos mtodos desta seo:
de modo que a pgina mais importante de acordo com PageRank a pgina 3, que corresponde
maior coordenada de q. A ordenao completa 3, 2 e 6, 5, 1, 4 e 7.
COMENTRIO NUMRICO
O clculo de q no trivial, j que a matriz do Google tem mais de 8 bilhes de linhas e colunas. O Google usa uma verso do mtodo da potncia introduzido na Seo 5.8 para calcular
q. Embora o mtodo da potncia tenha sido usado naquela seo para estimar os autovalores de
PageRank usa, de fato, uma matriz K com todas as colunas iguais a um vetor de probabilidade v, que poderia estar ligado
a um pesquisador especfico ou a um grupo de pesquisadores. Esta modificao tambm torna mais fcil a verificao de
sites tentando gerar trfego na rede. Para mais informao, veja Googless PageRank and Beyond:The Science of Search
Engine Rankings de Amy N. Langville e Carl D. Meyer (Princeton: Princeton University Press, 2006).
3
uma matriz, ele tambm pode ser usado para fornecer estimativas para os autovetores. Como q
um autovetor de G correspondente ao autovalor 1, o mtodo da potncia aplicvel. Acontece
que so necessrias apenas 50 ou 100 iteraes do mtodo para obter o vetor q com a preciso
que o Google necessita para sua ordenao. Ainda assim, o Google demora dias para calcular
um novo q, o que feito todo ms.
PROBLEMA PRTICO
1. Considere a cadeia de Markov em {1, 2, 3} com matriz de transio.
a. Mostre que P uma matriz regular.

b. Encontre o vetor estado estacionrio para essa cadeia de Markov.
c. Que frao de tempo essa cadeia gasta no estado 2? Explique sua resposta.
10.2 EXERCCIOS
Nos Exerccios 1 e 2, considere a cadeia de Markov em {1, 2} com a
matriz de transio P dada. Em cada exerccio, use dois mtodos para encontrar a probabilidade de que, no longo prazo, a cadeia esteja no estado
1. Primeiro, eleve P a uma potncia grande. Depois, calcule diretamente
o vetor estado estacionrio.
1. P = 0, 2 0, 4
0, 8 0, 6
Nos Exerccios 3 e 4, considere uma cadeia de Markov em {1, 2, 3} com
a matriz de transio P dada. Em cada exerccio, use dois mtodos para
encontrar a probabilidade de que, no longo prazo, a cadeia esteja no estado
1. Primeiro, eleve P a uma potncia grande. Depois, calcule diretamente
o vetor estado estacionrio.
Nos Exerccios 5 e 6, encontre a matriz para a qual Pn converge quando

n aumenta.
Nos Exerccios 7 e 8, determine se a matriz dada regular. Explique

sua resposta.
a. Encontre a matriz de transio para a cadeia de Markov que

modela o nmero de molculas na urna A e mostre que essa
matriz no regular.

b. Supondo que o vetor estado estacionrio possa ser interpretado
como tempos de ocupao para essa cadeia de Markov, em qual
estado ela ficar mais tempo?
11. Considere um passeio aleatrio imparcial com fronteiras refletoras
em {1, 2, 3, 4}.

a. Encontre a matriz de transio para a cadeia de Markov e mostre
que essa matriz no regular.

como tempos de ocupao para esta cadeia de Markov, em qual
12. Considere um passeio aleatrio tendencioso com fronteiras refletoras em {1, 2, 3, 4} e probabilidade p = 0,2 para se mover para a
esquerda.

a. Encontre a matriz de transio para a cadeia de Markov e mostre
que essa matriz no regular.

Nos Exerccios 13 e 14, considere um passeio aleatrio simples no grafo
dado. No longo prazo, que frao de tempo o passeio ficar em cada um
dos diversos estados?
1
9. Considere um par de urnas Ehrenfest com um total de 4 molculas

divididas entre elas.

a. Encontre a matriz de transio para a cadeia de Markov que
modela o nmero de molculas na urna A e mostre que essa
matriz no regular.

10. Considere um par de urnas Ehrenfest com um total de 5 molculas
divididas entre elas.

dado. No longo prazo, que frao de tempo o passeio ficar em cada um
dos diversos estados?
1
4
3
17. Considere o camundongo no labirinto a seguir do Exerccio 17 da

Seo 10.1.
66 Captulo 10
2
3
O camundongo tem de se mover em um compartimento diferente

em cada instante de tempo e igualmente provvel que saia do compartimento por qualquer uma das passagens disponveis. Se voc
se afastar do labirinto por algum tempo, qual a probabilidade de
o camundongo estar no compartimento 3 quando voc voltar?
18. Considere o camundongo no labirinto a seguir do Exerccio 18 da
Seo 10.1.
1
2
4
Mostre que
um vetor estado estacionrio para a cadeia de Markov associada

e interprete este resultado em termos dos deslocamentos do camundongo pelo labirinto.
20. Considere o camundongo no labirinto a seguir, que inclui passagens
de mo nica.
1
2
3

Que frao de tempo ele passa no compartimento 3?
19. Considere o camundongo no labirinto a seguir, que inclui passagens
de mo nica, do Exerccio 19 da Seo 10.1.
madamente quantos dias em Charlotte foram ensolarados, quantos foram nublados e quantos foram chuvosos de acordo com o modelo?
24. Suponha que o tempo em Charlotte seja modelado pela cadeia de
Markov do Exerccio 24 na Seo 10.1. Ao longo de um ano, aproximadamente quantos dias em Charlotte foram chuvosos de acordo
com o modelo?
Nos Exerccios 25 e 26, considere um conjunto de pginas na rede com
os hiperlinks dados pelo grafo direcionado. Encontre a matriz do Google
para cada grfico e calcule a ordem de cada pgina no conjunto.
Que frao de tempo o camundongo gasta em cada compartimento

do labirinto?
21. a. Toda matriz estocstica tem um vetor estado estacionrio.

b. Se sua matriz de transio for regular, ento o vetor estado es tacionrio fornecer informao sobre as probabilidades no longo
prazo da cadeia de Markov.

c. Se = 1 for um autovalor de uma matriz P, ento P ser regular.
22. a. Toda matriz estocstica regular.

b. Se P for uma matriz estocstica regular, ento Pn se aproximar
de uma matriz com colunas iguais quando n aumenta.

c. Se
ento as coordenadas de q podero ser inter pretadas com tempos de ocupao.
23. Suponha que o tempo em Charlotte seja modelado pela cadeia de
Markov do Exerccio 23 na Seo 10.1. Ao longo de um ano, aproxi-
3
2
27. Uma caracterstica gentica governada, muitas vezes, por um par

de genes, um herdado de cada progenitor. Os genes podem ser de
dois tipos, muitas vezes marcados com A e a. Um indivduo pode
ter, ento, trs pares diferentes: AA, Aa (que igual a aA) ou aa.
Em muitos casos, os indivduos AA e Aa no podem ser distinguidos de outra forma; nesses casos, o gene A dominante e o gene
a recessivo. Analogamente, um indivduo AA dito dominante e
um indivduo aa dito recessivo. Um indivduo Aa chamado hbrido.

a. Mostre que, se um indivduo dominante cruzar com um hbrido,
a probabilidade de um filho ser dominante ser e a probabi lidade de um filho ser hbrido ser .

b. Mostre que, se um indivduo recessivo cruzar com um hbrido,
a probabilidade de um filho ser recessivo ser e a probabilidade
de um filho ser hbrido ser .

c. Mostre que, se um indivduo hbrido cruzar com outro hbrido,
a probabilidade de um filho ser dominante ser , a probabili dade de um filho ser recessivo ser e a probabilidade de um
filho ser hbrido ser .
28. Considere comear com um indivduo de tipo conhecido e cruz-lo
com um hbrido, depois cruzar um filho dessa cruza com um hbrido, e assim por diante. Em cada estgio, um descendente cruzado
com um hbrido. O tipo de descendente pode ser modelado por uma
cadeia de Markov com estados AA, Aa e aa.

a. Encontre a matriz de transio para essa cadeia de Markov.

b. Se esse processo de cruza continuar por um longo perodo de
tempo, que percentual dos descendentes ser de cada tipo?
29. Considere a variao do modelo de urnas de Ehrenfast para a difuso estudado no Exerccio 29 da Seo 10.1, em que uma das 2k
molculas escolhida aleatoriamente e depois movida de urna
com uma probabilidade fixa p.

a. Seja k = 3 e suponha que p = . Mostre que a matriz de transi o para a cadeia de Markov que modela o nmero de molculas
na urna A regular.

b. Seja k = 3 e suponha que p = . Em que estado a cadeia ficar
mais tempo e que frao de tempo a cadeia gastar nesse es tado?

c. A resposta no item (b) vai mudar se for usado um valor diferente
de p com 0 < p < 1?
30. Considere o modelo de difuso de Bernoulli-Laplace estudado no
Exerccio 30 da Seo 10.1.

a. Seja k = 5. Mostre que a matriz de transio para a cadeia de
Markov que modela o nmero de molculas do tipo I na urna A
regular.

b. Seja k = 5. Em que estado essa cadeia ficar mais tempo e que
frao de tempo a cadeia gastar nesse estado?
a. Para que valores de p e q a matriz P uma matriz estocstica

regular?

b. Dado que P regular, encontre um vetor estado estacionrio
para P.
36. Sejam A uma matriz estocstica m m, x pertencente a m e y = Ax.
Mostre que

com a igualdade sendo vlida se e somente se todos as coordenadas
no nulas de x tiverem o mesmo sinal.
37. Mostre que toda matriz estocstica tem um vetor estado estacionrio
usando o itinerrio a seguir.

a. Seja P uma matriz estocstica. Pelo Exerccio 30 na Seo 4.9,
= 1 um autovalor para P. Seja v um autovetor de P associa do ao autovalor = 1. Use o Exerccio 36 para concluir que to das as coordenadas no nulas de v tm o mesmo sinal.

b. Mostre como produzir um vetor estado estacionrio para P a
partir de v.
38. Considere um passeio aleatrio simples em um grafo conexo finito.
(Um grafo conexo se for possvel se mover de qualquer vrtice no
grafo para outro vrtice qualquer ao longo das arestas do grafo.)

a. Explique por que essa cadeia de Markov tem de ter uma matriz
de transio regular.

b. Use os resultados dos Exerccios 13 e 14 para conjecturar uma
frmula para o vetor estado estacionrio de tal cadeia de Markov.
39. Pelo Teorema 1(e), todos os autovalores de uma matriz regular
diferentes de 1 satisfazem || < 1, ou seja, o autovalor 1 um autovalor estritamente dominante. Suponha que P seja uma matriz regular n n com autovalores 1 = 1, , n ordenados de modo que
|1| > |2| |3| |n|. Suponha que x0 = c1q + c2v2 + + cnvn
seja uma combinao linear de autovetores de P.

a. Use a Equao (2) na Seo 5.8 para deduzir uma expresso
para xk = Pkx0.

b. Use o resultado do item (a) para deduzir uma expresso para
xk c1q e explique como o valor de |2| afeta a velocidade se gundo a qual {xk} converge para c1q.

31. Seja 0 q 1. Mostre que
um vetor estado estacionrio

para a cadeia no Exemplo 3.
32. Considere a cadeia de Markov no Exemplo 4.

a. Mostre que
um vetor estado estacionrio para essa
cadeia de Markov.

b. Calcule a mdia dos elementos em P20 e P21 dados no Exemplo
4. O que voc encontrou?
33. Mostre que
so vetores estado estacionrios
para a cadeia de Markov no Exemplo 5. Se for igualmente provvel

que a cadeia comece em qualquer um dos estados, qual a probabilidade de estar no estado 1 depois de muito tempo?
34. Sejam 0 p, q 1 e defina

a. Mostre que 1 e p + q 1 so autovalores de P.

b. Pelo Teorema 1, para que valores de p e q a matriz P no re gular?

c. Encontre um vetor estado estacionrio para P.
35. Sejam 0 p, q 1 e defina
SOLUO DO PROBLEMA PRTICO

1. a. Como
P regular por definio, com k = 2.

b. Resolva a equao Pq = q, que pode ser escrita na forma (P I)q = 0. Como
e o escalonamento da matriz aumentada fornece
a soluo geral q3
1) = 1/3 para obter
. Como q tem de ser um vetor de probabilidade, escolha q3 = 1/(1 + 1 +
c. A cadeia gastar 1/3 de seu tempo no estado 2, j que a coordenada correspondente ao estado 2
em q 1/3, e podemos interpretar as coordenadas como tempos de ocupao.
68 Captulo 10
10.3 CLASSES DE COMUNICAO

A Seo 10.2 mostrou que, se a matriz de transio para uma cadeia de Markov for regular, ento xn
ir convergir para um nico vetor estado estacionrio qualquer que seja a escolha do vetor de probabilidade inicial. Colocado de outra forma,
em que q o nico vetor estado estacionrio para a cadeia de Markov. Os Exemplos 3, 4 e 5 ilustram o fato de que, embora toda a cadeia de
Markov tenha um vetor estado estacionrio, nem toda a cadeia de Markov tem a propriedade de que
. O objetivo desta e da prxima seo estudar esses exemplos mais a fundo e mostrar
que os Exemplos 3, 4 e 5 na Seo 10.2 descrevem todas as maneiras segundo as quais uma cadeia
de Markov deixa de convergir para um vetor estado estacionrio. O primeiro passo estudar quais
estados da cadeia de Markov podem ser acessados a partir de outros estados na cadeia.
Estados que se Comunicam

Suponha que j e i sejam dois estados de uma cadeia de Markov. Se o estado j puder ser acessado em
um nmero finito de passos a partir do estado i e se o estado i puder ser acessado em um nmero finito de passos a partir do estado j, dizemos que os estados i e j se comunicam. Se P for a matriz de
transio para a cadeia, ento os elementos de Pk fornecero as probabilidades de se ir de um estado
para outro em k passos:
e as potncias de P podem ser usadas para se fazer a definio a seguir.
DEFINIO
Sejam i e j dois estados em uma cadeia de Markov com matriz de transio P. Ento, o estado i
se comunica com o estado j se existirem inteiros no negativos m e n tais que o elemento (j, i) de
Pm e o elemento (i, j) de Pn sejam ambos estritamente positivos. Em outras palavras, o estado i se
comunica com o estado j se for possvel ir do estado i para o estado j em m passos e do estado j
para o estado i em n passos.
Esta definio implica trs propriedades que iro permitir que se organize os estados de uma
cadeia de Markov em grupos denominados classes de comunicao. Note, primeiro, que a definio permite que os inteiros m e n sejam nulos, caso em que o elemento (i, i) de P0 = I igual a
1, que positivo. Isso garante que todo estado se comunique consigo mesmo. Como ambos (i, j)
e (j, i) esto includos na definio, claro que, se o estado i se comunicar com o estado j, ento
o estado j se comunicar com o estado i. Finalmente, voc ir mostrar, no Exerccio 36, que, se o
estado i se comunicar com o estado j e o estado j se comunicar com o estado k, ento o estado i se
comunicar com o estado k. Essas trs propriedades so chamadas, respectivamente, refletividade,
simetria e transitividade.
a. (Propriedade reflexiva) Cada estado se comunica consigo mesmo.
b. (Propriedade simtrica) Se o estado i se comunicar com o estado j, ento o estado j se comunicar
com o estado i.
c. (Propriedade transitiva) Se o estado i se comunicar com o estado j e o estado j se comunicar com
o estado k, ento o estado i se comunicar com o estado k.
Uma relao que tem essas trs propriedades chamada uma relao de equivalncia. A relao
de comunicao uma relao de equivalncia no espao de estados de uma cadeia de Markov. A
utilizao das propriedades listadas anteriormente simplifica a determinao de quais estados se
comunicam.
EXEMPLO 1 Considere um passeio aleatrio imparcial com fronteiras absorventes em {1, 2, 3, 4,

5}. Encontre quais estados se comunicam.
SOLUO A matriz de transio dada a seguir, e a Figura 1 mostra o diagrama de transio para
essa cadeia de Markov.
q
1
2
q
3
q
FIGURA 1 Passeio aleatrio imparcial com fronteiras absorventes.
Note, em primeiro lugar, que, pela refletividade, cada estado se comunica consigo mesmo. Isto fica
claro a partir do diagrama que os estados 2, 3 e 4 se comunicam entre si. Pode-se chegar mesma
concluso usando a definio, j que os elementos (2, 3), (3, 2), (3, 4) e (4, 3) na matriz P so positivos, o que significa que os estados 2 e 3 se comunicam, assim como os estados 3 e 4. Ento, pela
transitividade, os estados 2 e 4 tambm se comunicam. Agora, considere os estados 1 e 5. Se a cadeia
comear no estado 1, ela no poder se mover para outro estado alm de si mesmo. Ento no ser
possvel ir do estado 1 para outro estado e o estado 1 no se comunicar com nenhum outro estado.
Analogamente, o estado 5 no se comunicar com outro estado. Resumindo,
O estado 1 se comunica com o estado 1.
O estado 2 se comunica com os estados 2, 3 e 4.
O estado 5 se comunica com o estado 5.
Note que, embora os estados 1 e 5 no se comuniquem com os estados 2, 3 e 4, possvel ir de um
desses estados para o estado 1 ou o estado 5 em um nmero finito de passos: isto fica claro a partir
do diagrama ou pela confirmao de que os elementos apropriados nas matrizes P, P2 ou P3 so positivos.
No Exemplo 1, o espao de estados {1, 2, 3, 4, 5} pode ser dividido agora nas classes {1}, {2,
3, 4} e {5}. Os estados em cada uma dessas classes s se comunicam com membros da mesma
classe. Essa diviso do espao de estados ocorre porque a relao de comunicao uma relao
de equivalncia. A relao de comunicao define uma partio do espao de estados em classes
de comunicao. Cada estado em uma cadeia de Markov s se comunica com os membros de sua
classe de comunicao. Para a cadeia de Markov no Exemplo 1, as classes de comunicao so
{1}, {2, 3, 4} e {5}.
EXEMPLO 2 Considere um passeio aleatrio imparcial com fronteiras refletoras em {1, 2, 3, 4,

5}. Encontre as classes de comunicao para essa cadeia de Markov.
SOLUO A matriz de transio P para essa cadeia e suas potncias P2, P3 e P4 esto mostradas a
seguir:
70 Captulo 10
O diagrama de transio para essa cadeia de Markov dado na Figura 2.
FIGURA 2 Passeio aleatrio imparcial com fronteiras refletoras.
Note que o elemento (i, j) em pelo menos uma dessas matrizes positivo para qualquer escolha de i
e j. Assim, todo estado acessvel de qualquer outro estado em quatro passos ou menos e todo estado
se comunica com todos os outros. Existe apenas uma classe de comunicao: {1, 2, 3, 4, 5}.
EXEMPLO 3 Considere a cadeia de Markov dada no Exemplo 5, na Seo 10.2. Encontre as classes
de comunicao para essa cadeia de Markov.
SOLUO A matriz de transio para essa cadeia de Markov
e a Figura 3 mostra o diagrama de transio.
FIGURA 3 Diagrama de transio para o Exemplo 3.
impossvel se mover de qualquer dos estados 1, 2 e 3 para um dos estados 4 ou 5, de modo que
esses estados tm de estar em classes de comunicao diferentes. Ento as classes de comunicao
para essa cadeia de Markov so {1, 2, 3} e {4, 5}.
As cadeias de Markov nos Exemplos 1 e 3 tm mais de uma classe de comunicao, enquanto a

cadeia de Markov no Exemplo 2 tem apenas uma classe de comunicao. Esta distino leva s seguintes definies.
DEFINIO
Uma cadeia de Markov com uma nica classe de comunicao dita irredutvel. Uma cadeia
de Markov com mais de uma classe de comunicao dita redutvel.
Assim, as cadeias de Markov nos Exemplos 1 e 3 so redutveis, enquanto a cadeia de Markov no

Exemplo 2 irredutvel. Cadeias de Markov irredutveis e matrizes de transio regulares esto relacionadas pelo teorema a seguir.
TEOREMA 2
Se uma cadeia de Markov tiver uma matriz de transio regular, ento ela ser irredutvel.
DEMONSTRAO Suponha que P seja uma matriz de transio regular de uma cadeia de Markov.
Ento, pela definio, existir um k tal que Pk ter todos os seus elementos positivos. Ou seja, quaisquer que sejam os estados i e j, os elementos (i, j) e (j, i) de Pk so estritamente positivos. Ento,
existe uma probabilidade positiva de se mover de i para j e de j para i em exatamente k passos, de
modo que i e j se comunicam. Como i e j so arbitrrios e tm de estar na mesma classe de comunicao, s pode existir uma classe para a cadeia de Markov, de modo que a cadeia de Markov tem
de ser irredutvel.
O Exemplo 2 mostra que a recproca do Teorema 2 no verdade, j que a cadeia de Markov nesse
exemplo irredutvel, mas a matriz de transio no regular.
EXEMPLO 4 Considere a cadeia de Markov cujo diagrama de transio dado na Figura 4. Determine
se essa cadeia de Markov redutvel ou irredutvel.
0,6
3
2
0,3 0,1
4
0,4
0,2
0,8
0,6
SOLUO O diagrama mostra que os estados 1 e 2 se comunicam, assim como os estados 4 e 5.
Note que os estados 1 e 2 no podem se comunicar com os estados 3, 4 ou 5, j que a probabilidade

de se mover do estado 2 para o estado 3 nula. De forma anloga, os estados 4 e 5 no podem se
comunicar com os estados 1, 2 ou 3, j que a probabilidade de se mover do estado 4 para o estado
3 nula. Finalmente, o estado 3 s pode se comunicar consigo mesmo, j que impossvel voltar
de qualquer outro estado para o estado 3. Ento as classes de comunicao para essa cadeia de Markov so {1, 2}, {3} e {4, 5}. Como existe mais de uma classe de comunicao, essa cadeia de Markov
redutvel.
Tempo de Retorno Mdio

Seja q o vetor estado estacionrio para uma cadeia de Markov irredutvel. Pode-se mostrar, usandose mtodos avanados na teoria de probabilidades, que as coordenadas de q podem ser interpretadas
como tempos de ocupao, ou seja, qi a frao de tempo que a cadeia gasta no estado i. Por exemplo,
considere uma cadeia de Markov em {1, 2, 3} com vetor estado estacionrio
No longo
prazo, a cadeia gastar metade do seu tempo no estado 2. Se a cadeia estiver agora no estado 2, levar
cerca de dois (1/0,5) passos para voltar ao estado 2. Analogamente, como a cadeia gasta em torno de
1/5 do seu tempo no estado 1, ela deve visitar o estado 1 a cada cinco passos.
Dada uma cadeia de Markov e estados i e j, uma quantidade bem interessante o nmero de passos (ou instantes de tempo) nij que vai levar para o sistema visitar pela primeira vez o estado i dado
que comeou no estado j. No possvel saber o valor de nij poderia ser qualquer inteiro positivo
dependendo de como a cadeia de Markov evolui. Tal quantidade conhecida como uma varivel
aleatria. Como impossvel conhecer nij, estuda-se o valor esperado de nij. O valor esperado de
72 Captulo 10
uma varivel aleatria funciona como uma espcie de valor mdio da varivel aleatria. A definio
a seguir ser usada nas sees subsequentes.
DEFINIO
O valor esperado de uma varivel aleatria X que assume os valores x1, x2,

em que P(X = xk) denota a probabilidade de que a varivel aleatria X seja igual ao valor xk.
Agora, seja tii = E[nii] o valor esperado de nii, que o nmero esperado de passos que ir levar
para o sistema retornar ao estado i dado que comeou no estado i. Infelizmente, a Equao (1) no
vai ajudar aqui. Em vez disso, procedendo de maneira intuitiva, o sistema deve gastar um passo no
estado i para cada tii passos em mdia. Parece razovel dizer que o sistema, no longo prazo, gasta
cerca de 1/tii do tempo no estado i. Mas essa quantidade qi, logo o nmero esperado de passos para
retornar ao estado i, ou o tempo de retorno mdio, o inverso de qi. Este argumento informal pode
ser tornado rigoroso usando-se mtodos da teoria de probabilidade; veja o Apndice 2 para uma demonstrao completa.
TEOREMA 3
Considere uma cadeia de Markov irredutvel com um espao finito de estados, seja nij o nmero
de passos at que a cadeia visite pela primeira vez o estado i dado que ela comeou no estado j, e
seja tii = E[nii]. Ento

(2)
em que qi a coordenada no vetor estado estacionrio q correspondente ao estado i.

O exemplo anterior est de acordo com a Equao 2: t11 = 1/0,2 = 5, t22 = 1/0,5 = 2 e t33 = 1/0,3 = 10/3.
Lembre que o tempo de retorno mdio um valor esperado, de modo que no deve ser perturbador o
fato de que t33 no inteiro. A Seo 10.5 incluir uma discusso de tij = E[nij] com i j.
PROBLEMA PRTICO
1. Considere a cadeia de Markov em {1, 2, 3, 4} com matriz de transio
Determine as classes de comunicao para essa cadeia.
10.3 EXERCCIOS
Nos Exerccios 1 a 6, considere uma cadeia de Markov com espao de
estados {1, 2, , n} e a matriz de transio dada. Encontre as classes de
comunicao para cada cadeia de Markov e diga se a cadeia redutvel
ou irredutvel.

dado. Mostre que a cadeia de Markov irredutvel e calcule o tempo de
retorno mdio para cada estado.
1
4
3
7. Considere o camundongo no labirinto a seguir do Exerccio 19 na

Seo 10.1.

Seo 10.1.
1
Encontre as classes de comunicao para a cadeia de Markov que

modela a movimentao do camundongo no labirinto. Essa cadeia
de Markov redutvel ou irredutvel?
Seo 10.1.
2
3
5
Encontre as classes de comunicao para a cadeia de Markov que

modela a movimentao do camundongo no labirinto. Essa cadeia
de Markov redutvel ou irredutvel?
Nos Exerccios 9 e 10, considere o conjunto de pginas na rede com os

hiperlinks dados pelo grafo direcionado. Encontre as classes de comunicao para a cadeia de Markov que modela o progresso de uma pessoa
surfando aleatoriamente este conjunto de pginas. Use a matriz de transio obtida do grafo, em vez da matriz do Google.
1
Se o camundongo comear no compartimento 3, quanto tempo vai

levar, em mdia, para ele retornar para o compartimento 3?
Seo 10.1.
11. Considere um passeio aleatrio imparcial com fronteiras refletoras

em {1, 2, 3, 4}. Encontre as classes de comunicao para essa cadeia
de Markov e determine se ela redutvel ou irredutvel.
12. Considere um passeio aleatrio imparcial com fronteiras absorventes em {1, 2, 3, 4}. Encontre as classes de comunicao para essa
cadeia de Markov e determine se ela redutvel ou irredutvel.
dado. Mostre que a cadeia de Markov irredutvel e calcule o tempo de
1
3
5
Se o camundongo comear no compartimento 2, quanto tempo vai

levar, em mdia, para ele retornar para o compartimento 2?
Nos Exerccios 19 e 20, considere o camundongo no labirinto a seguir

do Exerccio 20 na Seo 10.2.
1
2
3
3
5
2
4
19. Se o camundongo comear no compartimento 1, quanto tempo, em

mdia, ele vai levar para voltar ao compartimento 1?
20. Se o camundongo comear no compartimento 4, quanto tempo, em
mdia, ele vai levar para voltar ao compartimento 4?
21. a. Se for possvel ir do estado i para o estado j em n passos, em
que n 0, ento os estados i e j se comunicam.

b. Se uma cadeia de Markov for redutvel, ento ela no poder ter
uma matriz de transio regular.

c. As coordenadas no vetor estado estacionrio so os tempos de
22. a. Uma cadeia de Markov irredutvel tem de ter uma matriz de
transio regular.

b. Se os elementos (i, j) e (j, i) em Pk forem positivos para algum
k, ento os estados i e j se comunicaro.

c. Se o estado i se comunicar com o estado j e o estado j se comu nicar com o estado k, ento o estado i se comunicar com o es tado k.
23. Suponha que o tempo em Charlotte seja modelado usando a cadeia
de Markov no Exerccio 23 na Seo 10.1. Aproximadamente quantos dias se passam entre dias consecutivos de chuva em Charlotte?
de Markov no Exerccio 24 na Seo 10.1. Aproximadamente quantos dias se passam entre dias consecutivos de chuva em Charlotte?
74 Captulo 10
25. O conjunto de pginas na rede cujos hiperlinks so dados pelo grafo

direcionado a seguir foi estudado no Exerccio 25 na Seo 10.2,
Considere uma pessoa surfando aleatoriamente nesse conjunto de

pginas usando a matriz do Google como matriz de transio.

a. Mostre que essa cadeia de Markov irredutvel.

b. Suponha que a pessoa comece na pgina 1. Quantos cliques no
mouse, em mdia, a pessoa vai dar at voltar pgina 1?
26. O conjunto de pginas na rede, cujos hiperlinks so dados pelo
grafo direcionado a seguir, foi estudado no Exerccio 26 na Seo 10.1.
1
29. Uma variao do modelo de Ehrenfast de difuso foi estudada no

Exerccio 29 da Seo 10.2. Considere esse modelo com k = 3 e
p = . Suponha que existam agora 3 molculas na urna A. Quantas
escolhas, em mdia, sero necessrias para a quantidade de molculas na urna A ser novamente igual a 3?
30. Considere o modelo de Bernoulli-Laplace de difuso estudado no
Exerccio 30 da Seo 10.2. Seja k = 5. Suponha que todas as molculas de tipo I estejam agora na urna A. Quantas escolhas, em mdia, sero necessrias para que todas as molculas de tipo I estejam
novamente na urna A?
31. No Exerccio 31 da Seo 10.1, foi estudado um modelo de cadeia
de Markov para os pontos em uma partida de tnis. Quais so as
classes de comunicao para essa cadeia de Markov?
32. Foi estudado, no Exerccio 32 da Seo 10.1, uma cadeia de Markov para a pontuao por rali de uma partida de vlei. Quais so as
classes de comunicao para esta cadeia de Markov?
Nos Exerccios 33 e 34, considere a cadeia de Markov em {1, 2, 3, 4, 5}
com matriz de transio
4
3

Repita o Exerccio 25 para esse conjunto de pginas.
27. Considere o par de urnas de Ehrenfest estudado no Exerccio 9 na
Seo 10.2. Suponha que haja agora 2 molculas na urna A. Quantos
passos, em mdia, sero necessrios at a quantidade de molculas
na urna A ser novamente igual a 2?
28. Considere o par de urnas de Ehrenfest estudado no Exerccio 10
na Seo 10.2. Suponha agora que a urna A est vazia. Quantos
passos, em mdia, sero necessrios at a urna A estar novamente
vazia?
33. Mostre que essa cadeia de Markov irredutvel.

34. Suponha que a cadeia comece no estado 1. Qual o nmero esperado de passos para que ela se encontre novamente no estado 1?
35. Como a presena de ns pendurados em um conjunto de pginas na
rede com hiperlinks afeta as classes de comunicao da cadeia de
Markov associada?
36. Mostre que a relao de comunicao transitiva. Sugesto: Mostre que o elemento (i, k) em Pn+m tem de ser maior ou igual que o
produto do elemento (i, j) de Pm com o elemento (j, k) de Pn.

1. Note, primeiro, que os estados 1 e 3 se comunicam, assim como os estados 2 e 4. No entanto, no
possvel sair do estado 1 ou do estado 3 e chegar ao estado 2 ou ao estado 4, de modo que as
classes de comunicao so {1, 3} e {2, 4}.
10.4 CLASSIFICAO DE ESTADOS E PERIODICIDADE

As classes de comunicao de uma cadeia de Markov tm propriedades importantes que ajudam a
determinar se os vetores de estado convergem para um nico vetor estado estacionrio. Essas propriedades sero estudadas nesta seo e ser mostrado que os Exemplos 3, 4 e 5 na Seo 10.2 mostram
tudo que pode ocorrer quando os vetores de estado de uma cadeia de Markov no convergem para
um nico vetor estado estacionrio.
Estados Recorrentes e Estados Transientes

Um modo de descrever as classes de comunicao determinar se possvel para a cadeia de Markov
sair de uma classe uma vez dentro dela.
DEFINIO
Seja C uma classe de comunicao de estados para uma cadeia de Markov e seja j um estado
em C. Se existir um estado i no pertencente a C e um inteiro k > 0 tal que o elemento (i, j) em
Pk seja positivo, ento a classe C ser chamada uma classe transiente e cada estado em C ser
um estado transiente. Se uma classe de comunicao no for transiente, ela ser chamada uma
classe recorrente e cada estado na classe ser um estado recorrente.
Suponha que C seja uma classe transiente. Note que, se o sistema se mover da classe C para outra classe D, ento ele nunca poder retornar a C. Isso verdade porque D no pode conter um estado i do qual
possvel se mover para algum estado em C. Se existisse tal estado i em D, ento a transitividade da relao
de comunicao implicaria todo estado em C se comunicar com todo estado em D. Isso impossvel.
EXEMPLO 1 Considere a cadeia de Markov em {1, 2, 3, 4, 5} estudada no Exemplo 4, na Seo

10.3. Seu diagrama de transio dado na Figura 1. Determine se cada uma das classes transiente
ou recorrente.
SOLUO As classes de comunicao encontradas foram {1, 2}, {3} e {4, 5}. Considere, primeiro,
a classe {3}. A probabilidade de transio do estado 3 para o estado 2 positiva, de modo que a definio com k = 1 mostra que a classe {3} transiente. Considere, agora, a classe {1, 2}. A probabilidade de uma transio em um passo do estado 1 ou do estado 2 para um dos estados 3, 4 ou 5 zero
e isso tambm verdade para qualquer nmero de passos. Se o sistema comear no estado 1 ou no
estado 2, ele sempre vai permanecer em um dos estados 1 ou 2. Ento a classe {1, 2} recorrente.
Um argumento semelhante mostra que a classe {4, 5} tambm recorrente.
0,6
3
2
0,3 0,1
4
0,4
0,2
0,8
0,6
FIGURA 1 Diagrama transiente para o Exemplo 1.
EXEMPLO 2 Considere o passeio aleatrio com fronteiras refletoras estudado no Exemplo 2, na

Seo 10.3. Determine se cada uma das classes de comunicao transiente ou recorrente.
SOLUO Essa cadeia de Markov irredutvel: a nica classe de comunicao para a cadeia {1,
2, 3, 4, 5}. Por definio, essa classe no pode ser transiente. Logo, a classe de comunicao recorrente.
O resultado do Exemplo precedente pode ser generalizado para qualquer cadeia de Markov irredutvel.
Observao: Todos os estados em uma cadeia de Markov irredutvel so recorrentes.
Suponha que uma cadeia de Markov redutvel tenha duas classes de comunicao transientes C1
e C2 e nenhuma classe recorrente. Como C1 transiente, tem de existir um estado em C2 que pode
ser acessado a partir de um estado em C1. Como C2 transiente, tem de existir um estado em C1 que
pode ser acessado a partir de um estado em C2. Assim, todos os estados em C1 e em C2 se comunicam,
o que impossvel. Portanto, a cadeia de Markov tem de ter pelo menos um estado recorrente. Esse
argumento pode ser generalizado para qualquer cadeia de Markov redutvel com qualquer nmero de
classes transientes, o que, junto com a observao anterior, prova o seguinte.
Observao: Toda cadeia de Markov tem de ter pelo menos uma classe recorrente.
EXEMPLO 3 Considere a cadeia de Markov estudada no Exemplo 3, na Seo 10.3. Determine se

cada classe de comunicao transiente ou recorrente.
76 Captulo 10
e as duas classes de comunicao so {1, 2, 3} e {4, 5}. A matriz P pode ser escrita como uma matriz
em blocos
em que
e O uma matriz nula de tamanho apropriado. Usando multiplicao em blocos,
para todo k > 0. Assim, se o estado j pertencer a uma classe e o estado i pertencer a outra, os elementos (i, j) e (j, i) de Pk so nulos para todo k > 0. Portanto, ambas as classes dessa cadeia de Markov
so recorrentes.
EXEMPLO 4 Altere ligeiramente o exemplo anterior para obter uma cadeia de Markov com matriz
de transio
e o diagrama de transio dado na Figura 2. Determine se cada classe de comunicao transiente

ou recorrente.
SOLUO As classes de comunicao ainda so {1, 2, 3} e {4, 5}. Agora, o elemento (3, 5) dife-
rente de zero, logo {4, 5} uma classe transiente. Pela observao anterior, a cadeia tem de ter pelo
menos uma classe recorrente, logo {1, 2, 3} tem de ser a classe recorrente. Este resultado tambm
pode ser demonstrado usando-se matrizes em blocos. Seja
exemplo anterior,
em que P1 como no
A submatriz sozinha P1 uma matriz de transio: ela descreve as transies dentro da classe recorrente {1, 2, 3}. A matriz S contm as probabilidades de transio da classe transiente {4, 5} na classe
recorrente {1, 2, 3}. A matriz Q registra as probabilidades das transies dentro da classe transiente
{4, 5}. Multiplicao em blocos (veja a Seo 2.4) fornece
para alguma matriz no nula Sk. Como o bloco embaixo esquerda O para todas as matrizes Pk,
impossvel sair da classe {1, 2, 3} depois de entrar nela, e {1, 2, 3} uma classe recorrente.
Nos Exemplos 3 e 4, os estados foram ordenados de modo que os elementos em cada classe estavam juntos. No Exemplo 4, a classe recorrente foi listada em primeiro lugar, seguida da classe
transiente. Essa ordem foi conveniente, pois permitiu o uso de matrizes em blocos para determinar
a classe recorrente e a transiente. Tambm possvel usar multiplicao em blocos para calcular as
potncias da matriz de transio P se os estados forem ordenados como nos Exemplos 3 e 4: os estados em cada classe de comunicao so consecutivos e, se existir alguma classe transiente, as classes
recorrentes so listadas na frente, seguidas das classes transientes. Uma matriz com os estados ordenados dessa forma dita em forma cannica. Para ver como essa ordenao funciona, considere o
exemplo a seguir
EXEMPLO 5 A cadeia de Markov no Exemplo 1 tem matriz de transio
e suas classes de comunicao so {1, 2}, {3} e {4, 5}. Para colocar a matriz em forma cannica,
coloque as classes na ordem {1, 2}, {4, 5}, {3}, ou seja, reordene os estados como 1, 2, 4, 5, 3. Para
efetuar essa mudana, primeiro arrume as colunas, o que produz a matriz
Um rearranjo das linhas coloca a matriz de transio em forma cannica:
A matriz de transio pode ser dividida da seguinte forma:
Em geral, suponha que P seja a matriz de transio de uma cadeia de Markov redutvel com r
classes e uma ou mais classes transientes. Uma forma cannica de P
78 Captulo 10
Aqui, Pi a matriz de transio para a i-sima classe recorrente, O uma matriz nula de tamanho
apropriado, Q registra as transies dentro das classes transientes e S contm as probabilidades de
transio das classes transientes para as classes recorrentes. Como P uma matriz em blocos, relativamente fcil obter suas potncias usando multiplicao em blocos:
para alguma matriz Sk. As matrizes Q, S e Sk ajudam a responder perguntas sobre o comportamento
no longo prazo da cadeia de Markov que sero discutidos na Seo 10.5.
Periodicidade
Uma ltima maneira de classificar estados examinar os tempos em que possvel para o sistema
voltar ao estado no qual comeou. Considere o exemplo simples a seguir.
1
1
1
EXEMPLO 6 Uma cadeia de Markov em {1, 2, 3} tem matriz de transio
3
FIGURA 3 Diagrama de tran-
sio para o Exemplo 6.
O diagrama de transio, ilustrado na Figura 3, bem direto O sistema tem de retornar a seu ponto
de partida em trs passos e toda vez que o nmero de passos for um mltiplo de trs.
EXEMPLO 7 Uma cadeia de Markov em {1, 2, 3, 4} tem matriz de transio
FIGURA 4 Diagrama de tran-
sio para o Exemplo 7.
e o diagrama de transio ilustrado na Figura 4. Se o sistema comear no estado 1, 2 ou 3, o sistema

poder voltar a seu ponto de partida em trs ou quatro passos e poder voltar sempre que o nmero
de passos for da forma 3a + 4b, na qual a e b so inteiros no negativos. Pode-se mostrar que todo
inteiro maior que 5 pode ser escrito dessa forma, de modo que, se o sistema comear no estado 1, 2,
ou 3, ele pode voltar a seu ponto de partida em qualquer nmero de passos maior que 5. Se o sistema
comear no estado 4, poder voltar a seu ponto de partida em quatro ou sete passos, e um argumento
semelhante mostra que o sistema tambm poder voltar a seu ponto de partida em qualquer nmero
de passos maiores que 17.
EXEMPLO 8 O passeio aleatrio imparcial em {1, 2, 3, 4, 5} com fronteiras refletoras tem o diagrama
de transio ilustrado na Figura 5. Pode-se ver do diagrama que sempre levar um nmero finito de
passos para o sistema retornar ao estado de seu ponto de partida.
FIGURA 5 Passeio aleatrio imparcial com fronteiras refletoras.
Nos Exemplos 6 e 8, os instantes de tempo nos quais o sistema pode voltar a seu estado inicial so
mltiplos de um nmero d: d = 3 para o Exemplo 6 e d = 2 para o Exemplo 8. Esse nmero d chamado perodo do estado e definido a seguir.
DEFINIO
O perodo d de um estado i de uma cadeia de Markov o maior divisor comum de todos os instantes n, tais que a probabilidade de que a cadeia de Markov que comeou no estado i volte para
ele no instante n estritamente positiva.
Usando uma anlise cuidadosa do conjunto de estados visitado pela cadeia de Markov, pode-se
mostrar que o perodo de todos os estados em uma mesma classe de comunicao o mesmo, de
modo que o perodo uma propriedade das classes de comunicao. Veja o Apndice 2 para uma demonstrao deste fato, o que nos leva definio a seguir.
DEFINIO
O perodo de uma classe de comunicao C o perodo de cada estado em C. Se uma cadeia de

Markov for irredutvel, ento o perodo da cadeia ser o perodo de sua nica classe de comunicao. Se o perodo de todas as classes de comunicao (e, portanto, de todos os estados) for d =
1, ento a cadeia de Markov ser aperidica.
A razo para o aparecimento do mximo divisor comum na definio permitir a atribuio de
um perodo para todos os estados de todas as cadeias de Markov. No Exemplo 7, o sistema pode
voltar a seu estado inicial depois de um nmero suficientemente grande de passos, de modo que
o perodo de cada estado d = 1. Ou seja, a cadeia de Markov, no Exemplo 7, aperidica. Note
que essa cadeia no tem um comportamento peridico, de modo que o termo aperidico bem
adequado. O uso da definio confirma que o perodo da cadeia de Markov, no Exemplo 6, d =
3, enquanto o perodo da cadeia de Markov, no Exemplo 8, d = 2. O prximo teorema descreve
a matriz de transio de uma cadeia de Markov irredutvel e aperidica.
TEOREMA 4
Seja P a matriz de transio para uma cadeia de Markov irredutvel e aperidica. Ento, P uma
matriz regular.
DEMONSTRAO Seja P uma matriz de transio n n para uma cadeia de Markov irredutvel e
aperidica. Para mostrar que P regular, precisamos encontrar um inteiro positivo k para o qual todos
os elementos em Pk so estritamente positivos. Sejam 1 i, j n. Como a cadeia de Markov irredutvel, existe um inteiro positivo a, que depende de i e de j, tal que o elemento (i, j) de Pa estritamente
positivo. Como a cadeia de Markov aperidica, existe um inteiro positivo b, que depende de j, tal
que o elemento (j, j) em Pm estritamente positivo para todo m b. Como Pa+m = PaPm, o elemento
(i, j) em Pa+m tem de ser maior ou igual que o produto do elemento (i, j) de Pa com o elemento (j, j)
de Pm. Ento o elemento (i, j) de Pa+m tem de ser estritamente positivo para todo m b. Agora, seja k
o mximo, sobre todos os pares (i, j), da quantidade a + b. Este mximo existe, j que o espao de
estados finito, e o elemento (i, j) de Pk estritamente positivo para todos os pares (i, j). Portanto,
todos os elementos de Pk so estritamente positivos e P uma matriz regular.
Ento, se P for a matriz de transio para uma cadeia de Markov irredutvel e aperidica, P ter de
ser regular e o Teorema 1 se aplicar a P. Logo, existe um vetor estado estacionrio q para o qual
para qualquer escolha do vetor de probabilidade inicial x0. O que se pode dizer sobre o vetor estado
estacionrio q de uma cadeia de Markov irredutvel de perodo d > 1? O resultado a seguir demonstrado em livros mais avanados de teoria das probabilidades.
TEOREMA 5
Seja P a matriz de transio para uma cadeia de Markov irredutvel com perodo d > 1 e seja q o
vetor estado estacionrio para a cadeia. Ento, para qualquer vetor de probabilidade inicial x0,
O Teorema 5 diz que, no caso de uma cadeia de Markov irredutvel com perodo d > 1, o vetor q
limite da mdia dos vetores de probabilidade Pn+1x0, Pn+2x0, , Pn+dx0. Quando uma cadeia de Mar-
80 Captulo 10
kov irredutvel tem perodo d > 1, o vetor q ainda pode ser interpretado como um vetor dos tempos
de ocupao.
EXEMPLO 9 O perodo da cadeia de Markov irredutvel no Exemplo 8 d = 2, de modo que a

cadeia de Markov tem perodo d > 1. Seja n um inteiro par. Calculando potncias altas da matriz de
transio P se obtm
Ento, para qualquer vetor de probabilidade inicial x0,
Mas esse vetor o vetor estado estacionrio para essa cadeia de Markov calculado no Exerccio 32,
na Seo 10.2. Assim, confirma-se o Teorema 5 neste caso.
O vetor estado estacionrio para uma cadeia de Markov redutvel ser discutido detalhadamente
na prxima seo.
PROBLEMA PRTICO
1. Considere a cadeia de Markov em {1, 2, 3, 4} com matriz de transio
Identifique as classes de comunicao da cadeia como recorrente ou transiente e rearranje os estados para produzir uma matriz em forma cannica.
10.4 EXERCCIOS
Nos Exerccios 1 a 6, considere uma cadeia de Markov com espao de
estados em {1, 2, , n} e a matriz de transio dada. Identifique as classes
de comunicao de cada cadeia de Markov como recorrente ou transiente
e encontre o perodo de cada classe de comunicao.

Seo 10.1.
a. Identifique as classes de comunicao dessa cadeia de Markov

como recorrente ou transiente.

b. Encontre o perodo de cada classe de comunicao.

c. Encontre a matriz de transio para a cadeia de Markov e rear ranje os estados para produzir uma matriz de transio em forma
cannica.
Seo 10.1.
1
2
3

Nos Exerccios 7 a 10, considere um passeio aleatrio simples no grafo
direcionado dado. Identifique as classes de comunicao de cada cadeia
de Markov como recorrente ou transiente e encontre o perodo de cada
classe de comunicao.
1
4
3
3
2
11. Rearranje os estados na cadeia de Markov no Exerccio 1 para produzir uma matriz de transio em forma cannica.
17. Encontre a matriz de transio para a cadeia de Markov no Exerccio 9 e rearranje os estados para produzir uma matriz de transio
em forma cannica.
18. Encontre a matriz de transio para a cadeia de Markov no Exerccio 10 e rearranje os estados para produzir uma matriz de transio
em forma cannica.
a. Identifique as classes de comunicao dessa cadeia de Markov

como recorrente ou transiente.

b. Encontre o perodo de cada classe de comunicao.

c. Encontre a matriz de transio para a cadeia de Markov e rear ranje os estados para produzir uma matriz de transio em forma
cannica.
21. a. Se dois estados i e j forem ambos recorrentes, ento eles tero
de pertencer mesma classe de comunicao.

b. Todos os estados em uma cadeia de Markov irredutvel so re correntes.

c. Toda cadeia de Markov tem de ter pelo menos uma classe tran siente.
22. a. Se o estado i for recorrente e o estado i se comunicar com o es tado j, ento o estado j tambm ser recorrente.

b. Se dois estados de uma cadeia de Markov tiverem perodos di ferentes, ento a cadeia de Markov ser redutvel.

c. Toda cadeia de Markov tem de ter exatamente uma classe re corrente.
23. Confirme o Teorema 5 para a cadeia de Markov no Exerccio 7 calculando potncias da matriz de transio (veja o Exemplo 9).
24. Confirme o Teorema 5 para a cadeia de Markov no Exerccio 8 calculando potncias da matriz de transio (veja o Exemplo 9).
25. Considere a cadeia de Markov em {1, 2, 3} com matriz de transio
a.

b.

c.

d.

Explique por que essa cadeia de Markov irredutvel e tem perodo 2.

Encontre um vetor estado estacionrio q para essa cadeia de
Markov.
Encontre uma matriz invertvel A e uma matriz diagonal D tais
que P = ADA1. (Veja a Seo 5.3.)
Use o resultado do item (c) para mostrar que Pn pode ser escrito
como
82 Captulo 10
Note que as linhas de E so as linhas da matriz identidade na ordem

1, 2, 4, 5, 3.

a. Calcule EP e explique o que aconteceu com a matriz P.

b. Calcule PET e explique o que aconteceu com a matriz P.

c. Calcule EPET e explique o que aconteceu com a matriz P.
29. Seja A uma matriz n n e seja E uma matriz n n resultante de
permutaes de linhas da matriz identidade n n, In. A matriz E
chamada de uma matriz de permutao.

a. Mostre que a matriz EA a matriz A com suas linhas permutadas
exatamente na mesma ordem que as linhas de In foram permuta das para formar E. Sugesto: Qualquer permutao de linhas
pode ser escrita como uma sequncia de trocas de duas linhas.

b. Aplique o resultado do item (a) a AT para mostrar que AET a
matriz A com suas colunas permutadas exatamente na mesma
ordem em que as linhas de In foram permutadas para formar E.

c. Explique por que EAET a matriz A com suas linhas e colunas
permutadas exatamente na mesma ordem em que as linhas de
In foram permutadas para formar E.

d. No processo de encontrar uma forma cannica de uma matriz de
transio, faz diferena se as linhas ou as colunas da matriz fo rem permutadas primeiro? Por qu?

e. Use o resultado do item (d) para confirmar o Teorema 5 para P.

26. Siga o roteiro do Exerccio 25 para confirmar o Teorema 5 para a
cadeia de Markov com matriz de transio

em que 0 < p < 1.
27. Confirme o Teorema 5 para a cadeia de Markov no Exemplo 6.
28. A multiplicao matricial pode ser usada para se encontrar a forma cannica de uma matriz de transio. Considere a matriz P no
Exemplo 5 e a matriz

1. Note, primeiro, que os estados 1 e 3 se comunicam entre si, assim como os estados 2 e 4. No
entanto, no possvel sair do estado 1 ou 3 e ir para o estado 2 ou 4, de modo que as classes de comunicao so {1, 3} e {2, 4}. Como a cadeia permanece na classe {1, 3} depois
de entrar nesta classe, essa uma classe recorrente. Por outro lado, existe uma probabilidade
positiva de se sair da classe {2, 4} em qualquer instante, logo essa uma classe transiente.
Uma ordenao dos estados que produz uma forma cannica 1, 3, 2, 4: a matriz de transio
correspondente
10.5A MATRIZ FUNDAMENTAL

O tempo de retorno para um estado em uma cadeia de Markov irredutvel foi definido na Seo 10.3
como o nmero esperado de passos (ou instantes de tempo) necessrios para o sistema retornar ao seu
estado inicial. Esta seo estuda o nmero esperado de passos necessrios para um sistema ir de um
estado para outro, que chamado tempo em trnsito. Outra quantidade de interesse a probabilidade
de o sistema visitar um estado antes de outro. Talvez surpreenda o fato de que a discusso desses problemas para cadeias de Markov irredutveis comea trabalhando com cadeias de Markov redutveis,
particularmente as que tm estados transientes.
A Matriz Fundamental e os Estados Transientes

O primeiro objetivo calcular o nmero esperado de visitas que o sistema faz a um estado i dado
que o sistema iniciou no estado j, em que j um estado transiente. Suponha que uma cadeia de
Markov tenha pelo menos um estado transiente. Sua matriz de transio pode ser escrita em forma
cannica como
Como pelo menos um estado transiente, S tem pelo menos um elemento no nulo. Para que P seja
uma matriz estocstica, a soma de pelo menos uma das colunas de Q tem de ser menor que 1. A matriz Q chamada uma matriz subestocstica. Pode-se mostrar que
para qualquer matriz subestocstica Q. Este fato implica: se o sistema comeou em um estado transiente, ento ele tem de visitar em alguma hora uma classe recorrente e nunca mais visitar outro estado que no pertena a essa classe recorrente. Ento, o sistema finalmente absorvido por alguma
classe recorrente.
Sejam j e i estados transientes e suponha que a cadeia de Markov comece no estado j. Seja vij o
nmero de visitas que o sistema faz ao estado i antes de ser absorvido em alguma classe recorrente.
O objetivo calcular E[vij], que o valor esperado de vij. Para isso, conveniente usar um tipo de
varivel aleatria chamado varivel aleatria indicadora. Uma varivel aleatria indicadora I
uma varivel aleatria que igual a 1 se um evento ocorrer e 0 se o evento no ocorreu. Simbolicamente,
O valor esperado de uma varivel aleatria indicadora pode ser calculado com facilidade:

(1)
Voltando discusso do nmero de visitas ao estado i comeando no estado j, seja Ik a varivel aleatria indicadora para o evento o sistema visita o estado i no instante k. Ento
j que uma visita ao estado i em um instante particular far com que seja somado 1 ao total de visitas
armazenadas em vij. Usando a equao (1), o valor esperado de vij
Mas P(visita a i no instante k) simplesmente o elemento (i, j) da matriz Qk, logo
Assim, o nmero esperado de vezes que o sistema visita o estado i comeando no estado j o elemento (i, j) da matriz
Usando o argumento dado na Seo 2.6,

A matriz (I Q)1 chamada matriz fundamental da cadeia de Markov e denotada por M. O teorema a seguir fornece interpretao para os elementos de M.
TEOREMA 6
Sejam j e i estados transientes de uma cadeia de Markov e seja Q o bloco da matriz de transio
que governa o movimento entre estados transientes.
a. Quando a cadeia inicia no estado transiente j, o elemento (i, j) de M = (I Q)1 o nmero esperado de visitas ao estado transiente i antes da absoro em uma classe recorrente.
b. Quando a cadeia inicia no estado transiente j, a soma dos elementos na coluna j de M = (I Q)1
o nmero esperado de instantes at a absoro.
Outra demonstrao do Teorema 6 dada no Apndice 2.
84 Captulo 10
EXEMPLO 1 Considere um passeio aleatrio imparcial em {1, 2, 3, 4, 5} com fronteira absorvente.

Se o sistema iniciar no estado 3, encontre o nmero esperado de visitas ao estado 2 antes da absoro.
Encontre, tambm, o nmero esperado de instantes at a absoro com incio nos estados 2, 3 e 4.
SOLUO A ordenao 1, 5, 2, 3, 4 dos estados produz uma matriz de transio em forma cannica:
A matriz Q e a matriz fundamental M = (I Q)1 so
Comeando no estado 3, o nmero esperado de visitas ao estado 2 at a absoro o elemento de M

cuja linha corresponde ao estado 2 e cuja coluna corresponde ao estado 3. Este valor 1, logo a cadeia
ir visitar o estado 2 uma vez em mdia antes de ser absorvida. A soma da coluna de M correspondente ao estado 2 (ou estado 4) 3, logo o nmero esperado de passos at a absoro trs se o estado inicial for 2 (ou 4). Analogamente, o nmero esperado de passos at a absoro quatro se o estado inicial for 3.
Tempo em Trnsito
Considere o problema de calcular o nmero esperado tji de passos necessrios para viajar do estado j
para o estado i em uma cadeia de Markov irredutvel. Se os estados i e j forem iguais, o valor tjj ser o
tempo de retorno esperado para o estado j encontrado na Seo 10.4. O valor tji ser chamado tempo
em trnsito (ou tempo mdio da primeira passagem) do estado j para o estado i. surpreendente
que a compreenso de estados transientes fornecida pelo Teorema 6 exatamente o que necessrio
para calcular tji.
Encontrar o tempo em trnsito de uma cadeia de Markov do estado j para o estado i comea pelo
rearranjo da matriz de transio da cadeia P. Ordene os estados de modo que o estado i seja o primeiro. A nova matriz da forma
para matrizes apropriadas S, X e Q. Agora, modifique a primeira coluna, de
para
na qual
O um vetor nulo de tamanho apropriado. Em termos de probabilidade, agora impossvel sair do

estado i depois de entrar nele. O estado i agora um estado absorvente para a cadeia de Markov, e a
matriz de transio agora da forma
O nmero esperado de passos tji que leva ao estado i a partir do estado j pode ser calculado usando o
Teorema 6(b): ser a soma da coluna de M correspondente ao estado j.
EXEMPLO 2 Considere um passeio aleatrio imparcial em {1, 2, 3, 4, 5} com fronteira refletora.
Encontre o nmero esperado de passos tj4 necessrios para chegar ao estado 4 comeando em qualquer
estado j 4.
Primeiro, ordene os estados de modo ao estado 4 ser o primeiro, depois transforme 4 em um estado
absorvente.
Somando as colunas de M, obtm-se t14 = 9, t24 = 8, t34 = 5 e t54 = 1.
Probabilidades de Absoro
Suponha que uma cadeia de Markov tenha mais de uma classe recorrente e pelo menos um estado
transiente j. Se a cadeia comear no estado j, ento ela ir finalmente ser absorvida em uma das classes
recorrentes; a probabilidade de que a cadeia seja absorvida em uma classe recorrente em particular
chamada probabilidade de absoro daquela classe recorrente. A matriz fundamental usada para
calcular as probabilidades de absoro.
Par calcular as probabilidades de absoro, comece modificando a matriz de transio da cadeia
de Markov. Escreva, primeiro, todas as classes recorrentes como um nico estado i com pii = 1; ou
seja, cada classe recorrente comprimida em um nico estado absorvente. (Os Exerccios 37 e 38
86 Captulo 10
exploram a informao fornecida pelas probabilidades de absoro para classes recorrentes com mais
de um estado.) Uma forma cannica para essa matriz de transio modificada
em que a matriz identidade reflete a falta de movimento entre estados absorventes.

Seja j um estado transiente e seja i um estado absorvente para a cadeia de Markov modificada; para
encontrar a probabilidade de que a cadeia iniciando em j seja finalmente absorvida por i, considere o
elemento (i, j) da matriz Pk. Esse elemento fornece a probabilidade de que um sistema iniciando no
estado j esteja no estado i depois de k instantes de tempo. Como i um estado absorvente, para que
o sistema esteja no estado i preciso que o sistema tenha sido absorvido no estado i no k-simo instante ou antes. Logo, a probabilidade de que o sistema tenha sido absorvido pelo estado i no k-simo
instante ou antes simplesmente o elemento (i, j) da matriz Pk e a probabilidade de que a cadeia no
incio em j seja por fim absorvida por i o elemento (i, j) da matriz
A utilizao da multiplicao em blocos (Seo 2.4) para o clculo de Pk fornece
e pode-se mostrar por induo (Exerccio 39) que

em que
Como j um estado transiente e i um estado absorvente, basta considerar os elementos de Sk. A probabilidade de que a cadeia inicialmente em j seja por fim absorvida por i investigando-se a matriz
na qual M a matriz fundamental para a cadeia de Markov com classes recorrentes comprimidas. O
elemento (i, j) de A a probabilidade de que a cadeia inicialmente em j seja por fim absorvida por i.
O teorema a seguir resume essas ideias; uma demonstrao alternativa dada no Apndice 2.
TEOREMA 7
Suponha que as classes recorrentes de uma cadeia de Markov sejam todas estados absorventes.
Sejam j um estado transiente e i, um estado absorvente dessa cadeia. Ento, a probabilidade de que
a cadeia de Markov inicialmente no estado j seja por fim absorvida pelo estado i o elemento (i, j)
da matriz A = SM, em que M a matriz fundamental da cadeia de Markov e S o bloco da matriz
de transio que governa o movimento dos estados transientes para os estados absorventes.
EXEMPLO 3 Considere o passeio aleatrio imparcial em {1, 2, 3, 4, 5} com fronteira absorvente

estudado no Exemplo 1. Encontre a probabilidade de que a cadeia inicialmente no estado 4 seja por
fim absorvida pelo estado 1.
SOLUO Coloque os estados na ordem {1, 5, 2, 3, 4} para obter uma forma cannica da matriz de
transio:
As colunas de A correspondem aos estados transientes 2, 3 e 4 nessa ordem, enquanto as linhas correspondem aos estados absorventes 1 e 5. A probabilidade de que a cadeia inicialmente no estado 4
seja absorvida pelo estado 1 .
Probabilidades de absoro podem ser usadas para calcular a probabilidade de que um sistema
modelado por uma cadeia de Markov irredutvel visite um estado antes de outro.
EXEMPLO 4 Considere um passeio aleatrio simples no grafo na Figura 1. Qual a probabilidade
de que algum comeando no estado 1 visite o estado 4 antes do estado 7?

2
7
FIGURA 1 O grafo para o
Exemplo 4.
SOLUO Transformando os estados 4 e 7 em estados absorventes e, depois, calculando as probabi-
lidades de absoro iniciando no estado 1 ser possvel responder essa pergunta. Comece colocando
os estados na ordem 4, 7, 1, 2, 3, 5, 6 e reescreva os estados 4 e 7 como absorventes:
88 Captulo 10
A matriz de transio resultante
com
Como a primeira coluna de A corresponde ao estado 1 e as linhas correspondem aos estados 4 e 7,

respectivamente, a probabilidade de visitar 4 antes de 7 3/5.
Um modelo matemtico que usa os Teoremas 6 e 7 vai aparecer na Seo 10.6.
PROBLEMAS PRTICOS
1. Considere uma cadeia de Markov em {1, 2, 3, 4} com matriz de transio
a. Se a cadeia de Markov iniciar no estado 2, encontre o nmero esperado de passos antes de a

cadeia ser absorvida.
b. Se a cadeia de Markov iniciar no estado 2, encontre a probabilidade de que a cadeia seja ab
sorvida pelo estado 1.
2. Considere uma cadeia de Markov em {1, 2, 3, 4} com matriz de transio
a.

b.

Se a cadeia de Markov iniciar no estado 2, encontre o nmero esperado de passos para chegar
ao estado 4.
Se a cadeia de Markov iniciar no estado 2, encontre a probabilidade de que o estado 1 seja
alcanado antes do estado 4.
10.5 EXERCCIOS
Nos Exerccios 1 a 3, encontre a matriz fundamental da cadeia de Markov
que tem a matriz de transio dada. Suponha que o espao de estados em
cada caso seja {1, 2, , n}. Se for necessrio modificar a ordem dos estados, liste a nova ordem.
12. Suponha que a cadeia de Markov no Exerccio 6 comece no estado

5. Encontre as probabilidades de que a cadeia seja absorvida pelos
estados 2 e 4.
13. Considere um passeio aleatrio simples no grafo a seguir
1
a. Suponha que o passeio inicie no estado 5. Qual o nmero es perado de visitas ao estado 2 antes do estado 1?

b. Suponha novamente que o passeio inicie no estado 5. Qual o
nmero esperado de passos at atingir o estado 1?

c. Agora, suponha que o passeio inicie no estado 1. Qual a pro babilidade de o estado 5 ser visitado antes do estado 2?
14. Considere um passeio aleatrio simples no grafo a seguir.
1
S para a cadeia de Mar Nos Exerccios 4 a 6, encontre a matriz A = lim

n n
kov com a matriz de transio dada. Suponha que o espao de estados
em cada caso seja {1, 2, , n}. Se for necessrio modificar a ordem dos
estados, liste a nova ordem.
a. Suponha que o passeio inicie no estado 3. Qual o nmero es perado de visitas ao estado 2 antes do estado 1?

b. Suponha novamente que o passeio inicie no estado 3. Qual o
nmero esperado de passos at atingir o estado 1?

c. Agora, suponha que o passeio inicie no estado 1. Qual a pro babilidade de o estado 3 ser visitado antes do estado 2?
15. Considere um passeio aleatrio simples no grafo direcionado a seguir. Suponha que o passeio comece no estado 1.

3. Quantas visitas a cadeia far ao estado 4, em mdia, antes da absoro?
4. Quantos passos, em mdia, a cadeia far antes da absoro?
1. Quantos passos, em mdia, a cadeia far antes da absoro?
10. Suponha que a cadeia de Markov no Exerccio 4 comece no estado 3. Qual a probabilidade de que a cadeia seja absorvida no
estado 1?
4. Encontre as probabilidades de que a cadeia seja absorvida pelos
estados 1, 2 e 3.
a. Qual o nmero esperado de visitas ao estado 2 antes do es tado 3?

b. Qual o nmero esperado de passos antes de visitar o estado 3?
16. Considere um passeio aleatrio simples no grafo direcionado a seguir. Suponha que o passeio comece no estado 4.
1
4
3
a. Qual o nmero esperado de visitas ao estado 3 antes do es tado 2?

b. Qual o nmero esperado de passos antes de visitar o estado 2?
Seo 10.1.
90 Captulo 10

de Markov no Exerccio 24 na Seo 10.1. Se choveu ontem e hoje,
quantos dias vai levar, em mdia, antes de se ter dois dias consecutivos sem chuva?
25. Considere um conjunto de pginas na rede com hiperlinks dados
pelo grafo direcionado a seguir, que foi estudado no Exerccio 25
da Seo 10.2.
2
3
Se o camundongo comear no compartimento 1, qual a probabilidade de que ele visitar o compartimento 3 antes do 4?
Seo 10.1.
1
2
4
3
5
Se o camundongo comear no compartimento 1, qual a probabilidade de que ele visitar o compartimento 3 antes do 4?
Seo 10.1.
Se o camundongo comear no compartimento 1, quantos passos,

em mdia, ele ter de dar para chegar ao compartimento 6?
Seo 10.1.
1
2
3
Se o camundongo comear no compartimento 1, quantos passos,

em mdia, ele ter de dar para chegar ao compartimento 5?
21. a. O elemento (i, j) na matriz fundamental M o nmero esperado
de visitas ao estado transiente j antes da absoro, comeando
no estado transiente i.

b. O elemento (i, j) na matriz fundamental M o nmero espera do de visitas ao estado i antes da absoro, comeando no estado
transiente j.

c. A probabilidade de que a cadeia de Markov comeando no es tado i seja finalmente absorvida pelo estado j o elemento (j, i)
da matriz A = SM, em que M a matriz fundamental da cadeia
de Markov e S o bloco da matriz de transio que governa o
movimento de estados transientes para estados absorventes.
22. a. A soma dos elementos na coluna j da matriz fundamental M o
nmero esperado de instantes de tempo at a absoro.

b. O tempo em trnsito pode ser calculado diretamente dos ele mentos na matriz de transio.

c. Se A for uma matriz subestocstica m m, ento os elementos
de An tendero a 0 quando n aumenta.
de Markov no Exerccio 23 na Seo 10.1. Se hoje estiver ensolarado, qual ser a probabilidade de que o tempo ficar nublado antes
de chover?
Se algum surfando aleatoriamente comear na pgina 1, quantos

cliques no mouse, em mdia, a pessoa ter de dar antes de ficar presa
em um n pendurado?
26. Considere um conjunto de pginas na rede com hiperlinks dados
pelo grafo direcionado a seguir, que foi estudado no Exerccio 26
da Seo 10.2.
1
4
3
Se algum surfando aleatoriamente comear na pgina 3, qual ser

a probabilidade de a pessoa finalmente ficar presa na pgina 1, que
um n pendurado?
Os Exerccios 27 a 30 tratam do modelo de cadeia de Markov para uma
partida de tnis descrito no Exerccio 31 da Seo 10.1. Suponha que os
jogadores A e B estejam jogando uma partida de tnis, que a probabilidade
de o jogador A ganhar qualquer ponto seja 0,6 e o jogo esteja atualmente
com escore iguais.
27. Quantos pontos a mais se espera que dure a partida?
28. Encontre a probabilidade de o jogador A ganhar a partida.
29. Repita o Exerccio 27 se o escore atualmente for

a. vantagem para A.

b. vantagem para B.
30. Repita o Exerccio 28 se o escore atualmente for

a. vantagem para A.

b. vantagem para B.
Os Exerccios 31 a 36 tratam de dois modelos de cadeia de Markov para
a pontuao de jogos de voleibol descritos no Exerccio 32 da Seo
10.1. Suponha que os times A e B estejam jogando uma partida de 15
pontos que est empatada 15-15 com o time A servindo. Suponha que
a probabilidade p do time A ganhar qualquer rali que esteja servindo
p = 0,7 e a probabilidade q do time B ganhar qualquer rali que esteja
servindo q = 0,6.
31. Suponha que a pontuao seja por rali. Quantos ralis a mais se espera que dure a partida?
32. Suponha que a pontuao seja por rali. Encontre a probabilidade de
o time A ganhar a partida.
33. Suponha que a pontuao seja por fora. Quantos ralis a mais se espera que dure a partida?
34. Suponha que a pontuao seja por fora. Encontre a probabilidade
de o time A ganhar a partida.
35. A pontuao por rali foi introduzida para que as partidas de voleibol demorassem menos. Considerando os resultados dos Exerccios
31 e 33, a pontuao por rali realmente faz com que sejam jogados
menos ralis?
36. Como p = 0,7 e q = 0,6, parece que o time A o melhor time. Faz
diferena qual o sistema de pontuao utilizado? O treinador de cada
time deveria preferir um dos sistemas de pontuao?
37. Considere uma cadeia de Markov em {1, 2, 3, 4, 5} com matriz de

transio
Encontre
a.

b.
c.

d.

Encontre
a.

b.
c.

d.
seguindo os passos indicados a seguir.
Quais so as classes recorrentes e as classes transientes para

essa cadeia?
Encontre a matriz limite para cada classe recorrente.
Determine as probabilidades no longo prazo para a cadeia de
Markov iniciando em cada estado transiente.
Use os resultados dos itens (b) e (c) para encontrar
.
seguindo os passos indicados a seguir.
Quais so as classes recorrentes e as classes transientes para essa

cadeia?
Encontre a matriz limite para cada classe recorrente.
Determine as probabilidades de absoro de cada estado transiente para cada classe recorrente.
Use os resultados dos itens (b) e (c) para encontrar
.
e. Confirme sua resposta no item (d) elevando P a uma potncia

grande.
39. Mostre que, se

ento
em que
e. Confirme sua resposta no item (d) elevando P a uma potncia

grande.
38. Considere uma cadeia de Markov em {1, 2, 3, 4, 5, 6} com matriz
de transio


1. a. Como 1 e 4 so estados absorventes, colocando os estados na ordem {1, 4, 2, 3} produz a forma
cannica
O nmero esperado de passos necessrios, ao iniciar no estado 2, antes da absoro da cadeia

a soma dos elementos na coluna de M correspondente ao estado 2, que
b. Usando a forma cannica da matriz de transio, vemos que
A probabilidade de a cadeia ser absorvida pelo estado 1, dado que o estado inicial da cadeia de
Markov o estado 2, o elemento em A na linha correspondente ao estado 1 e na coluna correspondente ao estado 2; esse elemento 15/19.
92 Captulo 10
2. a. Coloque os estados na ordem {4, 1, 2, 3} e transforme o estado 4 em um estado absorvente para

produzir a forma cannica
O nmero esperado de passos necessrios para atingir o estado 4, comeando no estado 2, a

soma dos elementos na coluna de M correspondente ao estado 2, que
11,25 + 7,50 + 3,00 = 21,75
b. Transforme 1 e 4 em estados absorventes e coloque os estados na ordem {1, 4, 2, 3} para pro duzir a forma cannica
Portanto, a probabilidade de que, comeando no estado 2, o estado 1 seja visitado antes do estado 4 o elemento em A na linha correspondente ao estado 1 e na coluna correspondente ao
estado 2; esse elemento 15/19.
10.6 CADEIAS DE MARKOV E ESTATSTICAS DE BEISEBOL

Cadeias de Markov so usadas para modelar uma ampla variedade de sistemas. Os exemplos e exerccios neste captulo mostraram como elas podem ser usadas para modelar situaes bem diversas.
O exemplo final a ser explorado um modelo de como os jogadores correm em torno das bases em
beisebol. Esse modelo leva a medidas teis da produo de corridas esperadas, tanto para um time
quanto para um jogador individual.*
Beisebol Modelado por uma Cadeia de Markov

Muitos fs de beisebol estudam cuidadosamente as estatsticas de seus times favoritos. Os prprios
times usam estatsticas de beisebol para jogadores individuais determinarem a estratgia durante os
jogos e para tomar decises sobre contrataess.4 Esta seo mostra como usar uma cadeia de Markov
*Esta seo pressupe algum conhecimento sobre o beisebol. A pgina http://www.coladaweb.com/educacao-fisica/
beisebol, por exemplo, contm muitas explicaes sobre o jogo. (N.T.)
4
O uso de anlise estatstica em beisebol chamado em ingls sabermetrics, em honra a SABR, a Sociedade para a
Pesquisa do Beisebol Americano (Society for American Baseball Research). Uma viso global de sabermetrics pode ser
encontrada em http://en.wikipedia.org/wiki/Sabermetrics.
TABELA 1 Os 28 Estados de uma Cadeia de Markov de Beisebol

Bases Ocupadas
Nenhuma
Primeira
Segunda
Terceira
Primeira e Segunda
Primeira e Terceira
Segunda e Terceira
Primeira, Segunda e Terceira
Nenhuma
Primeira
Segunda
Terceira
Primeira e Segunda
Primeira e Terceira
Segunda e Terceira
Nenhuma
Primeira
Segunda
Terceira
Primeira e Segunda
Primeira e Terceira
Segunda e Terceira
Eliminados
Estado Deixados na Base
0 0:0
0 1:0
0 2:0
0 3:0
0 12:0
0 13:0
0 23:0
0
123:0
1 0:1
1 1:1
1 2:1
1 3:1
1 12:1
1 13:1
1 23:1
1
123:1
2 0:2
2 1:2
2 2:2
2 3:2
2 12:2
2 13:2
2 23:2
2
123:2
0
1
2
3
Eliminados
Estado
3
3
3
3
0:3
1:3
2:3
3:3
para prever o nmero de pontos (ou corridas) que um time ganhar e para comparar as habilidades
ofensivas de jogadores diferentes. Alguns exerccios sugerem como usar cadeias de Markov para investigar questes de estratgia no beisebol, como decidir se deve tentar um sacrifcio ou um roubo.
A cadeia de Markov, nesta seo, fornece um modo de analisar como as corridas ganham pontos
durante uma meia-entrada (half-inning) em um jogo de beisebol. Os estados da cadeia so as diversas
configuraes de corredores nas bases e o nmero de eliminados. Veja a Tabela 1.
O primeiro estado na coluna na extrema esquerda da Tabela 1 (nenhuma base ocupada, 0 eliminado) o estado inicial da cadeia, quando comea a meia-entrada do beisebol (ou seja, quando um dos times torna-se o atacante, no taco). Os quatro estados na coluna na extrema direita
descrevem as diversas maneiras da meia-entrada terminar (quando ocorre a terceira eliminao
e os times mudam de lugar). Fisicamente, a meia-entrada se completa quando ocorre a terceira
eliminao. Em termos matemticos, a cadeia de Markov continua em um dos quatro estados finais. (O modelo s se aplica a um jogo no qual cada meia-entrada completada.) Ento, cada
um desses quatro estados um estado absorvente da cadeia. Os outros 24 estados so transientes,
pois, sempre que feita uma eliminao, os estados com menos eliminados nunca podem ocorrer
novamente.
A cadeia de Markov se move de estado para estado devido s aes dos rebatedores. As probabilidades de transio da cadeia so as probabilidades dos resultados possveis provenientes das aes
dos rebatedores. Para uma cadeia de Markov, as probabilidades de transio tm de ser as mesmas
para qualquer rebatedor, de modo que o modelo no permite variaes entre os rebatedores. Essa
hiptese significa que cada rebatedor de um time faz rebatidas vlidas (hits) como um rebatedor
mdio para o time.5
O modelo tambm supe que s o rebatedor determine o movimento dos corredores em torno das
bases. Isso significa que no so levadas em considerao bases roubadas nem bolas perdidas pelo
receptor (wild pitches e passed balls). Alm disso, no so permitidos erros pelos jogadores em campo, de modo que o modelo s calcula pontos ganhos (earned runs) pelo trabalho do time pontos
ganhos sem o benefcio de erros em campo dos jogadores do outro time. Finalmente, o modelo s
considera sete possibilidades de resultados: um simples (salvo na primeira base e parando nela), um
duplo (salvo na segunda base), um triplo (salvo na terceira base), corrida at a base principal (home
run), de graa (walk vai para a primeira base sem rebater a bola), atingido (uma bola arremessada atinge o rebatedor e ele avana para a primeira base) e eliminado (out). Assim, o modelo no
Essa hiptese pouco realista pode ser superada usando-se um modelo mais complexo que utiliza matrizes de transio
diferentes para cada rebatedor. Apesar disso, o modelo apresentado aqui pode levar a informaes teis sobre o time.
Mais adiante nesta seo, o modelo ser usado para avaliar jogadores individuais.
5
94 Captulo 10
permite jogadas duplas ou triplas, sacrifcios ou bolas voadoras. Entretanto, podem ser construdas
cadeias de Markov que incluam alguns desses eventos excludos.6
Construo da Matriz de Transio

A matriz de transio 28 28 para a cadeia de Markov tem a forma cannica

(1)
na qual I4 a matriz identidade 4 4 (porque os nicos estados recorrentes so os quatro estados

absorventes, e a cadeia entra em um deles quando ocorre a terceira eliminao), S uma matriz
4 24 e Q uma matriz subestocstica 24 24. As colunas de S e de Q correspondem aos estados
transientes na ordem listada na Tabela 1. Os elementos em S descrevem as transies dos 24 estados transientes (com 0, 1 ou 2 eliminaes) para os estados absorventes (com 3 eliminaes). Note
que a nica maneira de entrar em um estado absorvente vir de um estado com 2 eliminaes.
Denote por pO a probabilidade de o rebatedor ser eliminado. Ento, S pode ser escrita em blocos,
com trs blocos 4 8, como
(2)
em que

A matriz X descreve a transio dos estados transientes com 2 eliminaes para os estados absorventes com 3 eliminaes. (Por exemplo, as colunas 2, 3 e 4 de X listam as probabilidades de que o
rebatedor seja o terceiro jogador a ser eliminado quando um corredor est em uma das trs bases.) A
matriz subestocstica Q em blocos, com blocos 8 8, da forma
(3)

Os nmeros rotulando as linhas e colunas de Q representam o nmero de eliminaes. Os quatro blocos

nulos refletem o fato de que o nmero de eliminaes no pode ir de 1 para 0, de 2 para 0 ou para 1,
ou diretamente de 0 para 2 em um passo. A matriz A descreve como variam as diversas configuraes
nas bases quando o nmero de eliminados no muda.
Os elementos em A e B dependem de como as aes do rebatedor na base principal afetam
os corredores que podem estar em alguma base. A Tabela 2 mostra as hipteses embutidas no
modelo de cadeia de Markov apresentado aqui. Os exerccios consideram algumas hipteses alternativas.
Os elementos nas matrizes A e B 8 8 so construdos das probabilidades dos seis eventos na
Tabela 2. Denote essas probabilidades por pW , p1, p2, p3, pH e pO, respectivamente. A notao pO foi
introduzida antes, durante a construo da matriz S.
A matriz B 8 8 envolve a variao de estados quando o nmero de eliminados aumenta. Nesse
caso, a configurao de corredores nas bases no varia (veja a Tabela 2). Logo,
B = pO I
em que I a matriz identidade 8 8.7
A matriz A trata das situaes em que o rebatedor no eliminado e consegue chegar a uma das
trs bases ou fazer um ponto. A construo de A ser discutida no Exemplo 1 e nos exerccios. Os
Outros modelos usam dados jogo a jogo. Os nmeros de transies entre estados so contados e feita uma mudana
de escala para se produzir uma matriz de transio. Para esses modelos no importa como os corredores avanam, s
importa que eles avancem.
7
Um rebatedor pode ser eliminado de trs maneiras: depois de trs tentativas frustradas de rebatida, rebatendo uma bola
voadora que pega no ar ou rebatendo uma bola muito baixa que lanada para a primeira base antes do rebatedor chegar l. Quando ocorre o segundo ou o terceiro caso, um corredor em uma base pode avanar uma base algumas vezes,
mas tambm pode ser eliminado e removido das bases. A Tabela 2 exclui essas possibilidades.
6
TABELA 2 Hipteses sobre o Avano dos Corredores
Evento
Resultado
De Graa ou Atingido
O rebatedor avana para a primeira base. Um corredor na primeira
base avana para a segunda. Um corredor na segunda base s avana
para a terceira se a primeira base tambm j estivesse ocupada. Um
corredor na terceira base s faz o ponto se a primeira e segunda bases
j estivessem ocupadas.
Simples
O rebatedor avana para a primeira base. Um corredor na primeira
base avana para a segunda. Um corredor na terceira base faz o
ponto. Um corredor na segunda base avana para a terceira base
metade do tempo e faz o ponto metade do tempo.
Duplo
O rebatedor avana para a segunda base. Um corredor na primeira base
avana para a terceira. Um corredor na segunda base faz ponto. Um
corredor na terceira base faz ponto.
Triplo
O rebatedor avana para a terceira base. Um corredor na primeira base
faz ponto. Um corredor na segunda base faz ponto. Um corredor na
terceira base faz ponto.
Base Principal
O rebatedor faz ponto. Um corredor na primeira base faz ponto. Um
corredor na segunda base faz ponto. Um corredor na terceira base faz
ponto.
Eliminado
Nenhum corredor avana. O nmero de eliminados aumentado de
um.
rtulos nas linhas e colunas de A representam os estados na Tabela 2. Aqui k o nmero fixo de eliminaes: 0, 1 ou 2.
A anlise no Exemplo 1 a seguir precisa de dois fatos da teoria de probabilidades. Se um evento

puder ocorrer de duas maneiras mutuamente exclusivas com probabilidades p1 e p2, ento a probabilidade do evento ser p1 + p2. A probabilidade de que dois eventos independentes ocorram de maneira
simultnea o produto das probabilidades separadas de cada evento.
EXEMPLO 1
a. Justifique as probabilidades de transio para o estado inicial nenhuma base ocupada.
b. Justifique as probabilidades de transio para o estado inicial segunda base ocupada.
SOLUO
a. Para a primeira coluna de A, o rebatedor avana para uma das bases ou faz um ponto. De modo que
a probabilidade de as bases permanecerem desocupadas pH. O rebatedor avana para a primeira
base de graa (ou atingido) ou faz um simples. Como o resultado desejado pode ser obtido de duas
maneiras diferentes, a probabilidade de sucesso a soma das duas probabilidades ou seja, pW +
p1. As probabilidades de o rebatedor avanar para a segunda ou a terceira base so, respectivamente,
p2 e p3. Todos os outros resultados so impossveis, j que s pode haver um corredor, no mximo,
em alguma base depois da rebatida quando no havia corredores nas bases no estado inicial.
b. Isso tem a ver com a terceira coluna de A. O estado inicial 2:k (um corredor na segunda base, k
eliminados). Para o elemento (1, 3) de A, necessria a probabilidade de transio para o estado
0:k. Suponha que s a segunda base esteja ocupada e o rebatedor no foi eliminado. A nica maneira de esvaziar as bases seria o rebatedor fazer um ponto, de modo que o elemento (1, 3) pH.
Elemento (2, 3): (para o estado 1:k) Para deixar s um jogador na primeira base, o rebatedor
tem de avanar para a primeira base e o jogador na segunda base tem de chegar base principal
96 Captulo 10
para fazer o ponto.8 Da Tabela 2, a probabilidade de o jogador na segunda base chegar base
principal 0,5. Agora, suponha que esses dois eventos sejam independentes, j que s as aes do
rebatedor (e a Tabela 2) influenciam o resultado. Nesse caso, a probabilidade de os dois eventos
ocorrerem simultaneamente o produto das duas probabilidades, de modo que o elemento (2, 3)
0,5p1.
Elemento (3, 3): (para o estado 2:k) Para deixar s um jogador na segunda base, o rebatedor
tem de chegar segunda base (um duplo) e o corredor na segunda base tem de marcar um ponto.
A segunda condio, no entanto, automaticamente satisfeita devido hiptese na Tabela 2. De
modo que a probabilidade de sucesso nesse caso p2. Esse o elemento (3, 3).
Elemento (4, 3): (para o estado 3:k) Por um argumento semelhante ao usado para o elemento
(3, 3), o elemento (4, 3) p3.
Elemento (5, 3): (para o estado 12:k) Para deixar jogadores na primeira e segunda bases, o
rebatedor precisa chegar primeira base e o jogador na segunda base precisa permanecer l. Entretanto, da Tabela 2, se o rebatedor fizer um simples, o corredor na segunda base chegar, pelo
menos, terceira base. De modo que a nica maneira de ocorrer o resultado desejado o rebatedor
fazer de graa ou ser atingido. Ento o elemento (5, 3) pW.
Elemento (6, 3): (para o estado 13:k) Isso tem a ver com o rebatedor chegar primeira base
e o corredor na segunda base chegar terceira base. Isso s pode acontecer se o batedor fizer um
simples com probabilidade p1 e o corredor na segunda base para na terceira base, o que acontece
com probabilidade 0,5 (pela Tabela 2). Como ambos os eventos so necessrios, o elemento (6, 3)
o produto 0,5p1.
Elemento (7, 3): (para o estado 23:k) Para deixar jogadores na segunda e na terceira base,
o rebatedor tem de fazer um duplo e o corredor na segunda base tem de avanar s at a terceira
base. A Tabela 2 no permite que isso ocorra quando o rebatedor faz um duplo, o corredor na
segunda base faz um ponto. Logo, o elemento (7, 3) nulo.
Elemento (8, 3): O estado inicial tem apenas um corredor em alguma base. O prximo estado
no pode ter trs corredores nas bases, de modo que o elemento (8, 3) zero.
EXEMPLO 2 Muitas vezes as estatsticas de rebatimento so apresentadas como na Tabela 3. Use os

dados da Tabela 3 para obter as probabilidades de transio para os Bravos de Atlanta.
TABELA 3 Estatsticas de Rebatimento dos Bravos de Atlanta Temporada de 2002
De Graa

558
Atingidos
Simples
Duplos
Triplos
Base Principal
Eliminados
54
959
280
25
164
4067
SOLUO A soma dos nmeros na Tabela 3 6107. Esse o nmero total de vezes que os jogadores
do time Bravos de Atlanta pegaram o taco para rebater na temporada de beisebol de 2002. Das duas
primeiras colunas, eles ganharam 612 de graa ou atingidos. Logo pW = 612/6107 = 0,1002. Entre as
6107 vezes que um jogador pegou um taco, foram 959 simples, de modo que p1 = 959/6107 = 0,1570.
Clculos semelhantes fornecem p2 = 0,458, p3 = 0,0041, pH = 0,0269 e p0 = 0,660. Esses valores so
colocados nas matrizes mostradas anteriormente para produzir a matriz de transio para a cadeia de
Markov.
Aplicao do Modelo
Agora que os dados da matriz estocstica esto disponveis, os Teoremas 6 e 7 da Seo 10.5
podem fornecer informaes sobre quantos pontos pode-se esperar que os Bravos de Atlanta
ganhem durante uma partida tpica. O objetivo calcular o nmero de pontos que os Bravos de
Atlanta iro ganhar, em mdia, em cada meia-entrada. Primeiro, note que, como trs rebatedores tm de ser eliminados para terminar uma meia-entrada, o nmero de pontos ganhos naquela
meia-entrada dado por

[# pontos] = [# rebatedores] [# corredores nas bases] 3
(4)
A nica outra maneira de fazer o jogador na segunda base desaparecer seria eliminar este jogador, mas o modelo no
permite a eliminao de corredores nas bases.
8
Se R for o nmero de pontos ganhos na meia-entrada, B for o nmero de rebatedores e L for o nmero
de corredores deixados nas bases, a equao (4) ficar

R = B L 3
(5)
A quantidade de interesse E[R], o nmero esperado de pontos ganhos. Propriedades do valor esperado indicam que

E[R] = E[B] E[L] 3
(6)
Cada rebatedor move de um passo a cadeia de Markov. Logo, o nmero de rebatedores esperado em
uma meia-entrada E[B] o nmero esperado de passos at a absoro (na terceira eliminao) quando
a cadeia recomea no estado inicial 0 base ocupada, 0 eliminado. Esse estado inicial corresponde
quinta coluna da matriz de transio
Em termos de beisebol, o Teorema 6 mostra que

O nmero esperado de jogadores que rebatem em uma meia-entrada a soma dos elementos na
coluna 1 da matriz fundamental M = (I Q)1.
Portanto, E[B] pode ser calculado. A outra quantidade necessria na equao (6) anterior E[L],
o nmero esperado de corredores deixados nas bases em uma meia-entrada tpica. Isso dado pela
seguinte soma:
(7)

O Teorema 7 pode fornecer essa informao porque as classes recorrentes para a cadeia so simplesmente os quatro estados absorventes (ao final da meia-entrada). As probabilidades necessrias
na equao (7) so as probabilidades de absoro nos quatro estados finais da meia-entrada dado
que o estado inicial 0 base ocupada, 0 eliminado. Ento, as probabilidades desejadas esto na
coluna 1 da matriz SM, na qual M a matriz fundamental da cadeia e S = [O O X], como na equao (2). As probabilidades podem ser usadas para calcular E[L] usando a equao (7) e, depois,
encontrar E[R].
EXEMPLO 3 Quando os dados sobre os Bravos de Atlanta do Exemplo 2 so usados para construir
a matriz de transio (no est mostrada aqui), a soma dos elementos na primeira coluna da matriz
fundamental M 4,5048 e a primeira coluna da matriz SM
Calcule o nmero esperado de pontos dos Bravos de Atlanta por entrada baseado no desempenho da
temporada de 2002. Quantos pontos so previstos pelo modelo para a temporada inteira se os Bravos
jogarem 1443 entradas, como em 2002?
SOLUO A primeira coluna de SM mostra que, por exemplo, a probabilidade de os Bravos no dei-
xarem corredores em alguma base 0,3520. O nmero esperado de corredores em bases
O nmero esperado de rebatedores E[B] = 4,5048, a soma dos elementos na primeira coluna de M.
Da equao (6), o nmero esperado de pontos E[R]
O modelo de cadeia de Markov prev que os Bravos devem ter uma mdia de 0,4594 ponto por entrada. Em 1443 entradas, o nmero total esperado de pontos
O nmero real de pontos para os Bravos em 2002 foi 636, de modo que o erro do modelo de 27,22
pontos, ou aproximadamente 4,3%.
98 Captulo 10
Modelos matemticos so usados por alguns times da primeira diviso para comparar os perfis
ofensivos de jogadores individuais. Para analisar um jogador usando o modelo de cadeia de Markov,
use a estatstica de rebatimentos do jogador, em vez de usar a do time. Calcule o nmero esperado de
pontos que o time de tais jogadores ganharia em uma entrada. Em geral, esse nmero multiplicado
por 9 para obter a chamada mdia ofensiva de pontos ganhos.
EXEMPLO 4 A Tabela 4 mostra a estatstica de rebatimentos da carreira de Jose Oquendo, que jogou
para os Mets de Nova York e para os Cardeais de St. Louis nas dcadas de 1980 e 1990. Calcule sua
mdia ofensiva de pontos ganhos.
TABELA 4 Estatstica de Rebatimentos de Jose Oquendo
De Graa

448
Atingidos
Simples
Duplos
Triplos
Base Principal
Eliminados
679
104
24
14
2381
SOLUO Construa a matriz de transio a partir desses dados, como descrito no Exemplo 2, e de-
pois calcule M e SM. A soma dos elementos na primeira coluna de M 4,6052, de modo que um time
inteiramente composto de Joses Oquendos teria uma mdia de rebatimentos de 4,6052 por entrada.
Ou seja, E[B] = 4,6052. A primeira coluna de SM
de modo que o nmero esperado de corredores deixados nas bases

Da equao (6), o nmero esperado de pontos ganhos
A mdia ofensiva de pontos ganhos para Jose Oquendo 0,3631 9 = 3,2679. Isso se compara com
uma mdia ofensiva de pontos ganhos de cerca de 10 para times compostos dos melhores rebatedores
da histria do beisebol. Veja os Exerccios.
PROBLEMAS PRTICOS
1. Seja A a matriz que antecede o Exemplo 1. Explique por que o elemento (3, 6) zero.
2. Explique por que o elemento (6, 3) de A 0,5p1.
10.6 EXERCCIOS
Nos Exerccios 1 a 6, justifique as probabilidades de transio para os
estados iniciais dados. Veja o Exemplo 1.
1. Primeira base ocupada.
2. Terceira base ocupada.
3. Primeira base e segunda base ocupadas.
4. Primeira base e terceira base ocupadas.
5. Segunda base e terceira base ocupadas.
6. Primeira base, segunda base e terceira base ocupadas.
7. A Tabela 5 mostra as estatsticas de rebatimento para os times da
Primeira Diviso na temporada de 2006. Calcule as probabilidades
de transio para esses dados, como no Exemplo 2, e encontre a
matriz A para esses dados.
8. Encontre a matriz de transio completa para o modelo usando os
dados da Primeira Diviso na Tabela 5.
9. Pode-se mostrar que a soma dos elementos na primeira coluna da
matriz M para os dados da Primeira Diviso durante a temporada
de 2006 igual a 4,53933, e a primeira coluna de SM para os dados

da Primeira Diviso em 2006
Encontre o nmero esperado de pontos ganhos por entrada em um

jogo da Primeira Diviso em 2006.
10. O nmero de entradas rebatidas na Primeira diviso na temporada de 2006 foi 43.257, e o nmero de pontos ganhos foi 21.722.
Qual o nmero total de pontos ganhos na temporada previsto
pelo modelo e como ele se compara com o nmero real de pontos ganhos?
11. A Tabela 6 mostra as estatsticas de trs dos melhores rebatedores na
histria da Primeira Diviso. Calcule as probabilidades de transio
para esses dados para cada jogador.
TABELA 5 Estatsticas de Rebatimento para a Primeira Diviso na Temporada de 2006

De Graa
Atingidos
Simples
Duplos
Triplos
Base Principal
Eliminados
1817
29.600
9135
952
5386
122.268
15.847
TABELA 6 Estatsticas de Rebatimento para os Melhores Rebatedores

Nome
De Graa Atingidos Simples
Barry Bonds
Babe Ruth
Ted Williams
2558
2062
2021
106
43
39
1495
1517
1537
12. A Tabela 7 mostra as somas dos elementos nas primeiras colunas das
matrizes M e as primeiras colunas das matrizes SM para os dados
dos jogadores na Tabela 6. Encontre e compare as mdias ofensivas
de pontos ganhos desses jogadores. Qual rebatedor o modelo aponta
como o melhor dos trs?

TABELA 7 Informao do Modelo para as Estatsticas de

Rebatimento
Soma da Primeira
Coluna de M
Duplos Triplos Base Principal Eliminados
Primeira Coluna
de SM
601 77
506
136
525 71
762
714
521
6912
5526
5052
14. A soma dos elementos na coluna de M correspondente ao estado

corredor na primeira base, ningum eliminado 4,53933 e a coluna de SM correspondente a esse estado
Seu time, agora, tem um corredor na primeira base e ningum foi eliminado. Quantos pontos voc espera que seu time ganhe nessa entrada?
corredor na segunda base, ningum eliminado 4,53933 e a coluna de SM correspondente a esse estado
Quantos pontos voc espera que seu time ganhe se a segunda base
tiver um corredor e ningum for eliminado?
bases vazias, um eliminado 3,02622 e a coluna de SM correspondente a esse estado
13. Considere as segundas colunas das matrizes M e SM, que correspondem ao estado corredor na primeira base, ningum eliminado.

a. Qual a informao dada pela soma dos elementos na segunda
coluna da matriz M?

b. Que valor voc pode calcular usando a segunda coluna de
SM?

c. Qual seria o significado do clculo do nmero esperado de pon tos ganhos usando os dados da segunda coluna?
Os Exerccios 14 a 18 mostram como o modelo para a produo de pontos
no texto pode ser usado para determinar a estratgia de beisebol. Suponha que voc seja o treinador de um time de beisebol e tenha acesso s
matrizes M e SM para o seu time.
Quantos pontos voc espera que seu time ganhe se as bases estiverem vazias e um jogador for eliminado?
17. Suponha que um corredor do seu time esteja na primeira base e ningum foi eliminado. Voc tem de decidir se diz para seu corredor
na primeira base roubar a segunda base. Se ele conseguir, vai haver
um corredor na segunda base e ningum eliminado. Se ele for pego,
as bases ficaro vazias e um jogador ter sido eliminado. Suponha
ainda que o corredor tenha uma probabilidade p = 0,8 de conseguir.
Tentar o roubo nessas circunstncias vai aumentar ou diminuir o nmero esperado de pontos que seu time ir ganhar nessa entrada?
18. No exerccio anterior, suponha que a probabilidade de o corredor
conseguir roubar a segunda base seja p. Para que valores de p voc,
como treinador, vai dizer para o corredor tentar o roubo?
100 Captulo 10

1. Para o elemento (3, 6) de A, preciso a probabilidade de transio do estado 13:k para o estado
2:k. Suponha que a primeira base e a terceira base estejam ocupadas e o rebatedor no far com
que algum seja eliminado. Para deixar um jogador na segunda base, preciso que o rebatedor
faa um duplo e os dois corredores nas bases ocupadas alcancem a base principal. O modelo no
permite que isso ocorra, de modo que o elemento (3, 6) tem de ser nulo.
2. Para o elemento (6, 3) de A, necessria a probabilidade de transio do estado 2:k para o estado
13:k. Suponha que s a segunda base esteja ocupada e o rebatedor no far com que algum seja
eliminado. Para deixar corredores na primeira base e na terceira base, preciso que o rebatedor
chegue primeira base e o corredor na segunda consiga chegar terceira base. O resultado desejado ocorre quando o rebatedor fizer um simples, mas ento a probabilidade de o corredor na
segunda base parar na terceira ser de 0,5. Portanto, o elemento (6, 3) igual a 0,5p1.
APNDICE
Demonstrao do Teorema 1
Eis um enunciado do Teorema 1, que ser demonstrado neste apndice.
TEOREMA 1
Se P for uma matriz de transio regular m m com m 2, ento as afirmaes a seguir sero
todas verdadeiras.
a. Existe uma matriz estocstica tal que
b. Cada coluna de igual ao mesmo vetor de probabilidade q.
c. Para qualquer vetor de probabilidade inicial x0,
d. O vetor q o nico vetor de probabilidade que um autovetor de P associado ao autovalor 1.
e. Todos os autovalores de P diferentes de 1 satisfazem || < 1.
A demonstrao do Teorema 1 requer a criao de uma relao de ordem para vetores e comea
considerando matrizes cujos elementos so estritamente positivos ou no negativos.
DEFINIO
Se x e y estiverem em m, ento
DEFINIO
Uma matriz A m n positiva se todos os seus elementos forem positivos. Uma matriz A m n
no negativa se no tiver elementos negativos.
Note que todas as matrizes estocsticas so no negativas. A regra de multiplicao linha por coluna
(Seo 1.3) mostra que a multiplicao de vetores por uma matriz positiva preserva a ordem.

Se A for uma matriz positiva e x > y, ento Ax > Ay.
(1)
Se A for uma matriz positiva e x y, ento Ax Ay.
(2)
Alm disso, multiplicao por matrizes no negativas quase preserva a ordem no seguinte sentido:

Se A for uma matriz no negativa e x y, ento Ax Ay.
(3)
O primeiro passo na demonstrao do Teorema 1 um lema que mostra como a transposta de uma
matriz estocstica age em um vetor.
LEMA 1
Seja P uma matriz estocstica m m e seja o menor elemento em P. Sejam a um vetor em m,

Ma a maior coordenada de a e ma a menor coordenada. De modo anlogo, sejam b = PTa, Mb a
maior coordenada de b e mb a menor coordenada. Ento ma mb Mb Ma e
102 apndice 1
DEMONSTRAO Crie um novo vetor c a partir de a substituindo todas as coordenadas por Ma, exceto por uma ocorrncia de ma. Suponha que essa nica coordenada ma esteja na i-sima linha de c.
Ento c a. Se q1, q2, qm forem as colunas de PT, teremos
Como P uma matriz estocstica, a soma dos elementos em cada uma das linhas PT 1. Seja u o vetor
em m com todas as coordenadas iguais a 1. Ento
Como cada elemento em P (e, portanto, em PT) maior ou igual a , qi u e
Mas, como a c e PT no negativa, a Equao (3) fornece

Assim, cada coordenada de b menor ou igual a Ma (Ma ma). Em particular,

(4)
Logo, Mb Ma. Agora, se examinarmos o vetor a, veremos que a maior coordenada de a ma,
a menor Ma e resultados semelhantes valem para b = PT(a). A utilizao da equao (4) nesse
caso fornece

(5)
de modo que mb ma. Somando as equaes (4) e (5), obtm-se

DEMONSTRAO DO TEOREMA 1 Suponha, primeiro, que a matriz de transio P seja uma matriz
estocstica positiva. Como anteriormente, seja > 0 o menor elemento em P. Considere o vetor ej,
em que 1 j m. Sejam Mn e mn, respectivamente, a maior e a menor coordenada do vetor (PT)nej.
Como (PT)nej = PT(PT)n1ej, o Lema 1 fornece

(6)
Portanto, por induo, pode-se mostrar que

Como m 2, 0 < . Ento 0 1 2 < 1 e
Logo, as coordenadas do vetor
(P ) ej tendem ao mesmo valor, digamos qj, quando n aumenta. Note que, como os elementos de PT
esto entre 0 e 1, as coordenadas de (PT)nej tambm tm de estar entre 0 e 1 e, portanto, qj tambm
tem de estar entre 0 e 1. Mas (PT)nej a j-sima coluna de (PT)n, que a j-sima linha de Pn. Ento Pn
se aproxima de uma matriz cujas linhas so vetores constantes, o que outra maneira de dizer que as
colunas de Pn tendem ao mesmo vetor q:
T n
Isso mostra que o Teorema 1(a) vlido se P for uma matriz positiva. Suponha agora que P seja regular, mas no positiva. Como P regular existe uma potncia Pk de P que positiva. Precisamos
mostrar que
; o resto da demonstrao segue exatamente igual ao caso da matriz
positiva. Qualquer que seja o valor de n, sempre existe um mltiplo de k, digamos rk, com rk < n
r(k + 1). Pela demonstrao anterior,
Mas a equao (6) tambm pode ser aplica-
Demonstrao do Teorema 1 103
da a matrizes no negativas, de modo que 0 Mn mn Mrk mrk e

, o que prova
o item (a) do Teorema 1.
Para provar o item (b), basta mostrar que q um vetor de probabilidade. Para ver isso, note que,
como a soma de cada linha de (PT)n igual a 1, (PT)nu = u. Como
= T, segue que Tu =
u. Assim, a soma das linhas de T e tambm a soma de suas colunas tm de ser igual a 1 e q um
vetor de probabilidade.
A demonstrao da parte (c) segue da definio de multiplicao de matrizes e do fato de que Pn
tende a pelo item (a). Seja x0 qualquer vetor de probabilidade. Ento
j que a soma das coordenadas de x0 1.

Para provar o item (d), vamos calcular P. Note, primeiro, que
P n+1 = . Mas, como
Pn+1 = PPn e
P n = , e
P n+1 = P. Ento P = e qualquer coluna dessa equao matricial fornece Pq = q. Assim, q um vetor de probabilidade que tambm um autovetor de P associado ao autovalor = 1. Para mostrar que esse vetor nico, seja v um autovetor de P associado ao
autovalor = 1 que tambm um vetor de probabilidade. Ento Pv = v e Pnv = v para todo n. Mas,
pelo item (c),
o que s pode ocorrer se v = q. Assim, q nico. Note que essa parte da
demonstrao tambm mostrou que o autoespao associado ao autovalor = 1 tem dimenso 1.
Para provar o item (e), seja 1 um autovalor de P e seja x um autovetor associado. Suponha
que
Como qualquer mltiplo escalar no nulo de x tambm um autovalor associado a
, podemos multiplicar o vetor x pelo inverso de
para obter o autovetor w. claro que a
soma das coordenadas de w 1. Ento Pw = w, logo Pnw = nw para todo n. Pela demonstrao do
item (c),
q, j que a soma das coordenadas de w 1. Ento
Note que a equao (7) s pode ser vlida se = 1. Se || 1 e 1, a expresso esquerda do sinal de igualdade na equao (7) divergir; se || < 1, a expresso esquerda do sinal de igualdade
na equao (7) convergir para 0 q. Isso contradiz nossa hiptese, de modo que todos os autovetores associados a tm de ter a soma das coordenadas igual a zero. Ento, se w for um autovetor,
e, pelo item (a),
ento
. Como
0. Como Pnw = nw e w 0,
n = 0 e || < 1.
APNDICE
Probabilidade
O objetivo deste apndice fornecer algumas informaes sobre a teoria de probabilidades que podem ser usadas para desenvolver uma definio formal de cadeia de Markov e provar alguns resultados do Captulo 10.
Probabilidade

DEFINIO
Para cada evento E de um espao amostral S, a probabilidade de E (denotada por P(E)) um

nmero que tem as trs propriedades a seguir:
c. Para qualquer sequncia de eventos mutuamente exclusivos E1, E2, ,
Propriedades de Probabilidades
4. Se E e F forem eventos mutuamente exclusivos, P(E F) = P(E) + P(F).
DEFINIO
A probabilidade condicional de E dado F (denotada por P(E|F)), que a probabilidade de o

evento E ocorrer dado que F ocorreu, dada por
Lei da Probabilidade Total

Seja F1, F2, uma sequncia de eventos mutuamente exclusivos para os quais
Ento, para qualquer evento E no espao amostral S,
Probabilidade 105
Variveis Aleatrias e Valor Esperado

DEFINIO
Uma varivel aleatria uma funo definida no espao amostral S que assume valores reais.
Uma varivel aleatria discreta uma varivel aleatria que pode assumir, no mximo, um conjunto enumervel de valores.
S consideraremos variveis aleatrias discretas neste texto; variveis aleatrias que podem assumir
um conjunto infinito no enumervel de valores so estudadas em disciplinas avanadas de teoria de
probabilidades. Na Seo 10.3, foi definido o valor esperado de uma varivel aleatria discreta. O
valor esperado de uma varivel aleatria discreta tambm pode ser definido usando-se uma funo
denominada funo de probabilidade.
DEFINIO
A funo de probabilidade de uma varivel aleatria discreta X a funo com valores reais
p(a) = P(X = a).
DEFINIO
O valor esperado de uma varivel aleatria discreta X
em que a soma sobre todos os x tais que p(x) > 0.

Note que, se a varivel aleatria assumir os valores x1, x2, com probabilidade positiva, ento o valor esperado da varivel aleatria ser
o que est de acordo com a definio de valor esperado dada na Seo 10.3. Usando a definio anterior, a demonstrao de que o valor esperado tem as propriedades a seguir direta.
Propriedades do Valor Esperado
Para qualquer constante real k e quaisquer variveis aleatrias discretas X e Y,
4. Se f for uma funo que assume valores reais, ento f (X) ser uma varivel aleatria discreta e
E[f (X)] = x f (x)p(x), em que a soma sobre todos os x tais que p(x) > 0.
Da mesma forma que as probabilidades, os valores esperados tambm podem ser afetados pelo fato
de um evento ocorrer ou no.
DEFINIO
Seja X uma varivel aleatria discreta e seja F um evento no espao amostral S. Ento o valor
esperado condicional (ou esperana condicional) de X dado F dado por
em que a soma sobre todos os x tais que p(x) > 0.

Existe uma lei de probabilidade total para o valor esperado que ser usada para provar um resultado
do Captulo 10. Seu enunciado e sua demonstrao so dados a seguir.
106 apndice 2
Lei da Probabilidade Total para o Valor Esperado

Seja F1, F2, uma sequncia de eventos mutuamente exclusivos para os quais
Ento, para qualquer varivel aleatria discreta X,
DEMONSTRAO Seja F1, F2, uma sequncia de eventos mutuamente exclusivos para os quais
= S e seja X uma varivel aleatria discreta. Ento, usando a definio de valor esperado e
a lei da probabilidade total,
Cadeias de Markov
Na Seo 4.9, uma cadeia de Markov foi definida como uma sequncia de vetores. Para entender cadeias de Markov de um ponto de vista probabilstico, melhor definir cadeias de Markov como uma
sequncia de variveis aleatrias. Para comear, considere qualquer coleo de variveis aleatrias.
Isso chamado um processo estocstico.
DEFINIO
Um processo estocstico {Xn : n T} uma coleo de variveis aleatrias.

Notas:
1. O conjunto T chamado conjunto indexador para o processo estocstico. O nico conjunto T
que precisa ser considerado para esse apndice T = {0, 1, 2, }, de modo que o processo estocstico pode ser descrito como uma sequncia de variveis aleatrias {X0, X1, X2, }. Quando
T = {0, 1, 2, }, o ndice muitas vezes identificado com o tempo e o processo estocstico dito
um processo estocstico em tempo discreto. A varivel aleatria Xk considerada como o processo estocstico no instante k.
2. Supe-se que as variveis aleatrias em um processo estocstico tenham o mesmo contradomnio.
Esse contradomnio chamado espao de estados para o processo estocstico. Os espaos de estados no Captulo 10 so todos finitos, de modo que as variveis aleatrias Xk so todas variveis
aleatrias discretas. Se Xk = i, diremos que i o estado do processo no instante k, ou que o processo est no estado i no instante (ou passo) k.
3. Note que um processo estocstico pode ser usado para modelar movimento entre estados no espao
de estados. Para algum elemento no espao amostral S, a sequncia {X0(), X1(), } ser uma
sequncia de estados no espao de estados uma sequncia que poder ser diferente para cada
elemento em S. Em geral, a dependncia no espao amostral ignorada e o processo estocstico
tratado como uma sequncia de estados; diz-se que o processo se move (ou transita) entre esses
estados com o passar do tempo.
4. Como um processo estocstico uma sequncia de variveis aleatrias, o estado em que o processo
est de fato em determinado instante no pode ser conhecido. O objetivo, portanto, encontrar a
probabilidade de que o processo esteja em um estado particular em um determinado instante. Isso
significa encontrar a funo de probabilidade de cada varivel aleatria Xk na sequncia que o
processo estocstico.
Probabilidade 107
5. Quando um processo estocstico, em tempo discreto, tem um espao de estado finito, a funo
de probabilidade de cada varivel aleatria Xk pode ser expressa como um vetor de probabilidade xk. Esses vetores de probabilidade foram usados para definir uma cadeia de Markov na
Seo 4.9.
Para que um processo estocstico em tempo discreto {X0, X1, X2, } seja uma cadeia de Markov, o
estado do processo no instante n + 1 tem de depender apenas do estado do processo no instante n.
Isso diferente do que ocorre com processos estocsticos mais gerais, cujos estados em um instante
n podem depender de toda a histria do processo. Em termos de probabilidades condicionais, essa
propriedade
A probabilidade direita do sinal de igualdade nessa equao chamada probabilidade de transio
do estado j para o estado i. Em geral, essa probabilidade de transio pode mudar dependendo do
instante n. Isso no ocorre para as cadeias de Markov consideradas no Captulo 10: as probabilidades
de transio no variam com o tempo, de modo que a probabilidade de transio do estado j para o
estado i
Uma cadeia de Markov com probabilidades de transio constantes chamada uma cadeia de Markov
homognea no tempo. Eis sua definio.
DEFINIO
Uma cadeia de Markov homognea no tempo um processo estocstico em tempo discreto

cujas probabilidades de transio satisfazem
para todos os instantes n e todos os estados i e j.
Usando essa definio, claro que, se o nmero de estados for finito, ento poder se construir uma
matriz de transio que tem as propriedades consideradas na Seo 10.1.
Demonstraes dos Teoremas

Tempos de Retorno Mdio
O Teorema 3 na Seo 10.3 relacionou o vetor estado estacionrio para uma cadeia de Markov com
o tempo de retorno mdio de um estado na cadeia. Eis o enunciado do teorema e uma demonstrao
que depende da lei da probabilidade total para o valor esperado.
TEOREMA 3
Seja Xn, n = 1, 2, , uma cadeia de Markov irredutvel com espao de estado finito S. Seja nij o
nmero de instantes de tempo at que a cadeia visite pela primeira vez o estado i dado que a cadeia
comeou no estado j e seja tii = E[nii]. Ento
em que qi a coordenada no vetor estado estacionrio q correspondente ao estado i.

DEMONSTRAO Para encontrar uma expresso para tii, produza primeiro uma equao envolvendo
tij considerando o primeiro passo da cadeia X1. Existem duas possibilidades: X1 = i ou X1 = k i. Se
X1 = i, ento levou exatamente um instante de tempo para visitar o estado i e
Se X1 = k i, a cadeia demorar um instante de tempo para visitar o estado k e, depois, o nmero
esperado de instantes de tempo para a cadeia visitar pela primeira vez o estado i ser igual a E[nik] =
tik. Ento
108 apndice 2
Pela lei de probabilidade total para o valor esperado,
Seja T a matriz cujo elemento (i, j) tij e seja D a matriz diagonal cujos elementos diagonais so iguais
a tii. Ento a igualdade final anterior pode ser escrita na forma
(1)

Se U for uma matriz com todos os elementos iguais a 1 de tamanho apropriado, a equao (1) poder
ser escrita em forma matricial como

(2)
Multiplicando a equao (2) pelo vetor estado estacionrio q e lembrando que Pq = q, obtm-se
(3)
Considere as coordenadas em cada um dos vetores na equao (3). Como U uma matriz com todos
os elementos iguais a 1,
j que q um vetor de probabilidade. Analogamente,
Igualando as coordenadas correspondentes de Uq e Dq, obtm-se tiiqi = 1, ou

Periodicidade como uma Propriedade de Classe

Na Seo 10.4, foi enunciado que, se dois estados pertencerem mesma classe de comunicao, ento
seus perodos tero de ser iguais. Segue uma demonstrao deste resultado.
TEOREMA
Seja i e j dois estados de uma cadeia de Markov que pertencem mesma classe de comunicao.
Ento, os perodos de i e de j so iguais.
DEMONSTRAO Suponha que i e j pertenam mesma classe de comunicao para uma cadeia de
Markov X, que o estado i tenha perodo di e o estado j tenha perodo dj. Para simplificar a exposio
desta demonstrao, ser usada a notao (ar)ij para o elemento (i, j) na matriz Ar. Como i e j pertencem mesma classe de comunicao, existem inteiros positivos m e n tais que (pm)ji > 0 e (pn)ij > 0.
Probabilidade 109
Seja k um inteiro positivo tal que (pk)jj > 0. De fato, (plk)jj > 0 para todo l > 1. Agora (pn+lk+ m)ii > (pn)ij
(plk)jj (pm)ji > 0 para todos os inteiros l > 1, j que um ciclo completo do estado i para o estado i em
n + lk + m instantes (ou passos) pode ser criado de muitas maneiras, mas uma delas ir do estado i
para o estado j em n passos, depois fazer l ciclos completos do estado j para o estado j usando k passos em cada ciclo e, finalmente, retornar ao estado i em m passos. Como di o perodo do estado i, di
tem de dividir n + lk + m para todos os inteiros l > 1. Ento di divide n + 2k + m e n + 3k + m e assim
por diante, logo di divide (n + 3k + m) (n + 2k + m) = k. Assim, di um divisor comum de todos os
instantes de tempo k para os quais (pk)jj > 0. Como dj o maior divisor comum de todos os instantes
de tempo k para os quais (pk)jj > 0, di dj. Um argumento anlogo mostra que di dj, de modo que
di = dj.
A Matriz Fundamental
Na Seo 10.5, foi estudado o nmero de visitas vij a um estado transiente i que uma cadeia de Markov
faz comeando no estado transiente j. Especificamente, foi calculado o valor esperado E[vij] e a
matriz fundamental foi definida como a matriz cujo elemento (i, j) mij = E[vij]. O teorema a seguir
enuncia o Teorema 6 na Seo 10.5 em uma forma equivalente; a demonstrao baseia-se na lei de
probabilidade total para o valor esperado.
TEOREMA 6
Seja j e i estados transientes de uma cadeia de Markov e seja Q a parte da matriz de transio que
governa o movimento entre os estados transientes. Seja vij o nmero de visitas que a cadeia far a
um estado transiente i, comeando no estado transiente j, e seja mij = E[vij]. Ento a matriz M cujo
elemento (i, j) mij satisfaz a equao
M = (I Q)1
DEMONSTRAO Vamos produzir uma equao envolvendo mij considerando o primeiro passo da
cadeia X1. Consideramos dois casos: i j e i = j. Suponha primeiro que i j e X1 = k. Ento veremos
que
(4)

se i j. Suponha agora que i = j. Ento a anlise anterior ser vlida, mas precisaremos adicionar uma
visita ao estado i, j que a cadeia estava no estado i no instante 0. Assim,

(5)
Podemos combinar as equaes (4) e (5) introduzindo o smbolo a seguir, conhecido como o delta
de Kronecker:
Note que ij o elemento (i, j) na matriz identidade I. Podemos escrever as equaes (4) e (5) como
Logo, pela lei da probabilidade total para o valor esperado,
Agora observe que, se k for um estado recorrente, ento E[vik] = 0. Portanto, s precisamos somar
sobre os estados transientes da cadeia:
110 apndice 2
j que j e k so estados transientes e a matriz Q est definida no enunciado do teorema. Podemos escrever a igualdade final anterior como
mij = Iij + (MQ)ij
ou, em forma matricial, como
M = I + MQ
(6)
Podemos escrever a equao (6) como

M MQ = M(I Q) = I
de modo que (I Q) invertvel pelo Teorema da Matriz Invertvel e M = (I Q)1.
Probabilidades de Absoro
Na Seo 10.5, foi estudada a probabilidade de a cadeia ser absorvida por um determinado estado
absorvente. A cadeia de Markov foi suposta de s ter estados transientes ou absorventes, j um estado transiente e i um estado absorvente da cadeia. Foi calculada a probabilidade aij de a cadeia
ser absorvida pelo estado i dado que ela comeou no estado j e foi mostrado que a matriz A que tem
aij como elemento (i, j) satisfaz A = SM, em que M a matriz fundamental e S a parte da matriz de
transio que governa o movimento dos estados transientes para os estados absorventes. O teorema
a seguir enuncia esse resultado, que foi apresentado como Teorema 7 na Seo 10.5. dada uma demonstrao alternativa que usa a lei da probabilidade total.
TEOREMA 7
Considere uma cadeia de Markov com espao de estado finito cujos estados so absorventes
ou transientes. Suponha que j seja um estado transiente e i seja um estado absorvente. Seja aij a
probabilidade de a cadeia ser absorvida pelo estado i, dado que comeou no estado j. Seja A a matriz
que tem aij como o elemento (i, j). Ento A = SM, em que S e M esto definidas anteriormente.
DEMONSTRAO Vamos considerar de novo o primeiro passo da cadeia, X1. Seja X1 = k. Existem
trs possibilidades: k pode ser um estado transiente, k pode ser i ou k pode ser um estado absorvente
diferente de i. Se k for transiente, ento
Se k = i, ento
enquanto, se k for absorvente e diferente de i,

Pela lei da probabilidade total,
Como j transiente e i absorvente, pij = sij. Como na soma final j e k so ambos transientes, pkj = qkj.
Portanto, a igualdade final pode ser escrita como
ou, em notao matricial,

A = A + AQ
Essa equao pode ser resolvida para A para se obter A = SM.
Respostas dos Exerccios mpares

do Captulo 10
Captulo 10
Seo 10.1
1. a. Estocstica

b. No estocstica. A soma das colunas no igual a 1.
21.

23.
a. Verdadeira.
b. Falsa. A matriz de transio P no pode variar com o tempo.
c. Verdadeira.
Ensolarado com probabilidade 0,406, nublado com probabilidade
0,145375, chuvoso com probabilidade 0,448625.
112 Respostas dos Exerccios mpares do Captulo 10
33. Suponha que P seja uma matriz estocstica m m com todos os seus
elementos maiores ou iguais a p. A demonstrao por induo. Note
que a afirmao a ser demonstrada verdadeira para n = 1. Suponha
que seja verdadeira para n e seja B = Pn. Ento, como BP = Pn+1, o
O elemento (0, 0) em Pk ser zero se k for mpar, enquanto o

elemento (0, 1) ser zero se k for par. Logo P no regular

b. Calcule
elemento (i, j) em Pn+1

induo,
b p
ik
k =1
kj
ik
kj
. Como bik p pela hiptese de
k =1
m
b p
kj
k =1
. Mas
kj
= 1 , j que P uma
k =1
matriz estocstica, logo todos os elementos em Pn+1 so maiores ou

iguais a p.

de modo que a cadeia passar a maior parte do tempo no estado
2, que corresponde a ambas as urnas contendo 2 molculas.
11. a. A matriz de transio
Seo 10.2
7. P regular, j que todos os elementos em P2 so positivos.

9. a. A matriz de transio

b.
O elemento (1, 1) em Pk ser zero quando k for mpar, enquanto o elemento (1, 2) ser zero quando k for par. Logo, P no
regular.
Calcule
de modo que a cadeia passar a maior parte do tempo nos estados 2 e 3.
Respostas dos Exerccios mpares do Captulo 10 113
q um vetor estado estacionrio para a cadeia de Markov. O compartimento 6 um estado absorvente para a cadeia uma vez que o camundongo entre no compartimento 6, ele ficar a para todo o sempre.
21 a. Verdadeira.

b. Verdadeira.

c. Falsa. Veja os Exemplos 4 e 5.
23. Usando o dia mais prximo, 152 sero ensolarados, 52 nublados e 161 chuvosos.
25. A matriz do Google e seu vetor estado estacionrio so

e a ordem das pginas (PageRank) 1; 2, 3 e 4 (empatadas); 5.
27. a. Se um indivduo dominante (AA) cruzar com um hbrido (Aa), ento o indivduo dominante sempre ir contribuir com um A. Metade do
tempo, o hbrido tambm ir contribuir com um A, o que levar a um descendente dominante. A outra metade do tempo, o hbrido contri buir com um a e o descendente ser hbrido.

b. Se um indivduo recessivo (aa) cruzar com um hbrido (Aa), ento o recessivo sempre ir contribuir com um a. Metade do tempo, o hbrido
tambm ir contribuir com um a, o que levar a um descendente recessivo. A outra metade do tempo, o hbrido contribuir com um A e o
descendente ser hbrido.

c. Se dois hbridos (Aa) cruzarem, ento o descendente ser dominante quando ambos contriburem com A, o que ocorrer ()() = do
tempo. Analogamente, o descendente ser recessivo quando ambos contriburem com a, o que ocorrer ()() = do tempo. Por fim, em
todos os outros casos, o descendente ser hbrido, o que ocorrer 1 = do tempo.
29. a. Confirme que todos os elementos em P6 so estritamente positivos.
1 / 64
3 / 32
15 / 64
b. Calcule q = 5 / 16 , de modo que a cadeia fica a maior parte do tempo no estado 3, que corresponde a ambas as urnas conterem 3 mo15 / 64
3 / 32
1 / 64
lculas. A frao de tempo que a cadeia gasta ali 5/16.

c. Calcule

de modo que o resultado do item (b) no depende do valor de p.
31. Calcule
Se for igualmente provvel que a cadeia comece em cada um dos

estados, ento ela ir comear em um dos estados 1, 2 ou 3 com
probabilidade 3/5 e em um dos estados 4 ou 5 com probabilidade
2/5. Como
a probabilidade de a cadeia estar no estado 1 depois de muito tempo

12/55.
35. a. A matriz P ser estocstica se p + q 1. Ser uma matriz estocstica regular se, alm disso, p 1 e q 1.

b. Um vetor estado estacionrio para P

37. a.

b.

Seja v um autovetor de P associado a = 1. Seja Pv = y. Ento,

pelo Exerccio 36,
Mas Pv = v, logo y = v e
Como vale a igualdade, todas as coordenadas no nulas de v tm
de ter o mesmo sinal, pelo Exerccio 36.
Pelo item (a), todas as coordenadas no nulas de v tm de ter
o mesmo sinal. Como v um autovetor, v 0, logo tem de ter
pelo menos uma coordenada no nula. Ento, a soma das
coordenadas de v no igual a zero, logo podemos definir

Esse vetor tambm ser um autovetor associado a = 1, cada

coordenada desse vetor ser no negativa, e a soma de todas

as coordenadas ser igual a 1. Portanto, ele um vetor estado

estacionrio para P.
39. a. Como x0 = c1q + c2v2 + + cnvn e 1 = 1, a equao (2) indica
que

b. Pelo item (a),

e xk c1q, j que |i| < 1. Como 2 o autovalor com maior

mdulo depois de 1, o termo c2lk2v2 o termo de maior mdulo
no erro e, portanto, ir governar o quo rpido {xk} converge
para c1q.
Seo 10.3
13. Todo estado pode ser acessado a partir de qualquer outro em dois
ou menos passos, de modo que a cadeia de Markov irredutvel.
Os tempos de retorno so

Estado 1:4

Estado 2:4

Estado 3:4

Estado 5:4
15. Todo estado pode ser acessado a partir de qualquer outro em trs ou
menos passos, de modo que a cadeia de Markov irredutvel. Os
tempos de retorno so

Estado 1:13/3

Estado 2:13/3

Estado 3:13/3

Estado 4:13/3
17. 4 instantes de tempo.
19. 15/2 instantes de tempo.
21. a. Falsa. Tambm preciso ser possvel ir do estado j para o estado
i em um nmero finito de passos para que os estados i e j se co muniquem.

b. Verdadeira.

c. Falsa. Os inversos das coordenadas do vetor estado estacionrio
que so os tempos de retorno para cada estado.
23. 2,27368 dias.
25. a. Como todos os elementos em G so positivos, a cadeia de Mar kov irredutvel.

b. 4,31901 cliques do mouse.
27. 8/3 passos.
29. 16/5 = 3,2 escolhas.
31. {iguais, vantagem para A, vantagem para B}, {A ganha a partida},
{B ganha a partida}.
33. Todo estado pode ser acessado a partir de qualquer outro em trs
passos ou menos, logo a cadeia de Markov irredutvel.
35. Cada n pendurado forma uma classe de comunicao separada para
a cadeia de Markov.
Seo 10.4
1. As classes de comunicao so {1, 3} e {2}. A classe {1, 3} transiente,
enquanto que {2} recorrente. Todas as classes tm perodo 1.
3. As classes de comunicao so {1}, {2} e {3}. A classe {1} recorrente, enquanto que as classes {2} e {3} so transientes. Todas
as classes tm perodo 1.
5. As classes de comunicao so {1, 3, 5} e {2, 4, 6}. Ambas as classes so recorrentes e tm perodo 2.
7. A classe de comunicao {1, 2, 3, 4}, que tem de ser recorrente.
A classe tem perodo 4.
9. As classes de comunicao so {1, 2, 3, 4}, que transiente, e {5},
que recorrente. Ambas as classes tm perodo 1.
11. A ordem 2, 1, 3 dos estados fornece a matriz
13. A matriz j est em forma cannica.

15. A ordem 1, 3, 5, 2, 4, 6 fornece a matriz

17. A matriz de transio original

Com a ordem 5, 1, 2, 3, 4 dos estados, a matriz fica

19. a.

b.

c.
As classes de comunicao so {1, 2, 3, 4, 5} e {6}. A classe

{1, 2, 3, 4, 5} transiente, enquanto a classe {6} recorrente.
Ambas as classes tm perodo 1.
A matriz de transio original

como prometido pelo teorema 5.
25. a. possvel ir de um estado a qualquer outro com um nmero
par de passos, logo a cadeia de Markov irredutvel com pe rodo 2.
Uma escolha
Calcule que
Com a ordem 6, 1, 2, 3, 4, 5, a matriz fica

21. a. Falsa. Uma cadeia de Markov pode ter mais de uma classe re corrente.

b. Verdadeira.

c. Falsa. Toda cadeia de Markov tem de ter uma classe recorrente.
1 / 4
1 / 4
23. fcil calcular que q =
1 / 4 para a matriz P. Encontramos, tambm,
1 / 4
e.

As segundas parcelas nas expresses para Pn e para Pn+1 se

anularo quando somadas, logo
como prometido pelo Teorema 5.
1 / 3
27. fcil calcular q = 1 / 3 para a matriz P. Encontramos tambm
1 / 3
calculando diretamente. Assim, P5 = P, P6 = P2, P7 = P3, P8 = P4 =

I, e assim por diante. Ento, independente do valor de n, entre as
matrizes Pn+1, Pn+2, Pn+3 e Pn+4, uma delas ser igual a P, outra igual
a P2, outra igual a P3 e outra igual a P4 = I. Portanto,
calculando diretamente. Assim, P4 = P, P5 = P2, P6 = P3 = I, e assim

por diante. Ento, independente do valor de n, entre as matrizes Pn+1,
Pn+2 e Pn+3, uma delas ser igual a P, outra igual a P2 e outra igual
a P3 = I. Portanto,
35. Do resultado dos Exerccios 31 e 33, usando pontuao por rali leva
a 3,92932 3,01105 = 0,91827 rali a menos serem jogados.
37. a. {1, 2} uma classe recorrente; {3, 4, 5} uma classe transiente.

b. A matriz limite para {1, 2}

c.

29. a.

b.

c.

d.

como prometido pelo Teorema 5.

Como qualquer permutao de linhas pode ser escrita como uma
sequncia de trocas entre duas linhas, a permutao de linhas pode ser
executada multiplicando-se A por uma sequncia de matrizes elementares E1, , Ek. Pelo comentrio logo aps o Exemplo 5 na Seo 2.2, E = EkE1 e EA ser a matriz obtida de A com suas linhas colocadas exatamente na mesma oedem em que as linhas de In quando permutadas para formar E.
Pelo item (a), EAT ser a matriz obtida de AT com suas linhas colocadas exatamente na mesma ordem em que as linhas de In quando permutadas para formar E. Ento (EAT)T ser a matriz obtida de A com
suas colunas colocadas exatamente na mesma ordem em que as
linhas de In quando permutadas para formar E. Como (EAT)T =
(AT)TET = AET, o resultado segue.
A matriz EAET (EA)ET. Pelo item (a), EA a matriz obtida de A
com suas linhas colocadas exatamente na mesma ordem em que as
linhas de In quando permutadas para formar E. Aplicando o item (b)
matriz EA, (EA)ET a matriz obtida de EA com suas colunas colocadas exatamente na mesma ordem em que as linhas de In quando
permutadas para formar E. Assim, EAET a matriz obtida de A
com suas linhas e colunas colocadas exatamente na mesma ordem em que as linhas de In quando permutadas para formar E.
Como a multiplicao de matrizes associativa, (EA)ET = E(AET)
e no importa se as linhas ou as colunas de A forem permutadas
primeiro.
Como s existe uma classe recorrente, a probabilidade de a cadeia ser absorvida em {1, 2} 1. Assim, se a cadeia iniciar em
qualquer estado transiente, a probabilidade de estar no estado 1
depois de muito tempo 2/5, a probabilidade de estar no estado
2 depois de muito tempo 3/5 e a probabilidade de estar em
qualquer dos outros estados depois de muito tempo 0.
d. Como a i-sima coluna de
fornece as probabilidades
no longo prazo para a cadeia iniciada no estado i,

39. O resultado trivialmente verdadeiro se n = 1. Suponha que o resulta-
k
do seja verdadeiro para n = k, ou seja, suponha que P k = O Q k ,
em que Sk = S(I + Q + Q2 + + Qk1). Ento
Seo 10.5

e o resultado fica demonstrado por induo.
Seo 10.6
11. No estado 1: 10/21; no estado 2: 5/21; no estado 3: 2/7.

13. a. 9/11 b. 29/11 c. 3/7
15. a. 1 b. 10/3
17. 5/7 19. 38/5
21. a. Falsa. O elemento (i, j) da matriz fundamental M o nmero
esperado de visitas ao estado transiente i antes da absoro, co meando no estado transiente j.

b. Falsa. Veja o Teorema 6.

c. Verdadeira.
23. 2/7
25. 19/2
27. 3,84615
29. Vantagem para A: 2,53846; vantagem para B 3,30769.
31. 3,01105
33. 3,92932
1. Isso est relacionado com a segunda coluna de A. O estado inicial

1:k (um corredor na primeira base, k eliminados). O elemento (1,
2) de A a probabilidade de transio para o estado 0:k. Suponha
que s a primeira base esteja ocupada e ningum seja eliminado.
S se o rebatedor chegar base principal que as bases sero esvaziadas, de modo que o elemento (1, 2) pH.
Elemento (2, 2): (para o estado 1:k) Para deixar um jogador
na primeira base, o rebatedor tem de chegar primeira base e o corredor que estava na primeira base tem de chegar base principal.
Isso no pode acontecer de acordo com o modelo, de modo que o
elemento (2, 2) 0.
na segunda base, o rebatedor tem de chegar segunda base e o corredor que estava na primeira base tem de chegar base principal.
Isso no pode acontecer de acordo com o modelo, de modo que o
elemento (3, 2) 0.
Elemento (4, 2): (para o estado 3:k) Para deixar um jogador na
terceira base, o rebatedor tem de chegar terceira base e o corredor
que estava na primeira base tem de chegar base principal. Isso no

pode acontecer de acordo com o modelo, de modo que o elemento
(4, 2) 0.
Elemento (5, 2): (para o estado 12:k) Para deixar corredores
na primeira base e na segunda base, o rebatedor tem de chegar primeira base e o corredor na primeira base tem de ir para a segunda.
Isso s pode acontecer se o rebatedor fizer um simples, de graa ou
for atingido. Logo, o elemento (5, 2) pW + p1.
Elemento (6, 2): (para o estado 13:k) Neste caso o rebatedor
tem de chegar primeira base, e o corredor na primeira base tem
de ir at a terceira. Isso no pode ocorrer segundo o modelo, logo o
elemento (6, 2) 0.
Elemento (7, 2): (para o estado 23:k) Para deixar um corredor
na segunda base e outro na terceira, o rebatedor tem de fazer um
duplo e o corredor na primeira base tem de ir at a terceira. Logo o
elemento (7, 2) p2.
Elemento (8, 2): (para o estado 123:k) O estado inicial s tem
um corredor nas bases. O prximo estado no pode ter trs corredores nas bases, logo o elemento (8, 2) 0.
3. Isso est relacionado com a quinta coluna de A. O estado inicial
12:k (corredores na primeira e na segunda base, k eliminados). O
elemento (1, 5) a probabilidade de transio para o estado 0:k.
Suponha que a primeira e segunda bases estejam ocupadas e ningum seja eliminado. A nica maneira de esvaziar todas as bases
o rebatedor chegar base principal, logo o elemento (1, 5) pH.
Elemento (2, 5): (para o estado 1:k) Para deixar um jogador na
primeira base, o rebatedor tem de chegar primeira base e ambos
os corredores tm de chegar base principal. O modelo no permite
que isso acontea, logo o elemento (2, 5) 0.
na segunda base, o rebatedor tem de chegar segunda base e ambos
os corredores tm de chegar base principal. O modelo no permite
que isso acontea, logo o elemento (3, 5) 0.
na terceira base, o rebatedor tem de chegar terceira base e ambos
os corredores tm de chegar base principal. Isso s acontece se o
rebatedor fizer um triplo, logo o elemento (4, 5) p3.
Elemento (5, 5): (para o estado 12:k) Para deixar jogadores
nas duas primeiras bases, o rebatedor deve chegar primeira base,
o jogador na primeira base deve avanar para a segunda e o jogador na segunda base deve avanar para a base principal. O resultado
desejado ocorre quando o batedor faz um simples, mas o corredor
na segunda base s chegar base principal com probabilidade 0,5,
logo o elemento (5, 5) 0,5p1.
Elemento (6, 5): (para o estado 13:k) Nesse, caso, o rebatedor
teria de chegar primeira base e o corredor na primeira base teria
de avanar para a terceira. Como o modelo no permite isso, o elemento (6, 5) 0.
na segunda e terceira bases, o rebatedor tem de fazer um duplo e,
neste caso, o corredor na primeira base avana para a terceira e

o corredor na segunda base avana at a base principal. Ento o
elemento (7, 5) p2.
nas trs bases, o rebatedor tem de avanar para a primeira base e
cada um dos corredores avanar uma base. Isso ocorre quando o
rebatedor vai de graa, atingido ou faz um simples, mas sem o
jogador na segunda base chegar base principal. Logo o elemento
(8, 5) pW + 0,5p1.
5. Isso est relacionado com a stima coluna de A. O estado inicial
23:k (corredores na segunda e terceira bases, k eliminados).
O elemento (1, 7) a probabilidade de transio para o estado
0:k. Suponha que a segunda e terceira bases estejam ocupadas
e ningum seja eliminado. A nica maneira de esvaziar todas as
bases o rebatedor chegar base principal, logo o elemento (1,
7) pH.
na primeira base, o rebatedor tem de chegar primeira base e os
dois corredores tm de avanar para a base principal. O resultado
desejado ocorre quando o rebatedor faz um simples, mas o corredor
na segunda base s chegar base principal com probabilidade 0,5.
Logo o elemento (2, 7) 0,5p1.
na segunda base, o rebatedor tem de chegar l (fazer um duplo) e
os dois corredores tm de avanar para a base principal. A segunda
condio, no entanto, automaticamente satisfeita pelas hipteses
na Tabela 2. Ento, a probabilidade de sucesso, neste caso, p2, que
o elemento (3, 7).
Elemento (4, 7): (para o estado 3:k) Por um argumento semelhante ao usado para o elemento (3, 7), o elemento (4, 7) p3.
Elemento (5, 7): (para o estado 12:k) Para deixar jogadores nas
duas primeiras bases, o rebatedor tem de chegar primeira base, o
jogador na segunda base tem de permanecer l e o jogador na terceira base tem de chegar base principal. Isso impossvel, logo o
elemento (5, 7) 0.
Elemento (6, 7): (para o estado 13:k) O rebatedor tem de chegar
primeira base, o corredor na segunda base avanar para a terceira
e o corredor na terceira base avanar para a base principal. Isso s
pode ocorrer se o rebatedor fizer um simples, com probabilidade p1,
e o corredor na segunda base parar na terceira, o que ocorre com
probabilidade 0,5 (pela Tabela 2). Como os dois eventos tm de
ocorrer, o elemento (6, 7) 0,5p1.
na segunda e terceira bases, o rebatedor tem de fazer um duplo e
o corredor na segunda base s pode avanar uma base. Como isso
no pode ocorrer, o elemento (7, 7) 0.
Elemento (8, 7): (para o estado 123:k) Para deixar trs jogadores nas bases, o rebatedor tem de chegar primeira base e os dois
corredores nas segunda e terceira bases tm de ficar onde esto. Isso
s ocorre se o rebatedor ganhar a base de graa ou for atingido. Logo
o elemento (8, 7) pW.
Portanto
9. A soma da primeira coluna de M mostra que E[B] = 4,53933. A primeira coluna de SM permite que se calcule E[L]:
13. a.

b.

A soma da segunda coluna de M dar o nmero esperado de rebatedores que chegaro base principal comeando com um corredor na
primeira base e nenhum eliminado.
A segunda coluna de SM fornecer as probabilidades de se deixar 0,
1, 2 ou 3 corredores nas bases comeando-se com um corredor na pri-
meira base e ningum eliminado. Assim, o nmero esperado de cor redores deixados nas bases comeando com um corredor na primeira
base e ningum eliminado poderia ser calculado.

c. O nmero esperado de pontos ganhos usando os dados na segunda
coluna fornecero o nmero esperado de pontos ganhos come ando com um corredor na primeira base e ningum eliminado.
15. A soma da coluna de M 4,53933. Um rebatedor j chegou base
principal, logo E[B] = 1 + 4,53933 = 5,53933. A coluna de SM permite que se calcule E[L]:

17. Se o corredor na base no tentar um roubo, o ganho esperado ser
de 0,85654 ponto pelo Exerccio 14. Se o corredor tentar um roubo e tiver sucesso, o ganho esperado ser 1,00943 pelo Exerccio
15. Se o corredor tentar um roubo, mas no conseguir, o ganho
esperado ser 0,26779 pelo Exerccio 16. Portanto, o ganho esperado se for tentado um roubo ser 1,00943(0,8) + 0,26779(0,2) =
0,861102. Isso mostra que tentar o roubo vai aumentar o ganho
esperado.

010 Lay PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

010 Lay PDF

Enviado por

Direitos autorais:

Formatos disponíveis

10

Google e Cadeias de Markov

Brin e Page raciocinaram que uma pgina na rede era

Cadeias de Markov de Estados Finitos 49

10.1 INTRODUO E EXEMPLOS

Um vetor de estado um vetor probabilidade, j que a soma de suas componentes igual a 1. O

FIGURA 1 Diagrama de transio para a transmisso de sinais.

SOLUO Como o sinal comea em 0, a probabilidade de que a cadeia comece em 0 de 100%, ou

igual a 1; ou seja, o vetor de probabilidade inicial x0 =

. Para encontrar a probabilidade em um

processo de transmisso em dois estgios, calcule

Cadeias de Markov de Estados Finitos 51

molculas e os estados possveis para a cadeia de Markov so 0, 1, 2, 3, 4, 5 e 6. Em primeiro lugar,

sero considerados nos Exerccios para esta seo.

FIGURA 2 Diagrama de transmisso para o modelo da urna de Ehrenfest.

Passeios Aleatrios em {1, , n}

FIGURA 3 Uma representao grfica de um passeio aleatrio.

EXEMPLO 3 Um passeio aleatrio em {1, 2, 3, 4, 5} com fronteiras absorventes tem matriz de

estado 5 tem probabilidade 1 de se mover para o estado 4.

de o ganho aumentar ou diminuir a mesma, p = e o passeio simples.

Passeios Aleatrios em Grafos

Cadeias de Markov de Estados Finitos 53

EXEMPLO 5 O passeio aleatrio simples no grafo na Figura 4 tem matriz de transio

EXEMPLO 6 Suponha que um camundongo percorra o labirinto de cinco compartimentos esquerda

FIGURA 5 Labirinto com cinco compartimentos com grafo sobreposto.

Logo, a probabilidade de um retorno ao compartimento 3 depois de exatamente cinco estgios

nado com sete vrtices.

Cadeias de Markov de Estados Finitos 55

Os estados 4 e 7 so estados absorventes para a cadeia de Markov no exemplo anterior. Em termos

2. No modelo de transmisso de sinal no Exemplo 1, suponha que p = 0,97. Encontre a probabilidade

Nos Exerccios 3 e 4, calcule x3 de duas maneiras: calculando x1 e x2, e

Nos Exerccios 5 e 6, dada a matriz de transio P de uma cadeia de

10. Considere um par de urnas de Ehrenfest A e B. Agora, a urna A no

Nos Exerccios 7 e 8, dada a matriz de transio P de uma cadeia de

Nos Exerccios 15 e 16, encontre a matriz de transio para o passeio

9. Considere um par de urnas de Ehrenfest A e B. Existem agora 3

Nos Exerccios 17 e 18, suponha que um camundongo perambule pelo

diferente em cada instante de tempo e igualmente provvel que escolha

Nos Exerccios 19 e 20, suponha que um camundongo perambule pelo

20. O camundongo colocado no compartimento 1 do labirinto a seguir.

Cadeias de Markov de Estados Finitos 57

Encontre a matriz de transio para essa cadeia de Markov.

SOLUES DOS PROBLEMAS PRTICOS

2. A matriz de transio para o modelo

Como o sinal comea em 1, o vetor de probabilidade inicial

Para encontrar a probabilidade de uma transio em trs estgios, calcule

A probabilidade de uma mudana para 0 0,0847.

10.2 O VETOR ESTADO ESTACIONRIO E O PAGERANK DA GOOGLE

Vetores Estado Estacionrio

L foi visto que os vetores xn convergem para o vetor

e vetor de probabilidade inicial

Esse resultado pode

Potncias cada vez maiores da matriz de transio tambm podem

Cadeias de Markov de Estados Finitos 59

, existem dois modos de interpretar este vetor:

Como xn aproximadamente igual a q para valores grandes de n, as coordenadas de q aproximam a

EXEMPLO 2 Para uma aplicao do clculo de q, considere o exemplo do camundongo em um

de modo que a soluo geral

Interpretao do Vetor Estado Estacionrio

EXEMPLO 3 Considere um passeio aleatrio imparcial em {1, 2, 3, 4, 5} com fronteiras absorventes.

Parece que Pn converge para a matriz

quando n aumenta. Mas as colunas dessa matriz no so iguais; a probabilidade de terminar em 1 ou

Cadeias de Markov de Estados Finitos 61