Cadeia de Markov

Uma aplicação da Álgebra Linear

Franklin Heryson Oliveira Leal

Ideia da cadeia de Markov
▪ A Cadeia de Markov ou Processo de Markov é um modelo que representa processos
de mudanças de estados.
▪ Considerando um sistema de estados finitos, podemos estudar qualquer fenômeno
real que siga esse modelo.
▪ Por exemplo, estados do tempo meteorológico (ensolarado, nublado ou chuvoso),
estados físicos da matéria (sólido, líquido ou gasoso) e estados emocionais (tristeza,
felicidade, raiva, sono)
▪ Todos esses podem sofrer mudanças no tempo e são acessíveis a estudos de
probabilidade que busque predizer os estados seguintes, que é um dos objetivos da
disciplina Processos Estocásticos.
Definição e Notações
▪ DEFINIÇÃO (ANTON):

Se uma cadeia de Markov tiver k estados possíveis, que identificamos por 1, 2, ..., k então a
probabilidade de o sistema estar no estado i em qualquer observação imediatamente
precedente estava no estado j, é denotada por 𝒑𝒊𝒋 e é denominada probabilidade de
transição do estado j ao estado i.
Matriz de Transição
▪ A matriz P = [𝒑𝒊𝒋 ] é chamada de matriz de transição da cadeia de Markov.

▪ Exemplo de uma matriz com três estados quaisquer:

Exemplo de caso
▪ Uma locadora de automóveis tem três lojas de atendimento denotadas por 1, 2 e 3.
Um cliente pode alugar um carro de qualquer uma das três lojas e devolver o carro
para qualquer uma das três lojas. O gerente nota que os clientes costumam devolver
os carros de acordo com as probabilidades seguintes.
Propriedade da matriz de
transição
▪ PROPRIEDADE:
As entradas em qualquer coluna da matriz somam 1.
Assim, a matriz de transição também pode ser chamada de matriz estocástica,
matriz de probabilidade ou matriz de Markov.
Vetor estado
▪ Em geral, não pode ser determinado com certeza o estado de um sistema em uma
cadeia de Markov numa observação arbitrária. Assim, especificamos as
probabilidades de cada um dos estados possíveis numa certa observação
representando-as por um vetor denominado vetor estado.
▪ DEFINIÇÃO (ANTON):

O vetor estado de uma observação de uma cadeia de Markov com k estados é um vetor
coluna x cujo i-ésimo componente 𝑥𝑖 é a probabilidade de o sistema estar, naquela
observação, no i-ésimo estado

As suas entradas não são negativas e somam 1, portanto é um vetor de probabilidade.

Notação do vetor estado
▪ Suponha que saibamos o vetor estado 𝑥 (0) de uma cadeia de Markov em alguma
observação inicial. A partir dele, podemos determinar os vetores
𝑥 (1) , 𝑥 (2) , ... , 𝑥 (𝑛)
nas observações subsequentes.
Proposição
▪ Se P for a matriz de transição de uma cadeia de Markov e 𝒙(𝑛) o vetor estado na
enésima observação, então 𝒙(𝑛+1) = 𝑃𝒙(𝑛) .
Exemplo de caso
▪ Se um carro for inicialmente alugado da loja 2, então o vetor estado inicial será:
Comportamento
limite do vetor
estado
Nem sempre os vetores estado
convergem para um vetor fixo
numa cadeia de Markov
Definição
▪ Uma matriz de transição é regular se uma potência positiva da matriz tem todas as
entradas positivas.
Cadeia de Markov Regular
▪ Quando a matriz de transição da Cadeia de Markov é regular estamos lidando com
uma Cadeia de Markov Regular.
▪ Assim, com qualquer escolha 𝒙(0) , o vetor 𝑃 𝑛 𝒙(0) converge para um vetor fixo q,
para n tendendo ao infinito; ou seja, o sistema sempre acaba convergindo para esse
vetor fixo numa cadeia de Markov Regular.
▪ PROPOSIÇÃO:
Se P for uma matriz de transição regular e x um vetor de probabilidade qualquer então, com
n → ∞, 𝑃𝑛 x → q.
▪ O vetor q é denominado vetor de estado estacionário.
Como encontrar o vetor de
estado estacionário?
1) Simplesmente calcular 𝑃𝑛 𝒙 com algum n grande.
2) Calculando pelo teorema:
O vetor de estado estacionário q de uma matriz de transição regular P é o único vetor de
probabilidade que satisfaz a equação

(𝐼 − 𝑃)𝒒 = 0

Esses sistema linear homogêneo terá um único vetor solução q com entradas não negativas
que somados dão um.
Exemplo de caso
Bibliografia
▪ ANTON, Howard; RORRES Chris. Algebra Linear com Aplicações. 8a edição. Porto
Alegre: Bookman, 2001.
▪ Notas de aula do professor Gustavo Rocha.