EAE1223: Econometria III

Aula 2 - Processos estocásticos

Luis A. F. Alvarez

8 de março de 2024
Espaço de probabilidade
- Formalmente, o conceito utilizado para se definir a noção de incerteza
associada a um problema é o de espaço de probabilidade.
- Um espaço de probabilidade é uma tripla (Ω, Σ, P), onde:
- Ω é um conjunto, denominado espaço amostral, contendo todos as
possíveis realizações da incerteza.
- Σ é uma coleção de subconjuntos de Ω, denominada σ-álgebra. A cada
subconjunto de Ω pertencente a Σ damos o nome de evento. Os
elementos de Σ são aqueles para os quais somos capazes de definir a
incerteza.
- uma lei de probabilidade P que atribui, a cada conjunto E ∈ Σ, um
número P[E ] entre 0 e 1. A lei de probabilidade satisfaz os axiomas de
Kolmogorov.
- Por que não definimos a probabilidade para todo subconjunto de Ω?
- Resposta: se Ω é “complexo” (por exemplo, [0, 1]), é impossível
definir uma probabilidade que satisfaça todos os axiomas de
Kolmogorov para todo subconjunto do espaço.

2 / 33
Exemplo
- Considere um lançamento de um dado não viciado.
- Nesse caso, espaço amostral é Ω = {1, 2, 3, 4, 5, 6}.
- Como lançamento é não viciado, sabemos que:

P[{1}] = P[{2}] = P[{3}] = P[{4}] = P[{5}] = P[{6}] = 1/6 .

- Pelos axiomas da probabilidade, segue que podemos tomar Σ como o

conjunto de todos os subconjuntos de Ω, e, para qualquer E ∈ Σ:
X #E
P[E ] = P[∪e∈E {e}] = P[{e}] = ,
e∈E
6

onde #E é o número de elementos de E .

- Exemplo: probabilidade de que o lançamento dê um número par é:
3 1
P[{2, 4, 6}] = =
6 2
3 / 33
Variável aleatória e processo estocástico
- Uma variável aleatória Z é uma função, com domínio no espaço
amostral (onde definimos a incerteza), e valores em outro espaço
(para nossos fins, os reais).
- Por exemplo, (Ω, Σ, P) um espaço de probabilidade descrevendo a
incerteza associada aos retornos de ativos financeiros, e Z : Ω 7→ R é a
variável aleatória que representa o retorno de um fundo.
- Incerteza em (Ω, Σ, P) traduz-se em incerteza em Z , i.e. Z é incerto
pois o valor ω ∈ Ω que ocorre é incerto.

- Um processo estocástico é uma coleção de variáveis aleatórias

{Xt : t ∈ T }, com domínio no mesmo espaço de probabilidade e
indexada por um conjunto T
- Uma série de tempo é um processo estocástico indexado no tempo,
i.e. T é um conjunto de períodos.
- Sempre tomaremos T = Z ou T = N.
- Para cada ω ∈ Ω, {Xt (ω) : t ∈ T } é uma trajetória possível da série de
tempo. Para cada t ∈ T , Xt é uma variável aleatória.
4 / 33
Série de tempo estritamente estacionária

- Uma série de tempo {Xt : t ∈ T } é dita estritamente estacionária se,

para todo t ∈ T , j ∈ N:

d
(Xt , Xt+1 , . . . , Xt+j ) = (Xt+h , Xt+1+h , . . . , Xt+j+h ) , ∀h ≥ 0 ,
d
onde = significa igualdade das distribuições conjuntas, isto é

P[Xt ≤ c1 , Xt+1 ≤ c2 , . . . , Xt+j ≤ cj ] =

P[Xt+h ≤ c1 , Xt+1+h ≤ c2 , . . . , Xt+j+h ≤ cj ], ∀c1 , c2 . . . , cj .

- Estacionariedade estrita requer que distribuição de qualquer número

finito de períodos do processo seja a mesma ao longo do tempo.

5 / 33
Série de tempo fracamente estacionária
- Para modelos lineares de séries de tempo, vamos considerar o
conceito de processo (fracamente) estacionário.
- Uma série de tempo {Xt : t ∈ T } é dita (fracamente) estacionária se:
1. E[Xt ] = µ para todo t ∈ T .
2. V[Xt ] = σ 2 < ∞ para todo t ∈ T .
3. cov(Xt , Xs ) = ϕ|t−s| para todo t, s ∈ T .
- Processo é fracamente estacionário se sua média e variância
mantêm-se constantes no tempo e covariância entre duas observações
depende somente da distância entre as duas observações no tempo.
- Estacionariedade fraca impõe um mínimo de estabilidade no processo
ao longo do tempo para que análise estatística usual possa prosseguir.
- De modo geral, alguma noção de estacionariedade + dependência fraca
entre as observações (observações muito distantes no tempo
comportam-se “como” observações independentes) vai ser requerida
das séries de tempo para o funcionamento “padrão” de estimadores.
- Processo é dito não estacionário se não for fracamente estacionário.
6 / 33
Ruído branco

- Um processo Zt , t ∈ T , é dito um ruído branco se:

1. E[Zt ] = 0 para todo t.
2. V[Zt ] = σ 2 < ∞ para todo t.
3. cov(Zt , Zs ) = 0 se t ̸= s.

- Um ruído branco tem média zero, variância constante finita e não

apresenta correlação serial.
- Por construção, é um processo fracamente estacionário.

7 / 33
Ruído branco (gráfico)

3
2
1
rb

0
−1
−2
−3

0 100 200 300 400 500

Time

8 / 33
Processo MA(q)

- Um processo Zt , t ∈ Z, é dito de média movel de ordem q, ou tão

somente MA(q), se:
q
X
Zt = µ + ϵt + ψi ϵt−i ,
i=0

onde {ϵt }t∈Z é um ruído branco com variância σϵ2 .

- Vamos verificar que o processo é (fracamente) estacionário. De fato
1. E[Zt ] = µ. Pq
2. V[Zt ] = σϵ2 (1 + j=1 ψj2 ).
(
σϵ2 (ψj + ψj+1 ψ1 + . . . + ψq ψq−j ), se 0 < j ≤ q
3. cov(Zt+j , Zt ) =
0, se j > q

- Processo tem memória curta: correlações desaparecem após q

períodos.

9 / 33
Processo MA(2) com ψ1 = 1 e ψ2 = 0.5

4
2
ma2

0
−2
−4

0 100 200 300 400 500

Time
10 / 33
Processo AR(1) estacionário
- Um processo Zt , t ∈ Z, é dito autorregressivo de ordem um
estacionário, ou tão somente AR(1) estacionário, se:
Zt = α + ρZt−1 + ut
onde |ρ| < 1, {ut }t∈Z é ruído branco com V[ut ] = σu2 existem S ∈ Z,
C ∈ R tais que E[|Zt |] ≤ C para todo t ≤ S.

- Vamos verificar que as condições acima garantem que o processo seja,

de fato, estacionário.

- Note que:

Zt = α + ρ(α + ρZt−2 + ut−1 ) + ut

= α + ρα + ρ2 (α + ρZt−3 + ut−2 ) + ut + ρut−1
‘ = ...
−1
τX −1
τX
= ρj α + ρτ Zt−τ + ρj ut−j
j=0 j=0
11 / 33
Processo AR(1) estacionário (cont.)

- Pelas hipóteses, limτ →∞ |ρ|τ E[|Zt−τ |] = 0. Isso nos garante que

ρτ Zt−τ → 0 e podemos escrever
∞ ∞ ∞
X
j
X
j α X
Zt = ρ α+ ρ ut−j = + ρj ut−j
j=0 j=0
1 − ρ j=0

- AR(1) estacionário se escreve como MA(∞).

- Usando representação acima, podemos checar que o processo é
estacionário. De fato:
α
1. E[Zt ] = 1−ρ
σu2
2. V[Zt ] = 1−ρ2 .

3. cor(Zt , Zs ) = ρ|t−s| .

12 / 33
AR(1) estacionário com ρ = 0.7 (gráfico)

4
2
ar1

0
−2

0 100 200 300 400 500

Time

13 / 33
Processo AR(p) estacionário

- Um processo Zt , t ∈ Z, é dito autorregressivo de ordem p

estacionário, ou tão somente AR(p) estacionário, se:

Zt = α + β1 Zt−1 + β2 Zt−2 + . . . + βp Zt−p + ut

onde {ut }t∈Z é ruído branco com V[ut ] = σu2 , existem S ∈ Z, C ∈ R

tais que E[|Zt |] ≤ C para todo t ≤ S, e os parâmetros
(β1 , β2 , . . . , βp ) são tais que processo resultante é estacionário.

- No AR(p), processo se escreve como uma combinação linear do que

aconteceu nos últimos p períodos, mais uma inovação.

14 / 33
Operador defasagem
- Para a análise de séries de tempo, é conveniente definir uma função
L, denominada operador defasagem, que, para uma dada série de
tempo (Xt )t∈T , nos devolve a série de tempo que consiste em
(Xt )t∈T defasado em um período, i.e.
definição
LXt = L(Xt ) = Xt−1 , ∀t ∈ T
- A notação Ld será usada para denotar a aplicação do operador L d
vezes em sequência, i.e.
definição
Ld Xt = L
| .{z
. . L} Xt = Xt−d , ∀t ∈ T
d vezes

- Por fim, definiremos L0 = 1, de modo que:

L0 Xt = 1Xt = Xt ∀t ∈ T

15 / 33
Propriedades do operador defasagem
Lema
Sejam (Xt )t∈T e (Yt )t∈T duas séries de tempo, e α ∈ C um número
complexo. Então
1. (Linearidade) L(Xt + αYt ) = LXt + αLYt .
2. (Existência de soma infinita) Se (Xt )t∈T é estacionário e |α| < 1, o
processo
∞
X ∞
X
Zt = αj Lj Xt = αj Xt−j ,
j=0 j=0

existe e é estacionário.
3. (Inversa) Se (Xt )t∈T é estacionário e |α| < 1:
∞
−1
X
(1 − αL) (Xt ) = αj Lj Xt
j=0

16 / 33
AR(p) em notação polinomial
- Usando a notação aprendida anteriormente, podemos reescrever o
AR(p) como:
ϕ(L)Zt = α + ut , (1)
onde ϕ(L) = 1 − β1 L − β2 L2 . . . − βp Lp , e {u}t∈Z é ruído branco.

Proposição
Existe um processo {Zt }t∈Z fracamente estacionário que satisfaz (1), se, e
somente se, as p raízes da equação ϕ(x ) = 0 se encontram fora do círculo
unitário, isto é:
ϕ(x ) = 0 =⇒ |x | > 1 .
Neste caso, o processo fracamente estacionário que satisfaz (1) é único, e
pode ser escrito como:
∞
−1
X
Zt = ϕ (L)(α + ut ) = τ + ωj ut−j
j=0

17 / 33
Estacionariedade do AR(p)
- A proposição anterior nos provê uma caracterização para a existência
de um {Zt }t estacionário que satisfaz (1), em termos das raízes do
polinômio característico ϕ(x ).
- Note que a proposição fala de existência de uma solução. Por quê?
- Isso se deve ao fato de que também podem existir processos {Zt }t∈Z
não estacionários que satisfazem (1), mesmo quando as raízes estão
todas fora do círculo.
- Mas o teorema nos diz que, se ao menos uma das raízes está dentro do
círculo, com certeza não há nenhuma solução estacionária.
- A restrição que fazíamos, na definição de AR(p) estacionário, de que o
passado não explodia, justamente descartava as soluções não
estacionárias, garantindo que selecionássemos a solução estacionária.
- No curso e na vida, vamos seguir como tradicionalmente feito na
literatura econométrica e implicitamente sempre descartar as
soluções não estacionárias (explosivas) que existem mesmo quando
todas as raízes estão fora do círculo.
- Dessa forma, diremos que um AR(p) é fracamente estacionário se, e
somente se, todas as raízes de ϕ(x ) estão fora do círculo.
18 / 33
Encontrando os coeficientes da
representação MA(∞)
- As propriedades do operador defasagem podem ser utilizadas para
encontrar a representação MA(∞) de um AR(p) estacionário.
- De fato, considere um AR(2) estacionário:

(1 − β1 L − β2 L2 )yt = α + ut

- Da fatoração de polinômios, podemos escrever:

1 1
  
2
(1 − β1 x − β2 x ) = x −1 x −1 ,
λ1 λ2

onde λ1 e λ2 são as raízes de (1 − x − β2 x 2 ) = 0.

- Portanto:
1 1
  
(1 − β1 L − β2 L2 )yt = 1 − L 1− L yt = α + ut
λ1 λ2

19 / 33
Encontrando os coeficientes da
representação MA(∞)
- Mas então
yt = (1 − β1 L − β2 L2 )−1 (α + ut ) =
−1  −1
1 1

1− L 1− L (α + ut ) =
λ2 λ1
∞
! ∞ 
X 1 i X 1
j (2)
L 
j L (α + ut ) =
λi
i=0 2 j=0 λ1
∞
1 X
α + ωk ut−k
(1 − λ−1 −1
1 )(1 − λ2 ) k=0

1
onde ωk é a soma de termos tais que i + j = k, i.e.
λi1 λj2
Pk 1
ωk = i=0 λi λk−i .
2 2

20 / 33
ARMA(p,q)
- Um processo {Yt }t∈Z é dito ARMA(p,q) se:
p
X q
X
Yt = α + γj Yt−j + ϵt + πl ϵt−l ,
j=1 l=1
onde {ϵt }t∈Z é ruído branco.
- Processo ARMA(p,q) tem notação polinomial:

Γ(L)Yt = α + Π(L)ϵt ,
onde Γ(L) = (1 − γ1 L − γ2 L2 . . . − γp Lp ) e
Π(L) = (1 + π1 L + π2 L2 . . . + πq Lq ).
- Um ARMA(p,q) é dito em forma simplificada se Γ e Π não possuem
raízes em comum, i.e. Γ(x ) = 0 =⇒ Π(x ) ̸= 0 e
Π(x ) = 0 =⇒ Γ(x ) ̸= 0.
- Sempre é possível colocar um ARMA em forma simplificada, fatorando
os dois polinômios em termos das raízes comuns e cortando-os dos dois
lados.
21 / 33
Estacionariedade do ARMA(p,q)

- A estacionariedade do ARMA(p,q) depende, fundamentalmente, do

comportamento da parte AR.

Proposição
Considere um processo ARMA(p,q). Se, as p raízes da equação
característica Γ(x ) = 0 estão todas fora do círculo unitário, então o
ARMA(p,q) é estacionário. Por outro lado, se o ARMA(p,q) está em
forma simplificada e uma das raízes de Γ(x ) está dentro do círculo (i.e.
existe Γ(x ∗ ) = 0 com |x ∗ | ≤ 1), o ARMA(p,q) não é estacionário.

22 / 33
Processo ARMA(p,q) invertível
- Um ARMA(p,q) estacionário é dito invertível se admite representação
AR(∞), i.e. se pode ser escrito como:
∞
X
Yt = ω + κj Yt−j + ϵt .
j=1

- Invertibilidade depende do comportamento da parte MA.

Proposição
Considere um processo ARMA(p,q) estacionário. Se, as q raízes da
equação característica Π(x ) = 0 estão todas fora do círculo unitário, então
o ARMA(p,q) é invertível. Por outro lado, se o ARMA(p,q) está em forma
simplificada e uma das raízes de Π(x ) está dentro do círculo (i.e. existe
Π(x ∗ ) = 0 com |x ∗ | ≤ 1), o ARMA(p,q) não é invertível.

- Invertibilidade será importante para distinguirmos entre processos

ARMA.
23 / 33
Método para verificar estacionariedade e
invertibilidade do ARMA
- Para verificar a estacionariedade do ARMA(p,q).
1. Calcular as p raízes de Γ(x ) = 0. Se todas estão fora do círculo,
processo é estacionário.
2. Se há raízes dentro do círculo, calculá-las (tratar raízes em
multiplicidade como distintas). Se todas as raízes dentro do círculo de
Γ aparecem como raízes de Π(x ) = 0 (as raízes em multiplicidade
precisam aparecer pelo menos o mesmo número de vezes repetidas em
Π), o processo ainda é estacionário. Se não for o caso, o processo é
não estacionário.
- Para verificar a invertibilidade do ARMA(p,q) estacionário.
1. Calcular as q raízes de Π(x ) = 0. Se todas estão fora do círculo,
processo é invertível.
2. Se há raízes dentro do círculo, calculá-las (tratar raízes em
multiplicidade como distintas). Se todas as raízes dentro do círculo de
Π aparecem como raízes de Γ(x ) = 0 (as raízes em multiplicidade
precisam aparecer pelo menos o mesmo número de vezes repetidas em
Γ), o processo ainda é invertível. Se não for o caso, o processo não é
invertível.
24 / 33
ARMA(1,2) (gráfico)

10
5
arma12

0
−5

0 100 200 300 400 500

Time

25 / 33
Processo não estacionário: tendência
determinística
- Considere, agora, o processo:

Z t = α + β · t + ut (3)

onde β ̸= 0 e {ut }t é ruído branco. Note que esse processo é não

estacionário, visto que:

E[Zt ] = α + β · t

varia no tempo.

- Processo é estacionário em torno de uma tendência.

- Dizemos que processos que incluem componentes determinísticos da

forma f (t), onde f é uma função do tempo, apresentam tendência
determinística.
26 / 33
Exemplo de processo com tendência
determinística (gráfico)
Figura: Zt = 0.05 · t + ut , ut ∼ N(0, 1)
6
4
det

2
0

0 100 200 300 400 500

Time

27 / 33
Processo não estacionário: tendência
estocástica
- Considere agora um passeio aleatório simples, definido como:

Zt = Zt−1 + ut , t>0 (4)

onde {ut }t∈N é ruído branco, e Z0 = 0.

- Nesse caso, é possível verificar que:

t
X
Zt = us , t>0 (5)
s=1

e vemos que o processo é não estacionário, visto que:

V[Zt ] = t · σu2

- De (5), notamos que o processo apresenta tendência estocástica:

choques têm efeito permanente no nível da série.
28 / 33
Exemplo de processo com tendência
estocástica (gráfico)
Figura: Passeio aleatório simples
5
0
rw

−5
−10

0 100 200 300 400 500

Time

29 / 33
Processo não estacionário: quebra estrutural

- Um terceiro tipo de processo não estacionário é dado por:

(
µ0 + ut , se t ≤ T
Yt = (6)
µ1 + ut , se t > T
onde {ut }t∈N é ruído branco e µ0 ̸= µ1 .

- Processo apresenta quebra de nível: média é µ0 até T , e µ1 para a

frente.

- Outro tipo de processo com quebra de estrutura é dado por:

(
ut , se t ≤ T
Yt = (7)
σut , se t > T
para σ ̸= 1. Processo apresenta quebra de escala ou na variância.

30 / 33
Processo não estacionário: quebra
estrutural (gráfico)
4

4
mean_break

2
sd_break
2

0
0

−2
−4
−2

0 100 200 300 400 500 0 100 200 300 400 500

Time Time

(a) Quebra de nível (b) Quebra de escala

31 / 33
Removendo não estacionariedades

- Cada tipo de estacionariedade enseja um tratamento particular.

- Podemos remover a tendência determinística do processo (3)
ajustando um modelo linear de Zt em t e extraindo os resíduos.
- Também é possível trabalhar com a série em primeira diferenças, isto é,
trabalhar com a série Yt = Zt − Zt−1 embora isso não seja a maneira
mais eficiente de fazê-lo (e não funciona para tendências não lineares).

- Por outro lado, para remover a tendência estocástica em (4), devemos

trabalhar com a série diferenciada ∆Zt = Zt − Zt−1 .
- Observe que, de (4), ∆Zt = Zt − Zt−1 é um processo estacionário.

- Por fim, para processos com quebra estrutural, o ideal é analisar os

processos em janelas separadas, dentro das quais há estacionariedade.
- O problema, neste caso, é identificar o ponto de quebra T .

32 / 33
Os diferentes tipos de não estacionariedade

- Processos com tendência determínistica, que se tornam estacionários

após a subtração de uma f (t), são conhecidos como estacionários em
torno de tendência (trend-stationary ).

- Processos com tendência estocástica, que requerem diferenciação

para se tornarem estacionários, são conhecidos como I(1) ou com uma
raiz unitária.

- Processos estacionários são conhecidos como I(0).

- Nas próximas aulas, desenvolveremos métodos estatísticos para
distinguir entre os três processos.
- Não vamos focar na detecção de quebra estrutural, embora seja
importante saber que esta é uma área ativa da Econometria.
- Mas, se der tempo, veremos como quebras “exógenas” de variância
podem ser usadas na identificação de efeitos causais.

33 / 33