1

Treinamento em
Estatstica e Modelos de Previso
Aula prtica - Hands on FPW
Testes, Transformaes e Mtricas
Prof. Reinaldo Castro Souza, Ph.D.
Prof. Fernando Luiz Cyrino Oliveira, M.Sc.
Prof. Pedro Guilherme Ferreira, M.Sc.
Junho 2012
2
Escopo
a) Relembrando os Modelos de Previso;
b) Teste de Estacionariedade e Normalidade;
b.1) Teste de Raiz Unitria (Unit Root Test);
b.2) Teste de Jarque e Bera (1981) e Teste de
Kolmogorov-Smirnov;
c) Transformaes na srie;
c.1) Transformao de Box-Cox (1964);
c.2) Transformao Logartmica;
3
Escopo
d) Avaliao do desempenho preditivo de um modelo de
previso;
d.1) In-sample
d.1.1) MAPE
d.1.2) MAD
d.1.3) RMSE
d.1.4) Forecast Error
d.1.5) R
2
d.1.6) BIC
d.2) Out-of-sample
d.2.1) GMRAE
e) Testes baseados na autocorrelao dos resduos;
e.1) Teste de Ljung-Box ou Portmanteu;
e.2) Teste de Durbin-Watson;
4
a) Relembrando os Modelos de Previso
Univariados (autoprojetivos)
Analisa-se apenas o histrico da srie que se
deseja prever;
A partir da anlise da correlao dos dados no
tempo e do clculo de fatores como nvel,
tendncia e sazonalidade, estimada uma
equao de previso.
e.g. Naive, MM(N), MAE, BJ, etc.
Causais
Utiliza-se tambm o histrico de outras variveis
e testa-se a correlao desta com a varivel de
interesse;
e.g. modelos de regresso linear, modelos de
regresso dinmica, modelos estruturais, etc.
5
b.1) Teste de Raiz Unitria (Unit Root Test)
Testa a estacionariedade ou no da tendncia;
Vale lembrar que, outra maneira de verificar a
estacionariedade observando a srie graficamente;
A presena de raiz unitria na srie temporal conduz
a resultados viesados, invalidando os pressupostos da
estatstica clssica de que mdia e varincia so
constantes ao longo do tempo;
O problema de raiz unitria em modelos ARMA
aparece quando o polinmio auto-regressivo apresenta
uma raiz sobre o crculo unitrio;
6
b.1) Teste de Raiz Unitria (Unit Root Test)
Testa de Dickey-Fuller
consiste em efetuar uma regreesso com a
varivel em diferena e testar a proximidade
do coeficiente de um termo em nvel em
relao a unidade;
Phillips-Perron
equao semelhante, estimada com mtodo
diferente. Tende a ser mais sensvel em relao
a quebras estruturais;
7
b.1) Teste de Raiz Unitria (Unit Root Test)
Teste de Hipteses
unitria raiz :
0
H
ia estacionr srie :
1
H
Teste com a srie original
Teste com a srie em primeira diferena
8
b.2) Teste de Jarque e Bera (1981) e
Kolmogorov-Smirnov
Testam a normalidade da srie;
Comparam a distribuio dos resduos com a curva
normal;
Se a srie for considerada normal (gaussiana), seu
comportamento poder ser descrito por um modelo
linear, tipo ARMA;
Teste de hipteses:
normal o distribui :
0
H
normal no o distribui :
1
H
9
b.2) Teste de Jarque e Bera (1981)
o JB JB
crtico
aceita a Hiptese Nula
o Estatstica JB qui-quadrado (
2
) (com 2 gl)
JB = n . [ A
2
/6 + (C-3)
2
/24]
onde:
A = assimetria
C = curtose
o Nmero mgico: JB<6 distribuio normal
10
b.2) Resultados Teste de Jarque e Bera - Eviews
Teste com a srie 1
Teste com a srie 2
11
c) Transformaes na srie
H basicamente trs razes para se transformar os
dados originais:
estabilizar a varincia;
tornar o efeito sazonal aditivo;
tornar a distribuio da srie mais prxima da
normal;
As duas transformaes mais conhecidas so a Box-
Cox e a logaritmica (caso particular da Box-Cox);
12
c) Transformao Box-Cox
A transformao relativamente simples:

) 1 (
) (

=
y
y
o Onde varia entre [-1,1]. O valor transformado
passa atravs de vrios tipos de equaes para cada
valor de

14
d) Avaliao do desempenho preditivo de um
modelo de previso
d.1) In-sample
Em linhas gerais, estimados os parmetros dos
modelos, o que se faz, antes de calcular as
previses, projetar os valores histricos de
forma a comparar os valores reais e os valores
ajustados;
Nvel de erro calculado para previses um passo
frente;
Neste caso, utilizam-se todos os dados para o
calculo das mtricas estatsticas.
15
d) Avaliao do desempenho preditivo de um
modelo de previso
d.1.1) MAPE (Mean Absolute Percentual Error)
Calculado atravs da diferena entre os valores
estimados e reais e equivale as previses 1 passo
frente;
Formalmente:
N
t Y
t Y t Y
MAPE
N
t

=
1
^
100 x
) (
) ( ) (
Y(t) o valor da srie temporal no perodo (t);
o valor ajustado da srie temporal para o perodo (t);
N total de observaes;
OBS: quanto menor o MAPE, melhor.
^
) (t Y
16
d) Avaliao do desempenho preditivo de um
modelo de previso
d.1.2) MAD (Mean Absolute Deviation)
Tambm calculado atravs da diferena entre os
valores estimados e reais e equivale as previses 1
passo frente;
No entanto, no pode ser lido em termos
percentuais, e sim na unidade de medida da
varivel de interesse;
Formalmente:
N
t Y t Y
MAD
N
t

=

=
1
^
) ( ) (
OBS: quanto menor o MAD, melhor.
17
d) Avaliao do desempenho preditivo de um
modelo de previso
d.1.3) RMSE (Root Mean Square Error)
Tambm calculado atravs da diferena entre os
valores estimados e reais e equivale as previses 1
passo frente;
No entanto, feito um calculo da raiz do erro
quadrtico (muito prximo do MAD);
Formalmente:
OBS: quanto menor o RMSE, melhor.
N
t Y t Y
RMSE
N
t

=
1
2
^
) ( ) (
18
d) Avaliao do desempenho preditivo de um
modelo de previso
d.1.4) Forecast Error
Semelhante ao RMSE, no entanto, faz uma
correo em relao ao nmero de parmetros do
modelo;
Formalmente:
K nmero de parmetros do modelo;
OBS: quanto menor o Forecast Error, melhor.
K N
t Y t Y
ERROR FORECAST
N
t

=

=1
2
^
) ( ) (
_
19
d) Avaliao do desempenho preditivo de um
modelo de previso
d.1.5) R
2
(coeficiente de Explicao)
Indica o quanto da variao total dos dados (srie
dependente) explicada pelo modelo;
Este coeficiente calculado atravs da
comparao do erro do modelo e a variao dos
dados da srie dependente (srie a ser prevista)
em torno de sua mdia;
Formalmente:
a mdia de Y ;
OBS: quanto maior o R
2
, melhor.
( )
100 x
) (
) ( ) (
1
1
2
1
2
^
2

=
=
N
t
N
t
Y t Y
t Y t Y
R
Y
20
d) Avaliao do desempenho preditivo de um
modelo de previso
d.1.6) BIC (Bayesian Information Criterion )
Critrio de seleo proposto por Schwarz (1978);
O mtodo compara dois modelos familiares (e.g.
Amortecimento Exponencial e Box & Jenkins)
Aquele que minimizar o BIC o melhor pois
fornecer previses mais acuradas; (default FPW)
- verossimilhana ajustada
OBS: quanto menor o BIC, melhor.
[ ] n n k L BIC ) ln( 2 ) ( ln 2 + =
) ( L
21
d) Avaliao do desempenho preditivo de um
modelo de previso
d.2) Out-of-sample
Parte dos dados so selecionados (por exemplo,
os ltimos 12 meses) para validar o poder de
previso dos modelos ajustados com os dados
restantes;
Isto , avalia-se o poder de previso dos modelos
dentro e fora do perodo amostral utilizado;
Out-of-sample rolling evaluation, isto , com os
mesmos parmetros estimados para os dados
passados, move-se a origem de previso no
perodo out-of-sample, fazendo-se previses para
cada origem;
22
Exemplo: Out-of-sample rolling evaluation
d) Avaliao do desempenho preditivo de um
modelo de previso
o R Real // F Forecast
o 12 previses 1-passo--frente, 11 previses 2-passos--frente, e
assim sucessivamente;
HORIZONTE
JAN FEV MAR ABR MAI JUN JUL AGO SET OUT NOV DEZ
O
R
I
G
E
M
DEZ F F F F F F F F F F F F
JAN R F F F F F F F F F F F
FEV R R F F F F F F F F F F
MAR R R R F F F F F F F F F
ABR R R R R F F F F F F F F
MAI R R R R R F F F F F F F
JUN R R R R R R F F F F F F
JUL R R R R R R R F F F F F
AGO R R R R R R R R F F F F
SET R R R R R R R R R F F F
OUT R R R R R R R R R R F F
NOV R R R R R R R R R R R F
d.2) Out-of-sample
23
d) Avaliao do desempenho preditivo de um
modelo de previso
d.2) Out-of-sample
Obtidas as previses out-of-sample vrias mtricas
estatsticas podem ser calculadas (e.g. MAPE,
MAD, GMRAE);
ATENO: selecionado o melhor mtodo de
acordo com algum critrio previamente
estabelecido, incorpora-se novamente os dados
retirados da amostra, atualiza-se os parmetros e
faz-se as previses.
24
d) Avaliao do desempenho preditivo de um
modelo de previso
d.2.1) GMRAE (Geometric Mean Relative
Absolute Error )
compara o erro do modelo selecionado com o
erro do modelo ingnuo (que usa como previso
o ltimo dado disponvel);
a mdia geomtrica da razo entre o erro
absoluto do modelo estimado e o erro absoluto
do mtodo ingnuo;
Formalmente:
n
n
t
t Z t Z
t Y t Y
GMRAE
) ( ) (
) ( ) (
^
^
1

=
=
) ( ) (
^
t Z t Z =
OBS: desejvel que seja menor que 1
, onde (mtodo Ingnuo)
25
e) Testes baseados na autocorrelao dos
resduos
Deve-se sempre examinar o grfico das
autocorrelaes dos resduos;
Se existir lags significantes, significa que alguma
caracterstica da varivel dependente no foi
capturada pelo modelo atual;
Enfim, importante saber que autocorrelaes
significantes indica que algum tipo de estrutura
presente na srie no foi captada pelo modelo.
26
e.1) Teste de Ljung-Box ou Portmanteu
Testa a hiptese de que as k primeiras
autocorrelaes so nulas:
Estatstica de teste:
1
) 2 ( *
1
2

+
=

=
T
r T T
Q
k
i
i
0 ... :
2 1 0
= = = =
k
H
e) Testes baseados na autocorrelao dos
resduos
21
e.2) Teste de Durbin-Watson
Ao contrrio do teste anterior, testa apenas se a
primeira autocorrelao do rudo nula:
Estatstica de teste:
( )

=
=

=
T
t
t
T
t
t t
e
e e
DW
1
2
2
2
1
) (
0 :
1 0
== H
Se DW aproximadamente 2, ento aceito H
0
e) Testes baseados na autocorrelao dos
resduos