Escolar Documentos
Profissional Documentos
Cultura Documentos
INSTITUTO DE MATEMÁTICA
DEPARTAMENTO DE ESTATÍSTICA
Banca Examinadora:
Professor Dr. Cleber Bisognin
Professor Dr. Hudson da Silva Torrent
1. Introdução .............................................................................................................. 6
1. Introdução
Ao explorarmos séries temporais nos deparamos com dados sazonais, isto é,
que possuem a característica de repetir-se em determinados períodos de tempo. Séries
que possuem essa característica merecem atenção especial no seu estudo para ajuste de
modelo, tanto para entendermos a série quanto para fazermos previsões dos futuros
valores.
Uma série temporal é uma sequência de observações feitas em um período de
tempo (BOX, JENKINS e REINZEL, 1994). A análise de séries temporais permite
descrever a dependência dos dados em relação ao tempo e prever valores futuros.
Exemplos de séries temporais são encontrados de várias formas: ações, inflação,
temperatura, taxa mensal de desemprego, número de homicídios, etc.
O objetivo é estudar os modelos para séries temporais sazonais aplicados aos
resultados mensais da taxa de desemprego da Região Metropolitana de Porto Alegre.
Além da taxa de desemprego, a pesquisa divulga mensalmente dados referente a
ocupação, inatividade, rendimentos do trabalhador, entre outros. Essas informações
auxiliam gestores a tomarem decisões para estimular o emprego e também no que se
refere, por exemplo, a questão da previdência.
O período de estudo da pesquisa de emprego e desemprego (PED) que será
utilizado para este trabalho será entre 1993 e 2009, restando assim o ano de 2010 para
realizar previsões. A fonte desses dados é pública e está disponibilizada no site do
Departamento Intersindical de Estatística e Estudos Socioeconômicos – DIEESE na
internet.
No segundo capítulo serão apresentados os modelos utilizados na análise das
séries. Iniciamos pelo modelo de suavização exponencial e seguindo com os modelos
Holt-Winters (aditivo e multiplicativo). A seguir será apresentado o modelo SARIMA.
Esse capítulo será fortemente baseado na bibliografia MORETTIN & TOLOI.
A previsão no caso do modelo de suavização exponencial deve ser atualizada a
cada nova observação. No caso da PED, ocorre mensalmente. Isso é explicado pelo fato
de que a previsão é realizada a partir do dado observado anteriormente e o dado previsto
no passo anterior. Ou seja, se fosse realizada uma nova previsão a partir do dado
previsto anteriormente, obteríamos a mesma estimativa porque o dado observado
anteriormente e o dado previsto no passo anterior seriam o mesmo.
7
Z t Zt (1 )Zt 1 (1 ) 2 Zt 2 ...
Isso significa que a suavização exponencial simples é uma média ponderada
que atribui pesos maiores ás observações mais recentes.
As equações de previsão para o modelo de suavização exponencial são dadas
pelas seguintes expressões:
_
Zˆ t (h) Z t , h 0
Zˆ t (h) Z t (1 ) Zˆ t 1 (h 1)
De acordo com as duas últimas expressões acima é possível perceber uma
vantagem do método de suavização exponencial. A não necessidade de armazenagem de
dados, devido ao fato de que para a atualização de previsão existe a necessidade apenas
do valor de α, da observação mais recente e a última previsão. Porém esse fato também
pode ser considerado uma desvantagem, ao passo que, não é possível fazer previsões
mais que um passo a frente.
Enquanto que na Média Móvel as observações usadas para encontrar a previsão
do valor futuro contribuem em igual proporção para o cálculo dessa previsão, no
Alisamento Exponencial Simples as informações mais recentes são evidenciadas pela
aplicação de um fator que determina essa importância (WHEEL, WRIGHT, 1985).
A maior dificuldade do método está em determinar o valor da constante α. Um
α maior dá maior peso as previsões mais atuais. Em geral, valores mais baixos são
10
determinados para séries que possuem maiores flutuações, ou seja, maior aleatoriedade.
O valor de α = 2/(r-1) fornece previsões semelhantes ao método de médias móveis com
parâmetro r, onde r é o número de observações utilizadas para calcular a média no
modelo de médias móveis.
Os próximos modelos a serem estudados serão os modelos de suavização Holt-
Winters.
Z t t Ft Tt t
As equações de suavização que representam as estimativas do fator sazonal, do
nível e tendência são dadas a seguir:
^ Z ^
Ft D t (1 D) Ft s , 0 D 1, t s 1,...., N
Zt
Z
Z t A ^ t (1 A)(Z t 1 Tt 1 ), 0 A 1, t s 1,...., N
^ ^
F t s
12
^ ^
Tt C ( Z t Z t 1 ) (1 C ) T t 1 , 0 C 1,
onde A, C e D são constantes de suavização, que são determinadas pelo vetor (D, A, C)
que minimiza a soma dos erros quadráticos de previsão, s corresponde ao valor sazonal
(sazonalidade) e N ao número de observações na série.
A previsão no caso multiplicativo pode ser expressa pelas equações abaixo,
onde s é o fator sazonal:
_
Zˆ t (h) ( Z t h Tˆt ) Fˆt h s ,
onde h = 1, 2, ..., s.
_
Zˆ t (h) ( Z t h Tˆt ) Fˆt h 2 s ,
onde h = s+1, ..., 2s.
O próximo modelo a ser estudado será o modelo SARIMA, que será descrito
na seção 2.3.
15
10
%
1,0
0,8
0,6
0,4
Autocorrelação
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
1,0
0,8
0,6
Autocorrelação parcial
0,4
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
Cada uma das séries possui duzentos e quatro observações ao longo de 17 anos
(série mensal). Na figura 1 a série mais acima é a série original da taxa de desemprego.
A série abaixo é a variação da taxa de desemprego original (taxa de desemprego de um
mês menos taxa de desemprego do mês imediatamente anterior), ou seja, diferenciamos
a série para retirar a tendência.
16
do ano de 2010. Por esse motivo, as previsões não apresentam elevado grau de
amplitude no intervalo de confiança. Ao analisar a Figura 8 e a Tabela 1 observa-se que
os valores previstos para 2010 e os dados reais estão próximos.
1,0
0,8
0,6
0,4
Autocorrelação
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
1,0
0,8
0,6
Autocorrelação parcial
0,4
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
19
Figura 8: Série original de 2008 a outubro de 2010 e previsão para os meses de janeiro
a novembro do ano de 2010, segundo o modelo de suavização exponencial.
Suavização exponencial
13
12
Taxa de desemprego (%)
11
10
7
3 6 9 12 15 18 21 24 27 30 33
Limite Inferior
Previsão
Limite Superior
Observado
Foi baseado nessas indicações que foram realizadas as previsões para os modelos
aditivo e multiplicativo de Holt-Winters.
1,0
0,8
0,6
0,4
Autocorrelação
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
1,0
0,8
0,6
Autocorrelação parcial
0,4
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
22
Figura 13: Gráfico da série original de 2008 a outubro de 2010 e previsão para o ano de
2010 segundo o modelo Holt-Winters ADITIVO.
Holt-Winters ADITIVO
16
14
Taxa de desemprego (%)
12
10
2
4 8 12 16 20 24 28 32 36
Limite Inferior
Previsão
Limite Superior
Observado
que, com o passar dos meses a previsão situa-se num intervalo de confiança muito
grande, não trazendo muita informação ao problema. Os valores observados no ano de
2010 estão sempre dentro dos limites de confiança e, os dados previstos e observados
seguem tendência semelhante.
As constantes de suavização foram estimadas em A = 0,89026 para o nível, C
= 0,000463 para a tendência e D = 1 para a sazonalidade. Os valores dessas constantes
reforçam a idéia de que a sazonalidade é importante para a série e, que a tendência não é
um fator que tenha importância grande para esse modelo.
Em relação ao modelo de suavização exponencial as figuras de autocorrelação
dos resíduos e autocorrelação parcial dos resíduos apontam um melhor ajuste no modelo
Holt-Winters aditivo.
Na sequencia realizaremos a análise para o modelo de suavização Holt-Winters
multiplicativo. Após as figuras de previsão, análise de resíduos e autocorrelação e
autocorrelação parcial será apresentada uma tabela com as taxas de desemprego
previstas para 2010, junto com os intervalos de confiança e os dados reais observados.
1,0
0,8
0,6
0,4
Autocorrelação
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
25
Figura 17: Função de autocorrelação parcial dos resíduos para o modelo Holt-Winters
MULTIPLICATIVO .
Função de autocorrelação parcial
1,0
0,8
0,6
Autocorrelação parcial
0,4
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
Figura 18: Gráfico da série original de 2008 a outubro de 2010 e previsão para o ano de
2010 segundo o modelo Holt-Winters MULTIPLICATIVO.
Holt-Winters MULTIPLICATIVO
14
12
Taxa de desemprego (%)
10
0
4 8 12 16 20 24 28 32 36
Limite Inferior
Previsão
Limite Superior
Observado
26
Figura 19: Gráfico de previsão através do modelo SARIMA para a taxa mensal de
desemprego, na região metropolitana de Porto Alegre.
Previsão
20.0
17.5
15.0
12.5
C1
10.0
7.5
5.0
90
0.5
Residual
Percent
50
0.0
10
1 -0.5
0.1
-1.0 -0.5 0.0 0.5 1.0 10.0 12.5 15.0 17.5 20.0
Residual Fitted Value
Residual
15
10 0.0
5
-0.5
0
-0.6 -0.3 0.0 0.3 0.6 0.9 1 20 40 60 80 100 120 140 160 180 200
Residual Observation Order
Figura 21: Gráfico da função de autocorrelação dos resíduos, obtida através do modelo
SARIMA (0,1,3)x(2,1,0)12, para a taxa mensal de desemprego.
Autocorrelação dos resíduos
1.0
0.8
0.6
0.4
Autocorrelation
0.2
0.0
-0.2
-0.4
-0.6
-0.8
-1.0
1 6 12 18 24 30 36 42 48
Lag
29
Figura 22: Gráfico da função de autocorrelação parcial dos resíduos, obtida através do
modelo SARIMA (0,1,3)x(2,1,0)12, para a taxa mensal de desemprego.
Autocorrelação parcial dos resíduos
1.0
0.8
0.6
Partial Autocorrelation
0.4
0.2
0.0
-0.2
-0.4
-0.6
-0.8
-1.0
1 6 12 18 24 30 36 42 48
Lag
Figura 23: Gráfico da série original de 2008 a outubro de 2010 e previsão para o ano de
2010 segundo o modelo SARIMA (0,1,3)x(2,1,0)12
SARIMA
13
12
Taxa de desemprego (%)
11
10
4 8 12 16 20 24 28 32 36
Limite Inferior
Previsão
Limite Superior
Observado
30
1992, pois eram necessários 205 dados para obtermos as 204 diferenças da taxa de
desemprego. Para a série original da taxa de desemprego foram considerados os dados
mensais observados entre janeiro de 1993 e dezembro de 2009.
Será realizado aqui estudo semelhante ao da série original, as exceções
encontram-se no modelo Holt-Winters multiplicativo, que é aplicável somente a séries
com valores estritamente positivos, o qual não é o caso da série diferenciada e, ao
SARIMA que aqui perde o sentido da aplicabilidade, pois na série original já foi
suavizada a partir da primeira diferença e primeira diferença sazonal. Essa série será
suavizada apenas pelos modelos exponencial simples e Holt-Winters aditivo.
Começaremos a análise pelo modelo de suavização exponencial.
1,0
0,8
0,6
0,4
Autocorrelação
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
32
1,0
0,8
0,6
Autocorrelação parcial
0,4
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
MAD 0,423
0,0 MSD 0,295
-0,5
-1,0
-1,5
1 21 42 63 84 105 126 147 168 189 210
Index
50 0
10
-1
1
0,1
-2 -1 0 1 2 -1 0 1 2
Residual Fitted Value
1
Frequency
20
Residual
0
10
-1
0
-1,35 -0,90 -0,45 0,00 0,45 0,90 1,35 1 20 40 60 80 100 120 140 160 180 200
Residual Observation Order
34
1,0
0,8
0,6
0,4
Autocorrelação
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
1,0
0,8
0,6
Autocorrelação parcial
0,4
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
35
1,0
0,5
0,0
-0,5
-1,0
-1,5
-2,0
3 6 9 12 15 18 21 24 27 30 33
Limite Inferior
Previsão
Limite Superior
Observado
O ajuste não parece ser muito bom. A figura de resíduos por valores suavizados
apresenta uma leve tendência de acordo com o diferente valor suavizado. Uma
modelagem de qualidade apresentaria esse gráfico de forma equilibrada, centrada no
valor zero para os resíduos e sem tendências. Nesse caso, o valor da estatística MSD foi
0,295.
A previsão para os meses do ano de 2010 sofrem influência dos próprios dados
do ano de 2010, que são utilizados para atualizar a série mensalmente. Isso auxilia a
estimação a se concentrar próximo aos dados observados, principalmente quando a série
36
é estacionária como a apresentada. Esse fato pode ser confirmado a partir da análise do
gráfico na Figura 30, onde não existe uma tendência definida para os dados.
As figuras 28 e 29 de autocorrelação e autocorrelação parcial dos resíduos
apontam muitos dados fora dos intervalos de confiança. Isso ajuda a identificar um mau
modelo.
Durante o ano de 2010, a taxa de desemprego vem apresentando várias quedas,
isso reflete nas previsões apresentadas. Para o mês de novembro espera-se uma queda
0,2899 ponto percentual na taxa de desemprego.
Forecasts
95,0% PI
1
Smoothing Constants
Alpha (level) 0,122569
Gamma (trend) 0,019404
Delta (seasonal) 0,189050
0
Accuracy Measures
MAPE 112,946
MAD 0,345
MSD 0,198
-1
-2
1 22 44 66 88 110 132 154 176 198
Index
37
90 1
Residual
Percent
50
0
10
1
-1
0,1
-1 0 1 2 -1,0 -0,5 0,0 0,5 1,0
Residual Fitted Value
30 1
Frequency
Residual
20
0
10
-1
0
-0,8 -0,4 0,0 0,4 0,8 1,2 1,6 1 20 40 60 80 100 120 140 160 180 200
Residual Observation Order
1,0
0,8
0,6
0,4
Autocorrelação
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
38
1,0
0,8
0,6
Autocorrelação parcial
0,4
0,2
0,0
-0,2
-0,4
-0,6
-0,8
-1,0
1 5 10 15 20 25 30 35 40 45 50
Lag
Figura 35: Gráfico da série diferenciada de 2008 a outubro de 2010 e previsão para o
ano de 2010 segundo o modelo Holt-Winters ADITIVO.
Holt-Winters ADITIVO
2
Diferença da taxa de desemprego
-1
-2
4 8 12 16 20 24 28 32 36
Limite Inferior
Previsão
Limite Superior
Observado
39
SE = eˆ
h 1
2
h ,
eˆh X n h Xˆ n (h) ,
onde X n h é o valor real com origem em n e Xˆ n (h) é o valor previsto com origem
em n e h passos a frente.
Classificamos como melhor modelo aquele que possui menor soma dos
quadrados dos erros de previsão.
Figura 36: Dados observados e previstos para a série da taxa de desemprego no ano de
2010.
Dados observados e previsão dos modelos
11
Taxa de Desemprego
10
7
1 2 3 4 5 6 7 8 9 10 11 12
Meses
O BS E RV A DO S
S U A V IZA Ç Ã O E XP O N E N C IA L
HO LT-WIN TE RS A DITIV O
HO LT-WIN TE RS M U LTIP LIC A TIV O
S A RIM A
41
Tabela 8: Dados de previsão para taxa mensal de desemprego no ano de 2010 e dados
observados até outubro de 2010 e estatística SE.
SUAVIZAÇÃO HOLT-WINTERS HOLT-WINTERS
Mês OBSERVADOS SARIMA
EXPONENCIAL ADITIVO MULTIPLICATIVO
Janeiro 9,7 9,1507 9,0077 9,0469 9,1663
Fevereiro 9,6 9,9295 9,1951 9,0323 9,3485
Março 9,8 9,4632 10,0109 9,4475 9,9821
Abril 9,6 9,9392 10,4541 9,5867 10,4903
Maio 9,6 9,4603 10,5513 9,5553 10,4030
Junho 9,5 9,6575 10,3089 9,2417 10,4694
Julho 8,9 9,4352 10,0824 8,9961 10,0421
Agosto 8,7 8,6787 9,7663 8,6460 9,8631
Setembro 8,5 8,7088 9,5502 8,3898 9,5647
Outubro 8,2 8,4137 9,3010 8,0620 9,6732
Novembro 8,1116 9,0359 7,7976 9,3373
Dezembro 8,3574 7,3073 8,5482
SE - 1,059305 7,826666 0,985409 8,719526
10
Para a série analisada o modelo que se mostrou mais adequado foi o Holt- 0,4
Winters multiplicativo. Isso é confirmado a partir do critério da estatística SE que 0,2
9
apresentou valor 0,985409. O outro modelo com menor SE foi a suavização exponencial 0,0
com estatística igual a 1,059305.
8 -0,2
-0,4
7 -0,6
1 2 3 4 5 6 7 8 9 10 11 12
Meses -0,8
O BS E RV A D O S
S U A V I ZA Ç Ã O E XP O N E N C I A L
H O LT -WI N T E R S A D I T I V O O BSER
H O LT -WI N T E R S M U LT I P LI C A T I V O SU A VI
S A RIM A HO LT-
42
0,6
0,4
0,2
0,0
-0,2
-0,4
-0,6
-0,8
1 2 3 4 5 6 7 8 9 10 11 12
OBSERVADOS Meses
SUAVIZAÇÃO EXPONENCIAL
HOLT-WINTERS ADITIVO
Tabela 9: Dados de previsão para taxa mensal de desemprego no ano de 2010 e dados
observados até outubro de 2010.
SUAVIZAÇÃO HOLT-WINTERS
Mês OBSERVADOS
EXPONENCIAL ADITIVO
Janeiro 0,3 -0,5864 -0,3363
Fevereiro -0,1 0,2228 0,1926
Março 0,2 -0,0700 0,7664
Abril -0,2 0,1740 0,3920
Maio 0 -0,1630 0,0835
Junho -0,1 -0,0163 -0,2532
Julho -0,6 -0,0916 -0,3051
Agosto -0,2 -0,5492 -0,3905
Setembro -0,2 -0,2363 -0,3239
Outubro -0,3 -0,2038 -0,3777
Novembro -0,2899 -0,4082
Dezembro -0,6872
SE 1,527235 1,336787
suavização exponencial que utilizou dados observados no ano de 2010 para realizar as
previsões. O modelo Holt-Winters aditivo apresentou amplitudes de intervalo de
confiança inferiores aos intervalos do modelo de suavização exponencial
Pelo critério da estatística de minimização de erros SE o melhor modelo para a
estimação da diferença em relação ao mês imediatamente anterior da taxa de
desemprego foi o Holt-Winters aditivo, com uma estatística 1,336787, enquanto o
modelo de suavização exponencial apresentou valor 1,527235.
44
4. Considerações finais
O estudo da taxa de desemprego é muito útil no tomada de decisão de políticas
públicas em relação ao mercado de trabalho. Através desses dados podem ser definidos
incentivos fiscais, análise de dados referentes à previdência, análises setoriais e de
renda.
É sabido da demanda por parte dos administradores, imprensa e estudiosos por
previsões para esses indicadores. O presente estudo apresenta uma proposta de modelos
para estimar a taxa de desemprego para futuros meses.
No caso da taxa de desemprego o modelo ótimo, dentre os modelos estudados,
foi o Holt-Winters multiplicativo. Para a taxa de desemprego diferenciada o melhor
modelo foi o Holt-Winters aditivo.
De um modo geral, os modelos estavam bem ajustados. Isso pode ser concluído
através dos gráficos de probabilidade normal, gráficos de análise de resíduos, gráficos
de autocorrelação e autocorrelação parcial dos resíduos, além dos indicadores de
qualidade MAPE, MAD e MSD.
Em relação ao critério SE para escolha do melhor modelo de previsão, o
critério se mostrou bastante adequado. Apenas uma análise gráfica nos levaria a também
a conclusão de que o modelo Holt-Winters multiplicativo é o melhor para prever a taxa
de desemprego. Quanto a série da taxa de desemprego diferenciada, o critério SE foi
fator determinante para definição do melhor modelo.
Não foi possível escolher um melhor modelo geral para o estudo de previsão
em séries temporais. No caso do presente estudo, isso se deve ao fato de não podermos
utilizar os mesmos quatro modelos para as duas séries estudadas. não foi possível
indicar um melhor modelo geral. Essa conclusão se estende às séries em geral, não
sendo possível encontrar um modelo melhor para qualquer série.
45
Referências Bibliográficas
MORETTIN, Pedro A.; Toloi C. M. C. Análise de Séries Temporais – São Paulo:
Edgard Blücher,2004.
MONTGOMERY, D. C.; JOHNSON, L. A.; GARDINER, J. S. Forecasting & Time
Series analysis – McGraw-Hill, 2ª edição, 1990.
LOPES, C. M. C.; ALENCA A. P.; LIPPI F. de Sá B.; YAMAMOTO F. H. O uso de
modelos de séries temporais no estudo da produção de álcool no Brasil. R. bras. Estat.,
Rio de Janeiro, v.70, n.232, p.71-88, jan/jun.2009.
KALEKAR, P. S. Time series Forecasting using Holt-Winters Exponential Smoothing,
KanwalRekhi School of Information Tecnology, December 6, 2004.
GELPER, S.; FRIE, R.; CROUX, C. Robust Forecasting with Exponential and Holt-
Winters Smoothing. April 30, 2007.
BOX, G. E. P.; JENKINS, G. M. (1976) Time series analysis: forecasting and control.
San Francisco: Holden- Day.
CHATFIELD, Christopher. The analysis of time series: an introduction. 5th.ed. Boca
Raton: Chapman & Hall/CRC, c1999.
MORETTIN, Pedro Alberto. Modelos para previsão de séries temporais. Rio de Janeiro:
Impa, 1981. Volume 2.
Morettin, Pedro Alberto. Previsão de séries temporais. São Paulo: Atual, 1985. 435 p.
GRANGER, C.W.J. Forecasting economic time series. New York: Academic, 1977. xii,
333 p.
BACO, Samuel Bozzi; LIMA, Renato Silva; PAIVA, Anderson Paulo de. Comparação
de modelos de séries temporais para previsão de demanda de matéria prima na
fabricação de anéis de pistão. In: ENCONTRO NACIONAL DE ENGENHARIA DE
PRODUÇÃO, 26., 2006, Fortaleza. Anais eletrônicos... Fortaleza: Abepro, 2006.
Disponível em:
<http://www.abepro.org.br/biblioteca/ENEGEP2006_TR460317_8586.pdf>. Acesso
em: 26 nov. 2010.
FARIAS, Odair; NOGUEIRA NETO, Mário de Souza; NOGUEIRA, Carlos César
Sales. Estudo comparativo da aplicação de modelos clássicos na previsão de demanda
no agronegócio. Organizaçõs em contexto, São Paulo, n. 3, jun. 2006. Disponível em:
46