Regressão Linear Suely

Análise de
Regressão
Linear
Suely Ruiz Giolo

Conteúdo
Prefácio iv
1 Modelo de Regressão Linear Simples 1

1.1 Conceitos Introdutórios 1
1.2 Coeficiente de Correlação de Pearson 2
1.3 Correlação versus Relação Causa-Efeito 3
1.4 Modelo de Regressão Linear Simples 4
1.5 Estimadores de Mínimos Quadrados 5
1.6 Notação Matricial 7
1.7 Estimadores de Máxima Verossimilhança 7
1.8 Interpretação dos Parâmetros do Modelo 8
1.9 Propriedades do Ajuste de MQ 9
2 Adequação do Modelo de Regressão Linear 10

2.1 Introdução 10
2.2 Análise de Variância (ANOVA) 10
2.3 Análise de Resíduos 12
2.4 Testes de Hipóteses e Intervalos de Confiança 15
3 Regressão Passando pela Origem 19

3.1 Introdução 19
3.2 Modelo com Intercepto (0,0) 20
4 Outliers e Transformações de Variáveis 22

4.1 Introdução 22
4.2 Teste para Falta de Ajuste (lack of fit) 23
4.3 Violações nas Suposições dos Erros 23
4.4 Método para Selecionar uma Transformação em Y 24
4.5 Transformações para Obtenção de uma Reta 26
4.6 Método para Selecionar uma Transformação em X 36
4.7 Mínimos Quadrados Ponderados 27
5 Regressão Linear Múltipla 29

5.1 Introdução 29
5.2 Modelo de Regressão Linear Múltipla (MRLM) 30
5.3 Representação Matricial do MRLM 31
5.4 Estimação dos Parâmetros por Mínimos Quadrados 31
5.5 Valores Ajustados ou Preditos e Resíduos 32
5.6 Propriedades dos Estimadores de MQ 32
Giolo, S.R. Análise de Regressão Linear ii
5.7 Estimador de σ2 33
5.8 Análise de Variância (ANOVA) 33
5.9 Diagramas de Dispersão 35
5.10 Intervalos de Confiança 36
5.11 Testes de Hipóteses 36
5.12 Coeficientes de Determinação Parcial 40
5.13 Diagnóstico do Modelo de Regressão Linear Múltipla 41
5.14 Distribuição dos Resíduos 43
5.15 Multicolinearidade 44
5.16 Diagnóstico de Influência 45
5.17 Métodos para Tratar com a Multicolinearidade 52
5.18 Seleção de Variáveis 53
5.19 Interpolações e Extrapolações 57
5.20 Validação dos Modelos de Regressão 61
6 Regressão Polinomial 62
6.1 Introdução 62
6.2 Polinômios Ortogonais com uma Regressora 62
6.3 Exemplos 64
6.4 Regressão Polinomial com mais de uma Regressora 69
7 Variáveis Dummy em Regressão 72

7.1 Introdução 72
7.2 Exemplo: Variável Categórica com Dois Níveis 72
7.3 Regressoras Categóricas e Interações 74
7.4 Exemplo de Regressão com umaVariável Dummy 77
Apêndice 82
Bibliografia 85
Prefácio
Este texto tem como objetivo fornecer um material que auxilie na aprendizagem
e aplicações dos modelos de regressão linear. Vários livros e artigos que apresentam
este assunto foram utilizados na composição do texto.
O texto está organizado de modo que nos Capítulos 1 e 2 são apresentados e
ilustrados os modelos de regressão linear simples. Regressão linear simples passando
pela origem e transformações de variáveis são tópicos discutidos nos Capítulos 3 e 4.
No Capítulo 5, são apresentados os modelos de regressão linear múltipla e abordados
diversos tópicos relacionados aos mesmos, dentre eles, diagnóstico de pontos influentes,
implicações e métodos para tratar multicolinearidade e, ainda, alguns métodos de
seleção de variáveis. Por fim, regressão polinomial e variáveis dummy em regressão são
tratadas nos Capítulos 6 e 7, respectivamente. Os resultados das análises estatísticas
apresentadas no decorrer dos capítulos foram obtidos com o auxílio dos recursos
disponíveis no software R.
Visto o texto não se encontrar livre de erros e imperfeições, comentários, críticas
e sugestões são bem-vindos.
Suely Ruiz Giolo

giolo@ufpr.br
CAPÍTULO 1
Regressão Linear Simples
1.1 Conceitos Introdutórios
Considere, inicialmente, que se tenha uma variável quantitativa Y e que o

interesse seja descrevê-la de maneira resumida por meio de medidas estatísticas como,
por exemplo, a média µ, que é uma medida de tendência central, e a variância σ2, que é
uma medida da dispersão dos valores de Y em torno dessa média. Denotando por ε os
diversos fatores que fazem com que os valores de Y oscilem em torno da média µ, uma
maneira de expressar a variável aleatória Y por meio de um modelo simples seria
escrever Y como:
Y=µ+ε (1.1)
sendo ε uma variável aleatória com média zero e variância igual à de Y. Se Y apresentar
distribuição normal, isto é, Y ~ N(µ, σ2), tem-se o modelo simples normal Y = µ + ε
com µ uma constante e ε ~ N(0, σ2). Estimadores não-viciados de µ e σ2 são expressos,
respectivamente, por:
L 1 n 1 n H
y = ∑ yi e S2 = ∑ ( yi − y ) 2 .
n i=1 n − 1 i=1
Considere, agora, a existência de uma outra variável quantitativa, X, a qual

acredita-se ter alguma relação com a variável quantitativa Y. Por exemplo, X o
consumo de eletricidade e Y o valor a ser pago pela energia elétrica consumida; X a
idade e Y o tempo de reação a certo estímulo; X a temperatura e Y o tempo de uma
reação química, dentre outros.
Em situações como as citadas, a construção de um gráfico de dispersão dos
valores de X versus os de Y se constitui em uma ferramenta estatística simples, porém
muito útil, para investigar a existência de uma possível relação entre essas duas
variáveis. Adicionalmente, pode-se também fazer uso dos coeficientes de correlação
como, por exemplo, o de Pearson, apresentado a seguir.
Giolo, S.R. Análise de Regressão Linear 2
1.2 Coeficiente de Correlação de Pearson

O coeficiente de correlação de Pearson é utilizado quando se deseja verificar a
existência de associação linear entre duas variáveis quantitativas, X e Y, e é dado pela
covariância de X e Y dividido pelo produto dos respectivos desvios-padrão de ambas as
variáveis, isto é:
ρ = corr(X,Y) = Cov(X, Y)/ σx σy. (1.2)
Esse coeficiente resulta sempre em valores entre –1 e 1 e sua interpretação
depende de seu valor numérico e do seu sinal. Quanto mais próximo de 1 ou –1, mais
forte é o grau de relação linear existente entre X e Y e, quanto mais próximo de 0, mais
fraco é o grau desta relação. Uma correlação linear negativa indica que quando o valor
de uma variável aumenta o valor da outra diminui. Por outro lado, uma correlação linear
positiva indica que quando o valor de uma variável aumenta o valor da outra também
aumenta.
Para uma amostra aleatória de tamanho n, em que para cada indivíduo i (i = 1, ..., n)
observa-se o par de valores (xi, yi), o coeficiente de correlação linear entre X e Y é calculado
por:
(X,Y)/ SxSy.
r = Cov
em que Sx é o desvio-padrão amostral de X e Sy o desvio-padrão amostral de Y.

Como Cov (X,Y) = 1 ∑ (xi – x )(yi – y ) segue que:
n −1 i
1 ⎡⎢ ∑ ( xi − x )( yi − y ) ⎤⎥
r= i .
n−1 ⎢ S X SY ⎥
⎢⎣ ⎥⎦
Os gráficos de dispersão apresentados na Figura 1.1 ilustram algumas situações

com diferentes coeficientes de correlação. No gráfico (a), por exemplo, pode-se notar a
ausência de associação entre X e Y. Já nos gráficos (b) e (c), nota-se forte relação linear
entre X e Y, sendo os valores dos coeficientes de correlação de Pearson muito próximos
de 1 e −1, respectivamente. Na situação ilustrada no gráfico (b), à medida que os
valores de uma variável crescem os da outra também crescem, e isto ocorre de forma
linear. Por outro lado, na situação ilustrada no gráfico (c), à medida que os valores de
uma variável crescem os da outra decrescem, também de forma linear. Ainda, na
situação mostrada no gráfico (d), pode-se observar a ausência de relação linear entre X e
Y. Neste caso, há a presença de uma relação quadrática, ou seja, não-linear entre elas.
Observe, portanto, que o coeficiente de correlação de Pearson é uma ferramenta
útil para investigar a existência de relação linear entre duas variáveis quantitativas.
Desse modo, a ausência de relação linear, quando indicada por este coeficiente, não
implica ausência de relação entre elas. Outro tipo de relação pode estar presente como,
por exemplo, a não-linear.
Figura 1.1: Gráficos de dispersão e coeficientes de correlação associados.
1.2.1 Teste de Significância para ρ

Em uma amostra bivariada (X,Y), em que a população segue o modelo normal
bivariado, um teste bastante simples para testar as hipóteses: H0: ρ = 0 versus Ha: ρ ≠ 0
(ou Ha: ρ > 0 ou, ainda, Ha: ρ < 0) é dado por
( n − 2)
t= r ∼ t-Student com (n – 2) graus de liberdade,
(1 − r 2 )
sendo n o tamanho amostral e r o coeficiente de correlação amostral de Pearson. Com

base no valor calculado de t obtém-se o valor p (p-value) associado para que se possa
decidir sobre a rejeição ou não de H0.
1.2.2 Uso do Coeficiente de Correlação de Pearson

Se a distribuição conjunta de X e Y for normal bivariada, o coeficiente de
correlação de Pearson mede a associação dessas variáveis de maneira apropriada. Caso
contrário, o coeficiente é simplesmente uma medida de associação e não há nenhuma
garantia de sua adequação ou qualidade.
1.3 Correlação versus Relação Causa-Efeito

Em sendo observada uma correlação forte entre duas variáveis, isto implicaria
uma relação causa-efeito entre elas? Para responder a esta questão, considere que para
40 países (com população > 20 milhões a partir de 1990) têm-se informações sobre suas
expectativas de vida, no de pessoas por televisão e no de pessoas por médico.
Será que existe alguma relação entre a expectativa de vida dos países e sua
densidade por aparelho de televisão? Se sim, esta associação é positiva ou negativa? E
com o no de pessoas por médico?
Sendo r = – 0,85 a correlação linear entre Y = expectativa de vida e o logaritmo

de X1 = no de pessoas por televisão e r = – 0,83 a correlação entre Y = expectativa de
vida e o logaritmo de X2 = no de pessoas por médico, temos a questão relativa à causa.
Será que o envio de televisões para países com expectativas baixa de vida, levaria seus
habitantes a viverem mais tempo? Qual então a explicação mais plausível para a
associação existente? A conclusão dessa discussão é que correlação não implica em
causa, isto é, existe uma distinção entre correlação e relação causa-efeito.
1.3.1 Outra Situação de Correlação Espúria

Considere o seguinte exemplo em que se tem: Y = no de nascimentos em uma
determinada cidade e X = no de cegonhas existentes nesta cidade. Para este caso,
obteve-se uma forte correlação linear entre X e Y (r = 0,94). No entanto, não existe uma
relação causal entre elas e também nenhuma explicação plausível para a existência
dessa associação. Não faz sentido usar o no de cegonhas para estimar o no de
nascimentos na referida cidade.
1.4 Modelo de Regressão Linear Simples

Considere experimentos em que duas variáveis quantitativas, Y e X, são
observadas em cada um dos n indivíduos sob estudo. Se existir uma relação entre Y e X,
esta possivelmente pode ser escrita por uma função matemática simples ou, ainda, por
uma função mais complexa. Em estatística, o termo regressão de Y em X é geralmente
usado para descrever esta relação.
Para investigar a relação entre as variáveis Y e X, gráficos de dispersão e
coeficientes de correlação são de grande auxílio na escolha da referida função. Em
diversas situações tais gráficos e coeficientes mostrarão que uma relação linear pode ser
válida para sumarizar a dependência observada entre duas variáveis quantitativas.
Nesses casos, a equação desta relação será expressa por:
Y = β0 + β1x.
As observações não caem, contudo, exatamente sobre a linha reta, ou seja, existe
uma diferença entre o valor observado e o valor da reta, denominado erro (representado
por ε). Este erro é assumido ser um erro estatístico, isto é, ele é uma variável aleatória
que quantifica a falha do modelo em se ajustar aos dados exatamente. Tal erro pode ser
devido ao efeito de outras variáveis não consideradas, erro de medição, dentre outros.
Desse modo, um modelo mais plausível seria:
Y = β0 + β1x + ε ⇒ modelo de regressão linear. (1.3)
Como o modelo (1.3) envolve uma única variável independente, é denominado

modelo de regressão linear simples (MRLS). Os parâmetros β0 e β1 são denominados
coeficientes da regressão. Ainda, o modelo (1.3) pode ser visto como um modelo de
regressão linear populacional, enquanto,
yi = β0 + β1xi + εi ( i = 1, ..., n)
um modelo de regressão linear amostral.

A variável regressora X (independente) é frequentemente assumida como uma

variável controlada pelo analista dos dados e medida com erro desprezível, enquanto a
variável resposta Y como uma variável aleatória, isto é, existe uma distribuição de
probabilidade para Y em cada valor possível de X. Os erros são usualmente assumidos
terem média zero e variância desconhecida constante σ2, bem como assumidos serem
não-correlacionados, isto é, o valor de um erro não está associado ao valor de qualquer
outro erro. Logo, a média e variância de Y são dadas, respectivamente, por:
E(Y| x) = E (β0 + β1x + ε) = E(β0 + β1x) + E(ε) = β0 + β1x
V(Y| x) = V(β0 + β1x + ε) = σ2.
Exemplo: Um psicólogo investigando a relação entre o tempo que um indivíduo leva

para reagir a certo estímulo e sua idade obteve as informações a seguir.
yi = tempo (em segundos) xi = idade (em anos)

96 109 20 30
92 100 20 30
106 112 20 35
100 105 20 35
98 118 25 35
104 108 25 35
110 113 25 40
101 112 25 40
116 127 30 40
106 117 30 40
Fonte: Bussab (1988).
Scatterplot (EXE1.STA 2v*20c)
130
125
120
115
110
TEMPO
105 diagrama de dispersão

100
95
90
85
18 22 26 30 34 38 42
IDADE
Figura 1.2 Diagrama de dispersão idade versus tempo.
Para os dados desse exemplo, o coeficiente de correlação amostral de Pearson

resultou em r = 0,7681, o que sugere evidências de relação linear positiva entre a idade
e o tempo de reação. Pode-se, desse modo, ajustar a esses dados o modelo de regressão
linear simples necessitando, agora, estimar os parâmetros desse modelo com base na
amostra observada.
1.5 Estimadores de Mínimos Quadrados

Foi visto que os parâmetros β0 e β1, bem como ε são desconhecidos na equação
y = β0 + β1x + ε. Como ε muda para cada observação y, fica difícil determiná-lo.
Contudo, β0 e β1 permanecem fixos e, embora não possam ser determinados exatamente
sem serem examinados todos os possíveis valores de Y e X, pode-se usar a informação
obtida em n observações para obtenção das estimativas para β0 e β1.
Um procedimento possível de estimação de β0 e β1 é o de Mínimos Quadrados

(MQ). Este procedimento consiste em escolher β0 e β1 de modo que a soma dos
quadrados das diferenças entre os valores observados yi e os valores da reta em cada
valor de xi seja mínima. Para isso, considere n pares de observações (y1, x1), ..., (yn, xn)
e o modelo yi = β0+ β1xi + εi (i = 1, ..., n), do qual segue que εi = yi – β0 – β1xi . Assim,
n n
SQE = ∑ ε i2 =
i=1
∑ (yi – β0 – β1 xi)2.
i=1
Logo, para obtenção dos estimadores de β0 e β1 faz-se necessário diferenciar a

expressão acima com respeito à β0 e β1 e igualar as expressões resultantes a zero, isto é:
n n
∂SQE / ∂β0 = 2 ∑ (yi – β0 – β1xi )(2 – 1)(–1) = –2 ∑ (yi – β0 – β1xi ) = 0 (a)
i=1 i=1
n
∂SQE/ ∂β1 = –2 ∑ xi (yi – β0 – β1xi) = 0. (b)
i=1
Da expressão (a), avaliada em βˆ0 e β̂1 , segue que:

n n
∑ yi – n β̂ 0 – β̂1
i=1
∑ xi = 0
i=1
n n
– n β̂ 0 = – ∑ yi + β̂1 ∑ xi
i=1 i=1
n n
β̂ 0 = [ ∑ yi – β̂1
i=1
∑ xi ] / n.
i=1
E, portanto, βˆ 0 = y − βˆ1 x .
Similarmente, da expressão em (b) segue que:

n
∑ xi yi – β̂ ∑ xi – β̂ ∑ xi2 = 0
i=1
0
i
1
i
n n n
⇒ ∑ xiyi = β̂ ∑ xi + β̂ ∑ xi2
i=1
0
i=1
1
i=1
n n n
⇒ ∑ xiyi =
i=1
∑ xi ( y – β̂1 x ) + β̂1
i=1
∑ xi2
i=1
n n n n
⇒ ∑ xiyi = y
i=1
∑ xi – β̂1 x
i=1 i=1
∑ xi + β̂1 ∑ xi 2
i=1
n n n n
⇒ β̂1 = [ ∑ xiyi – y ∑ xi ] / [ ∑ xi2 – x ∑ xi].
i=1 i=1 i=1 i=1
n n n
∑ xi yi − n y x ∑ ( yi − y )( xi − x ) ∑ y (x − x) i i
S xy
Logo, βˆ1 = i =1
n = i =1
n = i =1
n = .
∑x i =1
i
2
− n x2 ∑ (x − x)
i =1
i
2
∑ (x − x)
i =1
i
2 S xx
1.6 Notação Matricial

Em notação matricial o MRLS amostral fica expresso por:
y = Xβ + ε.
Assim, ε = y – Xβ e SQE = ε’ε
= (y – Xβ)’(y – Xβ)
= y’y – y’Xβ – β’X’y + β’X’X β.
Como y’Xβ é um escalar, β’X’y = (y’Xβ)’ também o é e, sendo assim,
SQE = y’y – 2 β’X’y + β’X’X β.
Logo, ∂SQE / ∂β = 0 ⇒ –2 X’y + 2 X’X β̂ = 0 ⇒ X’X β̂ = X’y

βˆ
⇒ β̂ = (X’X)-1X’y , desde que (X’X) seja inversível.
1.6.1 Estimador de Mínimos Quadrados de σ2
Além dos parâmetros β0 e β1, existe outro parâmetro a ser estimado, a variância
dos erros εi denotada por σ2. Sua importância se deve ao fato de que se esta for
relativamente grande, as variâncias de β̂ 0 e β̂1 também serão grandes, conferindo a
estes estimadores pouca precisão.
Como os erros εi (i = 1, ..., n) são quantidades não observadas, a estimação de σ2
é feita com base nos resíduos que são definidos pela diferença dos valores observados e
preditos pelo modelo, isto é, ei = yi – ŷi . Assim, um estimador não-viciado para σ2 é
dado por:
n n
∑(y − yˆ i ) 2 ∑e
2
i i
S 2 = σˆ 2 = i =1
= i =1
n−2 n−2 .
SQres
= = QMres
n−2
(n − 2) σˆ 2
Como sob o MRLS ~ χ n2−2 segue que a variância de σˆ 2 é dada por:
σ 2
2(σ 2 ) 2
Var(σˆ 2 ) = .
n−2
1.7 Estimadores de Máxima Verossimilhança

Se a distribuição dos erros for assumida conhecida, um método alternativo para a
estimação dos parâmetros pode ser usado. Este método é o da máxima verossimilhança.
Desse modo, considere a amostra (yi, xi), i = 1, ..., n, e assuma que os erros εi no modelo
de regressão são i.i.d. N(0, σ2), bem como que Cov(εi, εj) = 0, i ≠ j. Consequentemente,
os yi’s serão variáveis aleatórias independentes e normalmente distribuídas com média
β0 + β1xi e variância σ2.
Para o MRLS com erro normal, a função de verossimilhança fica expressa por:
n
⎡ 1 ⎤
L(β0, β1, σ2) = ∏(2πσ 2 )−1/ 2 exp ⎢− 2 ( yi − β0 − β1xi )2 ⎥
i =1 ⎣ 2σ ⎦
⎡ 1 n ⎤
= (2 πσ 2 )−n/ 2 exp ⎢− 2 ∑ (yi − β0 − β1xi )2 ⎥ .
⎣ 2σ i=1 ⎦
Para obtenção dos estimadores de máxima verossimilhança dos parâmetros β0, β1 e
2
σ , devem ser encontrados os valores que maximizam L ou, equivalentemente, ln(L).
Exercício: Encontre os estimadores de máxima verossimilhança de β0, β1 e σ2.
1.8 Interpretação dos Parâmetros do Modelo

Estando satisfeitas as suposições do MRLS, os coeficientes β0 e β1 são
interpretados do seguinte modo:
a) Se a variação dos dados em X incluir x = 0, então o intercepto β0 é a resposta
esperada quando x = 0. Caso contrário, β0 não possui interpretação prática.
b) β1 é interpretado como a mudança na média da distribuição de Y produzida por uma
unidade de mudança em X.
No exemplo sobre idade e tempo de reação, a reta ajustada foi ŷi = 80,5 + 0,9xi
mostrada na Figura 1.3. Como a variação dos dados em X não inclui x = 0, não há
interpretação prática para β̂ 0 = 80,5 nesse caso. Por outro lado, β̂1 = 0,9 significa que a
cada aumento de 1 ano na idade, espera-se que o tempo de reação aumente, em média,

0,9 segundos. Assim, se x = 20 anos, por exemplo, y = 98,5. Similarmente se x = 21

anos, y = 99,4 e se x = 22 anos, y = 100,3. Logo, de 20 para 21 anos, o aumento no
tempo de reação aumenta, em média, 0,9 segundos. O mesmo ocorre de 21 para 22
anos.
Figura 1.3 Reta de regressão ajustada aos dados do exemplo sobre idade e tempo de reação.
Obs: A vantagem em se ajustar um modelo que possua determinadas suposições

satisfeitas é a possibilidade de se estimar o tempo de reação médio para um grupo de
pessoas com idade não observada, mas que esteja dentro da variação observada de X.
Ou seja, interpolações são viáveis, mas extrapolações não.
1.9 Propriedades do Ajuste de MQ

Os estimadores de MQ, β̂ 0 e β̂1 , possuem propriedades importantes. Dentre elas:
[1] β̂ 0 e β̂1 são combinações lineares das observações yi.

[2] β̂ 0 e β̂1 são não-viciados, isto é,
E( β̂ 0 ) = β0 e E( β̂1 ) = β1.
[3] As variâncias de β̂ 0 e β̂1 são, respectivamente,
⎡1 x 2 ⎤
Var( β̂ 0 ) = σ2 ⎢ n + S ⎥
⎣ xx ⎦
Var( β̂1 ) = σ2/Sxx,

n
em que Sxx = ∑ (xi – x )2.
i=1
[4] De acordo com o teorema de Gauss-Markov, os estimadores β̂ 0 e β̂1 associados ao

modelo yi = β0 + β1xi + εi com as suposições E(εi) = 0, V(εi) = σ2 e Cov(εi, εj) = 0 para
todo i ≠ j, são não-viciados e de mínima variância quando comparados com todos os
demais estimadores que são combinações lineares de yi.
[5] A soma dos resíduos, em qualquer modelo de regressão linear simples em que β0 ≠ 0
é sempre zero, isto é,
n
∑ ei = 0.
i=1
[6] A soma dos valores observados yi é igual a soma dos valores ajustados ŷi , ou seja,
n n
∑ yi =∑ yˆi .
i=1 i=1
[7] A reta de regressão obtida por MQ sempre passa pelo centróide ( y , x ) dos dados.
[8] A soma dos resíduos ponderada pelos correspondentes valores da variável regressora
X é sempre igual a zero, isto é,
n
∑ xi ei = 0.
i=1
[9] A soma dos resíduos ponderada pelos correspondentes valores ajustados é sempre
igual a zero, isto é,
n
∑ ŷ ei = 0.
i=1
i
CAPÍTULO 2
Adequação do Modelo de Regressão Linear
2.1 Introdução
Após estimar os parâmetros do MRLS é necessário verificar as seguintes
questões antes de adotá-lo para fazer inferências:
1a) Quão bem este modelo se ajusta aos dados?
2a) As suposições básicas estão satisfeitas? Isto é:
• A variável X é uma variável controlada e não sujeita às variações aleatórias?
• Para cada valor de X, os erros distribuem-se em torno da média, isto é, E(εi) = 0?
• Os erros têm a mesma variabilidade em todos os níveis de X, isto é,V(εi) = σ2?
• Os erros são não correlacionados? Isto é, Cov(εi, εj) = 0 para todo i ≠ j?
2.2 Análise de Variância (ANOVA)

Para verificar a adequação do modelo aos dados (1a questão), algumas técnicas
podem ser utilizadas. A análise de variância da regressão é uma dessas técnicas. Para
entendê-la, observe a decomposição apresentada na Figura 2.1, em que para i = 1, ..., n
tem-se:
(yi – y i) = diferença entre o valor observado e o valor ajustado

= desvio não explicado pela regressão de Y em X.
( y i – y ) = diferença entre o valor ajustado e a média dos y’s
= desvio explicado pela regressão.
(yi – y ) = diferença entre valor observado e a média dos y’s
= desvio total.
Figura 2.1 Diferenças entre os valores observados, ajustados e a média dos y’s.
A partir da Figura 2.1 tem-se, ainda, que (yi – y ) = ( y i – y ) + (yi – y i), para
i = 1,..., n. Logo, a variação total fica expressa por:
n n n
∑ (yi – y ) ∑ ( y i – y ) ∑ (yi – y i) .
2 2 2
= +
i =1 i =1 i =1
SQTotal SQRegressão SQResidual

n
∑ (xi – x ) .
2
A SQRegressão pode, também, ser expressa por SQReg = β̂ 21
i =1
De fato, ( y i – y ) = β̂ 0 + β̂1 xi – y = (como β̂ 0 = y – β̂1 x ) =

= y – β̂1 x + β̂1 xi – y = β̂1 (xi – x ).
n
Logo, SQReg = β̂ 21 ∑ (xi – x )2.
i =1
Se todos os pontos se ajustassem exatamente ter-se-ia y i = yi (i = 1, ..., n), bem

como SQRes = 0. Portanto, o interesse é que a SQRes (variância residual) seja pequena.
Para julgar se a SQRes é pequena, ou não, deve-se compará-la a SQTotal, o que
equivale a comparar os modelos:
yi = β0 + β1xi + εi e yi = β0 + εi para i = 1, .., n.
É possível, ainda, observar de SQReg = β̂ 21 ∑ (xi – x )2 que quanto maior for β̂
i
1
maior a diminuição na SQRes. Assim, pode-se analisar a adequação do modelo pela

análise de variância da regressão, geralmente apresentada como na Tabela 2.1 a seguir.
Tabela 2.1 Anova associada ao modelo de regressão linear simples.
F.V. g.l. S.Q. Quadrado Médio F valor p
Regressão p–1 SQReg SQReg /(p – 1) QMReg/QMRes Depende de F
Resíduos n–p SQRes SQRes /(n – p) = S2 ---
Total n–1 SQTotal SQTot /(n – 1) = S2Y ---
p = no de parâmetros e n = tamanho da amostra.
Uma maneira auxiliar de medir o lucro relativo devido ao modelo de regressão

yi = β0 + β1xi + εi é usar o coeficiente de determinação definido por:
R2 = SQreg / SQTotal,
em que 0 ≤ R2 ≤ 1 ou, equivalentemente, 0% ≤ R2 ≤ 100%. O coeficiente de

determinação, R2, nos fornece a porcentagem da variação total de Y explicada pela
variável X. Pode-se, ainda, obter R2 por R2 = r2, sendo r o coeficiente de correlação
amostral de Pearson.
A estatística R2 deve ser usada com cuidado, pois um valor alto de R2 não
implica necessariamente que o modelo de regressão seja um bom preditor linear.
Exemplo: Para os dados sobre tempo reação e idade, em que foi ajustado o
modelo ŷi = 80,5 + 0,9xi, tem-se a ANOVA apresentada na Tabela 2.2.
Tabela 2.2 Anova associada ao MRLS ajustado aos dados de idade e tempo reação.
Fonte Variação g.l. S.Q. Q.M. F valor p
Regressão 1 810 810,00 25,9 0,00008
Resíduos 18 563 31,28 ---
Total 19 1373 72,26 ---
R2 = 810/1373 = 0,59 = 59% e r = 0,768.
Observe que a redução na SQRes foi de 810 unidades ao quadrado, ou ainda, o

ganho em usar o modelo y = β0 + β1x + ε em vez do modelo y = β0 + ε foi de 59%.
Houve uma substancial redução na SQRes (de 1373 para 563). Assim, pode-se concluir
que a idade está explicando 59% da variação total ocorrida em Y (tempo de reação). A
variação restante, 41%, é devida a outros fatores (alguns possíveis de serem controlados
e outros não).
O teste F apresentado na Tabela 2.2 é outra forma de verificar a significância
estatística da redução na SQRes. Uma redução pequena ocorre quando β1 for zero (ou
próximo de zero). Portanto, as hipóteses sendo testadas são:
H0: β1 = 0 versus H1: β1 ≠ 0,
o que equivale a testar se a variável independente X ajuda, ou não, a prever a variável
resposta Y. Como F = 25,09 com p = 0,00008, conclui-se haver evidências estatísticas
para a rejeição de H0. Logo, a variável idade apresenta efeito significativo sobre o
tempo de reação, explicando parte da variação ocorrida no tempo de reação.
Atenção deve ser dada, agora, à 2a questão sobre as suposições feitas para os
erros. O uso de um modelo que não satisfaça tais suposições será de pouca utilidade e
acarretará baixa confiabilidade nos seus resultados, pois violações nas suposições
podem produzir um modelo instável no sentido que uma diferente amostra pode levar a
um modelo totalmente diferente e com conclusões opostas.
Para diagnosticar e tratar violações das suposições feitas para os erros, será feito
uso dos resíduos para derivar medidas da qualidade do modelo.
2.3 Análise dos Resíduos

2.3.1Resíduos Brutos
Os resíduos definidos por ei = yi – ŷi para i = 1, ..., n (diferença dos valores

observados e preditos pelo modelo) são usualmente denominados resíduos brutos.
Algumas propriedades associadas a esses resíduos são apresentadas a seguir.
[1] A esperança de um resíduo ei é igual a zero, isto é, E(ei) = 0.
De fato, E(ei) = E(yi – ŷi )

= E(yi) – E( ŷi )
= E(yi) – E( β̂ 0 + β̂1 xi )
= β0 + β1xi – (β0 + β1xi) = 0.
[2] A variância de um resíduo ei é dada por:
⎛ 1 ( x − x )2 ⎞
Var(ei ) = σ 2 ⎜⎜1 − − i ⎟ n
⎝ n S xx ⎟⎠ , com Sxx = ∑ (xi – x )2.

i=1
[3] A covariância entre os resíduos i e j (i ≠ j) é:
⎛ 1 ( x − x )( x j − x ) ⎞
Cov(ei , e j ) = −σ 2 ⎜⎜ + i ⎟⎟ .
⎝n S xx ⎠
⎛ 1 ( xi − x ) 2 ⎞ ⎛ 1 ( xi − x )( x j − x ) ⎞
⎜ ⎟⎟ ⎜⎜ + ⎟⎟
Logo, denotando hii = ⎜ n + S e hij = , segue que:
⎝ xx ⎠ ⎝n S xx ⎠
Var (ei ) = σ 2 (1 − hii ) para i = 1, ..., n
Cov (ei , e j ) = −σ 2 hij para i, j = 1, ..., n (i ≠ j ).
Sob a suposição de normalidade dos erros εi no MRLS, segue que Yi tem

distribuição normal e os resíduos, que são uma combinação linear dos yi’s também têm
distribuição normal, isto é,
ei ~ N(0, σ2(1 − hii)), i = 1, ..., n.
Um estimador para σ2 é dado por σˆ 2 = S2 = QMres. Como consequência da normalidade,

e dado que a covariância entre dois resíduos distintos é diferente de zero, segue que os
resíduos não são independentes. Os resíduos ei apresentam, ainda, variâncias diferentes
que dependem do valor de xi.
2.3.2 Tipos Usuais de Resíduos

Os três tipos de resíduos mais comumente utilizados são:
a) Resíduos brutos: ei = yi – y i, que têm média zero e variância σ2(1 − hii).

ei
b) Resíduos padronizados: zi = , que têm média zero e variância 1. Se o
σˆ (1 − hii )
2
MRLS for apropriado, zi segue distribuição aproximada t de Student (ou normal para n
grande). A distribuição não é exata devido ao fato de ei e σˆ 2 não serem independentes.
ei
c) Resíduos estudentizados: zi*= em que σˆ (2i ) é o QMRes do MRLS ajustado
σˆ (1 − hii )
2
(i )
sem a i-ésima observação. Assim, sob a hipótese de que o MRLS é adequado e visto
que ei e σˆ (2i ) são independentes, segue que zi* tem distribuição t de Student com (n–1–2)
graus de liberdade.
Para conjuntos de dados pequenos, os resíduos estudentizados são usualmente

mais apropriados. Quando n é grande existe pouca diferença entre os resíduos zi e zi*.
2.3.2 Análise Gráfica dos Resíduos

Diversos gráficos dos resíduos podem ser úteis na detecção de inadequações do
modelo. Alguns desses gráficos são descritos a seguir.
a) Gráfico dos resíduos versus valores ajustados: o gráfico dos resíduos brutos ei (ou
dos resíduos zi ou zi*) versus os correspondentes valores ajustados é útil para detectar:
heterogeneidade de variâncias; não-linearidade e pontos discrepantes. É possível
verificar também por meio desse gráfico se a média dos erros é zero. Os resíduos devem
sempre ser dispostos com os valores ajustados e não com os valores observados, porque
os ei e os yi (observados) são usualmente correlacionados. Espera-se, nesse gráfico, que
os resíduos estejam distribuídos aleatoriamente em torno de zero.
b) Gráfico dos resíduos versus xi: Este gráfico possui a mesma utilidade do anterior,
exceto que a escala horizontal é xi.
c) Gráfico dos resíduos versus ordem de coleta: se a sequência em que os dados
foram coletados for conhecida, pode-se utilizar o gráfico ei versus a ordem de coleta
para que seja possível observar se os erros em um período de tempo são correlacionados
com aqueles em outro período. A correlação em diferentes períodos de tempo é
denominada autocorrelação.
Para dados em que a variável resposta tem uma sequência natural sobre o tempo,
a suposição de erros não-correlacionados é frequentemente não apropriada. Modelos
para séries temporais tais como o AR, ARMA, ARIMA etc. são utilizados nesses casos.
Para detectar a presença de autocorrelação é possível, além do gráfico citado,
utilizar o teste de Durbin-Watson. As hipóteses consideradas nesse teste são:
H0: ρc = 0 (não existe autocorrelação) versus

Ha: ρc > 0 (autocorrelação positiva) ou Ha: ρc < 0 (autocorrelação negativa).
Quando for considerado Ha: ρc > 0, a estatística de teste a ser utilizada é:
n n
d= ∑ (et − e t-1 )2 /
t =2
∑e
t =1
2
t
em que et são os resíduos ordenados no tempo (t = 1, 2, ..., n). A decisão é tomada com
base em valores tabelados (Tabela A6, Montgomery e Peck (1992)). Esta tabela fornece
dois valores críticos: dL e dU e, de modo que:
i) se d < dL ⇒ Há evidências para rejeitar H0

d dL dU
ii) se d > dU ⇒ Não há evidências para rejeitar H0
dL dU d
iii) se dL ≤ d ≤ dU ⇒ Teste inconclusivo.
dL d dU
Se, contudo, a hipótese alternativa for Ha: ρc < 0, a estatística de teste utilizada
será d* = 4 – d. A regra de decisão é a mesma, considerando-se d* em vez de d.
d) Gráfico dos resíduos versus regressoras omitidas: claramente tal gráfico só poderá
ser considerado se os níveis da variável omitida forem conhecidos. Qualquer padrão
exibido nesse gráfico, que não o aleatório, indica que o modelo pode ser melhorado
adicionando a nova variável regressora.
e) Gráfico de probabilidade normal dos resíduos: se o interesse for a obtenção de
intervalos de confiança e testes de hipóteses, será necessário supor a normalidade dos
erros. Uma maneira simples de verificar tal suposição é por meio do gráfico de
probabilidade normal dos resíduos, o qual também é útil para a identificação de resíduos
discrepantes.
A suposição de normalidade pode também ser verificada de outras formas. Por

exemplo, pela construção do histograma dos resíduos ou por testes não-paramétricos
(ex: Shapiro-Wilks). Em relação ao histograma, pode haver dificuldades na
identificação da forma da distribuição normal quando o tamanho amostral for
relativamente pequeno.
2.4 Testes de Hipóteses e Intervalos de Confiança

Se o modelo de regressão linear ajustado for considerado adequado (análise de
variância e análise dos resíduos com resultados satisfatórios), é possível a obtenção de
intervalos de confiança, bem como a realização de alguns testes de hipóteses de
interesse.
2.4.1 Distribuições Amostrais e Intervalos de Confiança

Além das suposições E(εi) = 0, Var(εi) = σ2 e Cov(εi, εj) = 0 para todo i ≠ j, foi
visto que ao ser introduzida outra suposição para os erros, a de distribuição normal, isto
é, εi ∼ i.i.d N(0, σ2), tem-se que yi ∼ N(β0 + β1xi , σ2). Como β̂ 0 e β̂1 são combinações
lineares dos yi’s segue que:
Resultado 1 Os estimadores β̂ 0 e β̂1 seguem distribuição normal, isto é:
⎛ ⎡1 x 2 ⎤ ⎞
2⎢ + ⎥
β̂ 0 ∼ N ⎜β
⎜ 0, σ ⎣ n S xx ⎦ ⎠
⎝
β̂1 ∼ N (β1, σ2/Sxx), em que Sxx = ∑(xi – x )2.
i
⎛ 1 x2 ⎞
σ ⎜⎜ + ⎟⎟
2
( β̂ 0 – β0) /
Portanto:
⎝ n S xx ⎠ ∼ N(0,1)
σ2
( β̂1 – β1) / ∼ N(0, 1).
S xx
⎛ 1 x2 ⎞
S ⎜⎜ +
2
⎟⎟
Substituindo-se σ2 por seu estimador S2 tem-se: ( β̂ 0 – β0) / ∼ t n-2
⎝ n S xx ⎠
S2
( β̂1 – β1) / ∼ t n-2.
S xx
Resultado 2 Os intervalos de (1–α)100% de confiança para β0 e β1 são:

⎛ 1 x2 ⎞
S 2 ⎜⎜ + ⎟⎟
I.C.(β0) = β̂ 0 ± tα/2; n-2
⎝ n S xx ⎠
S2
I.C.(β1) = β̂1 ± tα/2; n-2
S xx
com Sxx = ∑ (xi – x )2 e S = (QMres)1/2.

i
No exemplo referente ao tempo de reação e idade tais intervalos resultaram em:

I.C.(β0) = [69,05; 91,95] e I.C.(β1) = [0,6; 1,2]. Note que o valor numérico zero não
pertence a nenhum dos dois intervalos de confiança, o que evidencia que tanto β0
quanto β1 são estatisticamente diferentes de zero ao nível de confiança de 95%.
Intervalos de confiança também podem ser utilizados para verificar hipóteses
tais como H0: β0 = c ou H0: β1 = c, para qualquer c ≠ 0.
Resultado 3 O intervalo para σ2 de (1– α)100% de confiança é obtido por:

I.C.(σ2) = [(n – 2)QMres / χ2(α/2; n–2); (n – 2)QMres / χ2(1-α/2; n-2)]
Resultado 4 A hipótese H0: β0 = 0 pode ser testada por meio da estatística:

⎛ 1 x2 ⎞
QMres⎜⎜ + ⎟⎟
t0 = ( β̂ 0 – β0 )/Sβ0 = β̂ 0 / ∼ t n-2
⎝ n S xx ⎠
Resultado 5 A hipótese H0: β1 = 0 pode ser testada por meio da estatística:
t1 = ( β̂1 – β1)/ Sβ1 = β̂1 / QMres ∼ t n-2

S xx
Observe no MRLS que (t1)2 = ( β̂ 21 Sxx)/QMres = SQreg/QMres = QMreg/QMres
é a estatística F que aparece na ANOVA. Assim, F = (t1)2.
No exemplo tem-se: t0 = 14,77 ( p <<< 0.01)

t1 = 5,09 ( p << 0.01)
e, portanto, há evidências em ambos os casos para a rejeição de H0.
Importante: A hipótese H0: β1 = 0 relata a significância da regressão. Assim,

• Se não há evidências para rejeição de H0, isto implica que não existe relação linear
significativa entre as variáveis X e Y. Lembre-se, contudo, que a ausência de relação
linear entre X e Y não implica que não exista outro tipo de relação entre as variáveis.
• Se há evidências para rejeição de H0: β1 = 0, isto pode significar que o modelo linear
de ordem um em X é adequado ou que, igualmente, existe um efeito linear de X em
Y. No entanto, resultados melhores talvez possam ser obtidos com a adição de outras
variáveis ou termos polinomiais de ordem maior em X.
2.4.2 Intervalos para E(Y) e para uma Nova Observação

Um dos interesses em relação ao modelo de regressão linear apresentado, é o de
estimar a variável resposta em algum nível específico de X. Por exemplo, qual é o
tempo de reação aos 28 anos de idade?
A estimativa pontual para essa pergunta será única. Já a estimativa por intervalo
dependerá se o interesse está: a) no tempo de reação esperado, E(Y), para um grupo de
indivíduos com x = 28 anos ou b) na predição de um valor Y0 não observado
correspondente a um indivíduo com X = x0 = 28 anos. Assim, segue que:
Resultado 6 Um estimador pontual para E(Y) em X = x e seu respectivo intervalo de

confiança são dados por:
ŷ = β̂ 0 + β̂1 x
⎛ ⎞
I.C.(E(Y)) = y ± t(α/2; n-2) QMres ⎜ 1 + ( x − x ) ⎟ .
2
⎜n S xx ⎟⎠
⎝
Resultado 7 O intervalo de predição em X = x0 para um valor futuro Y0 é dado por:
⎛ ⎞
I.C.(Y0) = ŷ0 ± t(α/2; n-2) QMres ⎜1 + 1 + ( x0 − x ) ⎟ ,
2
⎜ n S xx ⎟⎠
⎝
com ŷ0 = β̂ 0 + β̂1 x0 e Sxx = ∑(xi – x )2.
i
Para o exemplo:
• a) a estimativa do tempo de reação esperado para um grupo de indivíduos com x = 28
anos submetidos ao teste é de, em média, y = 105,7 minutos com correspondente
intervalo de 95% de confiança de I.C.(E(Y)) = (102,98; 108,43) minutos.
[ ]
102,98 105,7 108,43
• b) a estimativa do tempo de reação para um indivíduo com x0 = 28 anos que irá se
submeter ao teste é também ŷ0 = 105,7 minutos. No entanto, o intervalo de predição
correspondente é de (93,64; 117,46) minutos.
[ ]
93,64 105,7 117,46
Outro fato importante quanto aos intervalos de confiança e predição é que o

valor de X também influencia em suas amplitudes. Quanto mais o valor de X se afastar
da média x , mais amplo serão esses intervalos. A Figura 2.2 ilustra esse fato.
Figura 2.2 Reta ajustada (––) com bandas de confiança (.....) para E(Y)
e bandas de predição (- - -) para uma futura observação Y.
Note, também, que S2 depende da SQres. Assim, qualquer violação das

suposições dos erros ou qualquer má especificação do modelo pode prejudicar
seriamente a utilidade de S2 como estimador de σ2 e, consequentemente, os intervalos de
confiança e predição.
CAPÍTULO 3
Regressão Passando pela Origem
3.1 Introdução
Em algumas situações é razoável pensar que uma reta passando pela origem
(0,0) deve se ajustar bem aos dados. Um exemplo de tal situação é a de um experimento
químico em que a produção do processo é zero quando a temperatura for zero. Nem
sempre, contudo, tal conclusão óbvia é aplicável em regressão.
Como já foi dito anteriormente, o modelo de regressão é útil para a realização de
interpolações dentro da variação de X usada para ajustar o modelo e não para
extrapolações (valores de x fora da variação observada). Para ilustrar considere o
exemplo mostrado na Figura 3.1.
(a) modelo linear com β0 = 0 (b) modelo linear com β0 ≠ 0 (c) modelo não-linear
Figura 3.1 Exemplo em que três modelos alternativos são ajustados a um conjunto de dados.
Sabendo-se, neste exemplo, que para x = 0, y também é necessariamente igual à

zero, são apresentados na Figura 3.1 três modelos possíveis para esses dados. O modelo
com intercepto β0 = 0 apresenta ajuste visivelmente pobre, enquanto o modelo com
intercepto β0 ≠ 0 proporciona um melhor ajuste na região de variação de X observada
para esses dados. O modelo não-linear em (c) expressa a verdadeira relação entre X e Y.
Freqüentemente, a relação entre Y e X é muito diferente nas proximidades da
origem (0,0) quando comparada com a região de variação em que os dados foram
coletados. Então, se nosso interesse consiste em fazer predições para valores situados
nas proximidades da variação de X em que os dados foram coletados, o modelo em (b)

pode ser utilizado como uma boa aproximação da relação naquela variação. Agora, se
nosso interesse está em toda a variação de X, o modelo de regressão não-linear em X
(ou, ainda, um modelo linear para uma transformação em Y) deve ser mais apropriado
para expressar adequadamente a relação entre Y e X. Alternativamente, pode-se
também ajustar vários modelos e escolher um dentre eles com base na qualidade do
ajuste. Nesses casos, o QMRes poder ser utilizado como uma ferramenta útil de
comparação da qualidade do ajuste.
Outro exemplo que ilustra o perigo de extrapolações em regressão está
representado na Figura 3.2. Nesse exemplo, os dados foram coletados no primeiro
intervalo, sendo o comportamento no segundo intervalo desconhecido. Claramente, para
os dados do primeiro intervalo, poder-se ia ajustar um modelo de regressão linear
obtendo-se um bom ajuste e boas predições para Y nesse intervalo de X. No entanto, se
fossem coletados dados no segundo intervalo, seria observado um comportamento
bastante distinto daquele observado no primeiro intervalo. As predições seriam, assim,
totalmente incorretas para valores de X no segundo intervalo, caso o modelo ajustado
para o primeiro fosse utilizado.
Figura 3.2 Exemplo ilustrativo do perigo de extrapolações.
3.2 Modelo com Intercepto (0, 0)
Nas situações em que o modelo com β0 = 0 é adequado tem-se yi = β1xi + εi com

β̂1 = ∑ yi xi / ∑xi2
i i
E( β̂1 ) = β1
QMres
Var( β̂1 ) = sendo QMres = ∑(yi – y i)2 / (n – 1).
∑i
2
x i
i
Ainda,
a) I.C.(β1) = β̂1 ± tα/2; n-1 [QMres / ∑xi2]1/2
i
b) I.C.(E(Y)) = y ± tα/2; n-1 [x2 QMres / ∑xi2 ]1/2

i
c) I.C.(Y) = y ± tα/2; n-1 [QMres (1 + (x02 / ∑xi2 ))]1/2.

i
Note que o comprimento do I.C. em (b) para x = 0 é zero, pois o modelo assume
que a média em x = 0 é conhecida ser zero. Já no intervalo de confiança em (c), o
comprimento é diferente de zero, pois o erro aleatório em uma futura observação deve
ser levado em consideração.
Em um modelo com intercepto diferente de zero foi visto que:
∑ ( y − y)2
R = SQ Re g =
i
2 i .
SQTotal ∑ (y
i
i − y)2
Por analogia, para o modelo com intercepto = 0 segue que:

∑ y 2
R (0) = SQ Re g =
i
2 i
.
SQTotal ∑y i
i
2
Alguns softwares estatísticos calculam R2(0) como especificado acima. Contudo,

existe uma marcante diferença entre as expressões R2(0) e R2. No modelo com intercepto
zero, a variação descrita pelo numerador e denominador representam dispersões em
torno de zero e no modelo com intercepto não nulo as dispersões estão em torno da
média y . Logo, não se pode usar R2(0) e R2 para fazer comparações, já que existe uma
forte tendência de que R2(0) seja maior do que R2, o que não implica que a qualidade de
ajuste do modelo com intercepto nulo seja superior. Logo, decisão errônea e favorável
ao modelo com intercepto zero pode ser tomada se R2(0) e R2 forem comparados
diretamente.
Existem alternativas para o cálculo de R2 para o caso de intercepto nulo de modo
a se poder fazer comparações razoáveis entre os modelos com e sem intercepto. Uma
dessas alternativas é:
∑i ( yi − yi ) 2
R2(0)* = 1 –
∑ ( yi − y ) 2 i
(∑ yi xi ) 2
∑ ( y − yˆ ) = ∑ ( y − β̂ xi ) 2 = ∑ yi −
2 2
em que i
.
∑x
i i i 1 2
i i i i
i
Um problema ou limitação dessa alternativa de cálculo é que em algumas
situações em que se tenha ∑(yi – y i)2 relativamente grande, R2(0)* pode vir a apresentar
i
valor negativo.
CAPÍTULO 4
Outliers e Transformações de Variáveis
4.1 Introdução
Na literatura, observações atípicas recebem denominações diversas tais como:
outliers, observações discrepantes, observações aberrantes, observações surpreendentes,
observações influentes etc. O uso mais comum tem sido outliers. Como mostrado na
Figura 4.1, tais observações podem encontrar-se:
• na direção da variável dependente Y (observação A);

• na direção da variável independente X (observação B);
• ou em ambas as direções (observações C e D).
Figura 4.1 Representação de pontos atípicos
Alguns autores classificam as observações atípicas em:

a) outliers: somente as observações que são atípicas na direção de Y.
b) pontos de alavanca (ou de alavancagem) ruins: observações que são atípicas em
ambas as direções, isto é, em Y e X.
c) pontos de alavanca bons: observações atípicas na direção de X.
Se os pontos de alavanca possuem potencial de alavancagem alto são também
denominados pontos influentes contaminantes, no sentido de que eles terão influencia
na estimação dos parâmetros. Para simplificar, pode-se denominar outlier em X, outlier
em Y e outlier em X e Y.
Dependendo da localização, os outliers possuem efeito desde moderado até

muito sério no modelo de regressão estimado. Os gráficos dos valores de ei versus y i,
bem como o de probabilidade normal dos resíduos, são muito úteis na identificação
desses pontos. Resíduos consideravelmente grandes (três ou mais desvios-padrão da
média) são potenciais outliers.
Todo e qualquer outlier deve ser cuidadosamente investigado para que se
descubra a razão de seu comportamento não usual. Nos casos em que tenham ocorrido
erros de medição ou de digitação ou, ainda, falha no instrumento de medição, as
observações devem ser corrigidas (se possível) ou excluídas do conjunto de dados.
Se uma observação atípica é um valor particularmente desejável para a resposta
(preço baixo, alta produção etc.), o conhecimento do valor da variável regressora
quando aquela resposta foi observada pode ser extremamente útil, podendo inclusive
levar a descoberta de um fenômeno raro. Portanto, nem sempre a observação atípica
deve ser encarada como um valor ruim e muito menos ser automaticamente rejeitada.
O efeito de um outlier no modelo de regressão pode ser facilmente verificado
pela sua retirada e reajuste do modelo sem o mesmo, pois os coeficientes β0 e β1, bem
como as estatísticas t, F e R2 e a SQres são, em geral, extremamente sensíveis a esse
tipo de observação.
4.2 Teste para Falta de Ajuste (lack of fit)

Será visto agora um teste formal para a falta de ajuste de um modelo de
regressão. O procedimento assume que a normalidade, independência e variância
constante dos erros são válidas e que somente o modelo de 1a ordem em X é satisfatório.
Assim, seria útil determinar por meio de um teste, se existe uma curvatura presente
(ordem maior em X). O teste lack of fit (falta de ajuste) tem este objetivo e requer, para
sua aplicação, que se tenham medidas repetidas de Y para pelo menos um nível de X. A
estatística de teste para a falta de ajuste é expressa por:
F0 = SQLOF / (m – 2) = QMLOF
SQEP / (n – m) QMEP
m m ni
com SQLOF = ∑ n i (y i − ŷi ) 2 a SQ de falta de ajuste e SQEP =
i =1
∑∑ (y
i =1 j =1
ij − yi ) 2 a SQ do
o o
erro puro, m o n de níveis de X e ni o n de medidas observadas no i-ésimo nível.
Se a regressão linear de Y em X for verdadeira, então a estatística F0 segue
distribuição F com (m – 2) e (n – m) graus de liberdade. Portanto, se o p-valor associado
a F0 for suficientemente pequeno, pode-se concluir que a função de regressão é não-
linear em X. Se falta de ajuste for detectado, um modelo diferente se faz necessário,
como, por exemplo, o quadrático em X.
4.3 Violações nas Suposições dos Erros

Quando uma ou mais violações ocorrerem quanto às suposições requeridas para
os erros pode-se tentar o uso de transformações em Y, em X ou em ambas para
contornar ou amenizar o problema.
Uma suposição comumente violada é a de variâncias constante, usualmente
denominada homocedasticidade, que ocorre pelo fato da variável Y seguir, em geral,
uma distribuição de probabilidade em que a variância está funcionalmente relacionada
com a média. Algumas transformações usuais são apresentadas no Quadro 4.1 a seguir.
Quadro 4.1 Transformações usuais em Y.

Relação de σ2 com E(Y) Transformação Situação indicada
σ2 ≈ constante nenhuma --
σ2 ≈ E(Y) Utilizada para estabilizar a variância quando esta

Y’ = Y é proporcional à média dos Y’s (exemplo: dados
de contagem)
σ2 ≈ E(Y)[1 - E (Y)] Utilizada para estabilizar a variância quando os

Y’ = arcsen Y dados são proporções.
σ2 ≈ [E (Y)]2 Y’ = ln(Y) ou log(Y) Utilizada para estabilizar a variância quando esta

tende a crescer à medida que Y também cresce.
Em algumas situações pode também ajudar a
normalizar os dados.
σ2 ≈ [E (Y)]1/2 ou [E (Y)]-1 Y’ = Y2 Utilizada para estabilizar a variância quando esta

tende a decrescer com a média dos Y’s. Em
algumas situações pode também ajudar a
normalizar os dados.
σ2 ≈ [E (Y)]3 ou [E (Y)]4 1 Utilizada para estabilizar a variância, no sentido

1 de minimizar o efeito de valores muito altos de Y
Y’ = ou
Y Y
Geralmente, o efeito da transformação é pequeno se a variação dos valores de Y

é relativamente pequena (por ex., ymín/ymáx < 2 ou 3). Na maioria dos casos não há
razões a priori para suspeitar que a variância dos erros não seja constante. A primeira
indicação é obtida pela análise dos resíduos. Nesses casos, transformação apropriada
deve ser selecionada empiricamente ou por meio de um método analítico.
É importante detectar e corrigir a variância não constante dos erros. Se este
problema não for solucionado, os estimadores de quadrados mínimos ainda serão não-
viciados, mas não conservam a propriedade de mínima variância.
Quando a variável resposta sofrer uma transformação, os valores preditos estarão
na escala transformada. Para converter os valores preditos para a unidade original é
usual a aplicação da transformação inversa. O mesmo procedimento é feito para os
intervalos de confiança. Contudo, não existe segurança de que esses intervalos sejam os
menores intervalos possíveis. Assim, por exemplo:
Transformação usada Transformacão inversa

Y*= ln(Y) Y = exp{Y*}
Y*= log(Y) Y = 10Y*
Y* = (Y)1/2 Y = (Y*)2
4.4 Método para Selecionar uma Transformação em Y

Muitas transformações são escolhidas empiricamente, porém técnicas formais
podem ser aplicadas para ajudar na escolha de uma transformação apropriada. Uma
classe útil de transformações para Y é a transformação potência Yλ em que λ é o
parâmetro a ser determinado. Box e Cox mostraram como λ pode ser estimado. O
procedimento utilizado é o seguinte:
(1o. passo) Ajustar o modelo para vários valores de λ obtendo-se as SQres(λ), isto é a
SQres para cada um dos λ usados. Note que as SQRes(λ) não são comparáveis
diretamente caso seja utilizado os resultados das regressões de Yλ em X porque para
cada λ, a SQRes é medida em uma escala diferente. Para que a comparação das SQRes
seja possível deve-se utilizar para cada λ escolhido:
Y(λ) = (Yλ -1) /( λ y λ−1) para λ ≠ 0
y ln(Y) para λ = 0,
n n
em que y = ln-1[(1/n) ∑ ln y i] = exp[(1/n) ∑ ln y i].
i =1 i =1
Como ilustração, considere os resultados das SQRes(λ) de regressões de Y(λ) em

X de um exemplo em que n = 53.
λ SQres(λ)
- 2,0 34101,00
- 1,0 986,00
- 0,5 291,60
0,0 134,10
0,5 96,95 *
0,7 98,00
1,0 127,00
Observe que os valores das SQres(λ) decrescem e depois crescem novamente. O

menor valor da SQres(λ), que representa aqui o ponto de mínimo, ocorre para λ = 0,5.
No gráfico apresentado na Figura 4.2 é possível visualizar este fato.
SQres(λ)
104,62 SS*
L.I. 0.5 L.S. λ
Figura 4.2 SQRes para diversos valores de λ.
(2o.passo) Calcular I.C. para o λ que nos fornece a menor SQres. Este I.C. é obtido
graficamente calculando-se SS* = SQres(λ)[1 + (tα/2; r / r)], em que r = n – p (n =
tamanho da amostra e p = no de parâmetros estimados). Com o valor obtido em SS*
traçar uma reta paralela ao eixo λ obtendo-se, assim, os limites inferior e superior do
I.C. (Figura 4.2). Caso o I.C. não contenha o valor numérico 1 (um), conclui-se que a
transformação é útil.
Supondo α = 0.05, tem-se para o exemplo mencionado SS* = 104,62, de modo

que o I.C. para λ obtido graficamente será [0,26; 0,80]. Conclui-se, assim, que a
transformação Y’ = Y1/2 é útil. A ocorrência de λ = 0 implica na transformação ln(Y).
4.5 Transformações para Obtenção de uma Reta

A suposição de relação linear entre Y e X é o ponto principal em análise de
regressão linear. Existem situações, no entanto, em que esta relação não é apropriada,
sendo possível, contudo, em muitos casos, usar uma transformação conveniente de
modo a se ter uma relação linear. Diversas funções linearizáveis, bem como suas
transformações são apresentadas no Quadro 4.2.
Quadro 4.2 Algumas transformações para obtenção de modelos lineares.
Funções linearizáveis Transformações Forma linear
Y = β0 x β1 Y’ = log(Y) e x’ = log(x) Y’ = log(β0) + β1 x’
Y = β0 * exp(β1x) Y’ = ln(Y) Y’ = ln(β0) + β1 x
Y = β0 + β1 log(x) x’ = log(x) Y’ = β0 + β1x’

x 1 1
Y= Y’ = e x’ = Y’ = β0 + β1x’
β 0 x − β1 y x
4.6 Método para Selecionar uma Transformação em X

Suponha que a relação entre Y e X seja não-linear, mas que as usuais suposições
(normalidade, independência e variância constante) são pelo menos aproximadamente
satisfeitas. Nesses casos, pode ser útil selecionar uma transformação apropriada para a
variável regressora de modo que a relação entre Y e a regressora transformada seja tão
simples quanto possível. Box e Tidwell (1962) apresentaram um procedimento analítico
para determinar a forma da transformação em X. A aplicação desse procedimento em
modelos de regressão linear é apresentada a seguir.
• Procedimento de Box-Tidwell
Assuma que a variável resposta Y esteja relacionada a uma potência da
regressora, digamos ξ = Xα , como: Y = β0 + β1ξ + ε, em que ξ = Xα para α ≠ 0 e ξ =
ln(X) para α = 0, e β0, β1 e α são parâmetros desconhecidos:
a) Considere como chute inicial α0 = 1, de modo que ξ0 = X, e obtenha os
parâmetros estimados β̂ 0 e β̂1 por Quadrados Mínimos.
b) Uma melhora para o chute inicial pode ser obtida definindo-se uma 2a variável
regressora como W = X ln(X), estimando-se os parâmetros por QM em Y = β *0
+ β1* X + γW + ε. Tome α1 = [ γ / β̂1 ] + 1 como uma estimativa melhorada de α.
c) Repetir o procedimento obtendo-se α2 = [ γ / β̂1 ] + α1 e, assim sucessivamente,
até o procedimento convergir.
Obs: Box e Tidwell notaram que este procedimento converge muito rapidamente, sendo
o resultado obtido no 1o estágio freqüentemente satisfatório.
Problemas de convergência podem ocorrer nos casos em que o erro-padrão de σ
for muito grande, ou quando a variação das regressoras for muito pequena comparado às
suas médias. Cuidado deve também ser tomado com erros de arredondamento. Estes
podem levar aos sucessivos valores de α oscilando amplamente.
Obs: Para mais detalhes do método, bem como ilustração, ver Montgomery e Peck (1992).
4.7 Mínimos Quadrados Ponderados (MQP)

Foi visto que transformações em Y podem ser úteis na redução ou eliminação de
variâncias desiguais dos erros, isto é, da heterocedasticidade de variâncias. Uma
alternativa freqüentemente útil é a estimação por Mínimos Quadrados Ponderados.
Em regressão linear simples, o método de quadrados mínimos atribui a cada
observação yi pesos iguais. O método de mínimos quadrados ponderados atribui pesos
diferentes (o qual denotaremos por wi) a cada observação yi. Assim, tem-se:
n
SQ = ∑
i =1
wi (yi – β0 – β1xi)2
em que wi é o peso da i-ésima observação. Diferenciando-se tal SQ com respeito aos

parâmetros β0 e β1, e igualando-se as equações resultantes a zero segue que:
n n n
β̂ 0 = [ ∑ wi yi – β̂1 ∑ wi xi] / ∑ wi
i=1 i=1 i=1
n n n n n n
β̂1 = [ ∑ wi xi yi – ∑ wi xi ∑ wi yi] / [ ∑ wi xi 2 – (( ∑ wi xi )2 / ∑ wi)]
i=1 i=1 i=1 i=1 i=1 i=1
σ2i(εi) = σ2i(Yi) = σ2/ wi
Em notação matricial tem-se βˆ = (X’WX)-1X’Wy e σ2( βˆ ) = σ2(X’WX)-1, bem como

n
s2( β̂ ) = QMres (X’WX)-1 com QMres = ∑ wi (yi – ŷi ) / (n – p).
i=1
4.7.1 Pesos (wi)
Como σ2i são raramente conhecidos, são apresentados a seguir dois métodos
para sua obtenção.
1o) Algumas vezes a variância dos erros em um modelo de regressão varia com o nível
de uma variável independente de modo sistemático. Em regressão linear simples, por
exemplo, a relação e os pesos sugeridos podem ser um dos seguintes:
(a) σ2i = σ2 Xi ⇒ σ2 = σ2i / Xi ⇒ wi = 1 / Xi
(b) σ2i = σ2 Xi2 ⇒ σ2 = σ2i / Xi2 ⇒ wi = 1 / Xi2
(c) σ2i = σ2 Xi1/2 ⇒ σ2 = σ2i / Xi1/2 ⇒ wi = 1 / Xi1/2

2o) Quando as variâncias dos erros variam com o nível de uma variável independente,
mas não em um padrão regular, os casos são agrupados em pequenos grupos, digamos k
grupos, de acordo com os níveis da variável independente. As variâncias dos resíduos
são calculadas para cada grupo k e toda observação yi em cada grupo recebe um peso o
qual é o recíproco da variância estimada para aquele grupo, isto é, wi = 1/Si2 para i = 1,
2, .., k.
Este é um método aproximado para a atribuição de pesos e pode ser útil quando
a análise de resíduos indica diferenças maiores nas variâncias dos erros.
Na análise gráfica dos resíduos devem ser analisados os gráficos:
( wi )(ei) versus ( wi )( y i ) e/ou
( wi )(ei) versus ( wi )(xi)
para verificar se o uso de Mínimos Quadrados Ponderado (MQP) melhorou o ajuste
corrigindo o problema de desigualdade de variâncias.
CAPÍTULO 5
Regressão Linear Múltipla
5.1 Introdução
A análise de regressão linear múltipla pode ser vista como uma extensão da
análise de regressão linear simples em que, agora, se tem um conjunto de variáveis
independentes. Tratar com diversas variáveis independentes simultaneamente em uma
análise de regressão é, em geral, mais complexo do que com uma única variável
independente (regressora) por algumas das seguintes razões:
• é mais difícil escolher um bom modelo;
• não é possível visualizar graficamente o modelo ajustado na presença de mais do
que duas variáveis independentes (regressoras);
• algumas vezes é difícil interpretar as estimativas dos parâmetros do modelo de
regressão escolhido.
Em geral, o objetivo ao se ajustar um modelo de regressão linear múltipla é o de
predizer a variável resposta por meio das variáveis independentes. Em diversas
situações, predições da variável resposta realizadas por meio de uma única variável
independente são muito imprecisas e, sendo assim, modelos com mais de uma variável
independente serão analisados na tentativa de melhorar tais predições. Dentre um
conjunto possível de variáveis independentes, a intenção é escolher um subconjunto que
produza um bom modelo, isto é, um modelo parcimonioso que forneça estimativas
precisas da variável resposta e que faça sentido prático, uma vez que nem sempre o
modelo escolhido, em termos estatísticos, é aplicável ou faz sentido na prática. O
conhecimento do problema sob análise e a interação com o pesquisador são
imprescindíveis para a escolha do modelo final.
Formalmente, para o ajuste de um modelo de regressão linear múltipla, a
variável resposta e as variáveis independentes, deveriam ser contínuas. Na prática,
contudo, algumas das variáveis independentes (regressoras) podem ser de outra
natureza. As categóricas, por exemplo, são incorporadas ao modelo por meio de
variáveis indicadoras (dummy).
5.2 Modelo de Regressão Linear Múltipla (MRLM)

Considerando-se duas variáveis independentes (regressoras) X1 e X2, o modelo
de regressão linear múltipla fica expresso por Y = β0 + β1x1 + β2x2 + ε e é denominado
modelo de primeira ordem, por ser linear nos parâmetros e nas regressoras.
Assumindo E(ε) = 0 tem-se, para valores fixos x = (x1, x2) de X = (X1, X2), que
E(Y) = β0 + β1x1 + β2x2, que geometricamente descreve um plano (superfície de
resposta). A cada ponto nesse plano tem-se a esperança de Y, E(Y), em uma dada
combinação dos níveis de X1 e X2.
Um outro exemplo de modelo de regressão linear múltipla é dado por qualquer
polinomial de ordem ≥ 2. Logo, em um MRLM, o termo linear refere-se à linearidade
dos parâmetros e não das regressoras.
5.2.1 Interpretação dos Parâmetros na Ausência de Interações
Seja o modelo Y = β0 + β1 x1 + β2 x2 + ε. Nesse caso, tem-se:

• O parâmetro β0 é o intercepto do plano da regressão. Se a extensão do modelo
incluir o ponto x = (x1, x2) = (0, 0), o parâmetro β0 fornece a resposta esperada
nesse ponto. Caso contrário, não possui significado como um termo isolado no
modelo de regressão.
• O parâmetro β1 indica a mudança ocorrida na esperança de Y a cada unidade de
mudança em X1 quando X2 é mantida fixa.
• Similarmente, β2 indica a mudança ocorrida na esperança de Y a cada unidade de
mudança em X2 quando X1 é mantida fixa.
Exemplo: Seja ŷ = 20 + 0,95x1 – 0,5x2 e suponha X2 fixo em x2 = 20 de modo que ŷ =

10 + 0,95x1. Então, β̂1 = 0,95 indica que a cada acréscimo de uma unidade em X1, é
esperado um acréscimo em Y de 0,95 unidades, desde que o valor de X2 seja mantido
fixo em 20. O mesmo é verdadeiro para qualquer outro valor fixo de X2. Similarmente,
β̂ 2 = – 0,5 indica que o decréscimo esperado em Y é de 0,5 unidades a cada acréscimo
de uma unidade em X2, desde que o valor de X1 permaneça fixo.
Em regressão linear múltipla os parâmetros β1 e β2 são usualmente denominados
coeficientes de regressão parciais por refletirem o efeito parcial de uma variável
independente quando a outra variável está no modelo e é mantida fixa.
De modo geral, a resposta Y pode estar associada a k regressoras X1, ..., Xk e,
sendo assim, o MRLM, para X = x, fica expresso por:
Y = β0 + β1 x1 + β2 x2 + ....... + βp xk + ε
k
Y = β0 + ∑ β j x j + ε.
j =1
k
Assumindo que E(ε) = 0, segue que E(Y) = β0 + ∑ β j x j , que descreve um
j =1
hiperplano no espaço k-dimensional das variáveis regressoras Xj (j = 1, ..., k).

A interpretação dos parâmetros é análoga ao caso de duas regressoras, ou seja, o
parâmetro βj (j = 1, ..., k) indica a mudança esperada em Y a cada acréscimo de uma
unidade em Xj, mantendo fixas as demais regressoras.
Obs: Os modelos de regressão de primeira ordem apresentados mostram regressoras

cujos efeitos na esperança de Y são aditivos e, portanto, não interagem. Considerando
k = 2, isto significa que o efeito de X1 na esperança de Y não depende dos níveis de X2
e, analogamente, o efeito de X2 não depende dos níveis de X1. As duas regressoras,
nesse caso, são ditas apresentarem efeitos aditivos ou não interagirem.
5.2.2 Interpretação dos Parâmetros na Presença de Interações

Considere, agora, o modelo de regressão linear com duas regressoras X1 e X2
dado por Y = β0 + β1x1 + β2x2 + β3 x1x2 + ε, em que a notação x1x2 representa a interação
entre as regressoras X1 e X2. Se esta interação for significativa, então o efeito de X1 na
esperança de Y depende do nível de X2 e, analogamente, o efeito de X2 na esperança de
Y depende do nível de X1. Assim,
• quando X2 for mantida fixa tem-se a cada unidade de mudança em X1, uma mudança
na esperança de Y de β1 + β3 x2 unidades e, similarmente,
• quando X1 for mantida fixa tem-se a cada unidade de mudança em X2, uma mudança
na esperança de Y de β2 + β3 x1 unidades.
5.3 Representação Matricial do MRLM

Para uma amostra de tamanho n, em que para valores prefixados de X têm-se
observações independentes de Y, a representação matricial do modelo de regressão
linear múltipla amostral com k regressoras é dada por:
y = Xβ + ε
⎡ y1 ⎤ ⎡1 x11 x12 " x1k ⎤ ⎡β0 ⎤ ⎡ε1 ⎤

⎢y ⎥ ⎢1 x x22 " x2 k ⎥⎥ ⎢β ⎥ ⎢ε ⎥
em que y = ⎢ 2⎥
, X = ⎢ 21
,β= ⎢ 1⎥ e ε = ⎢ 2⎥ ,
⎢#⎥ ⎢# # # " # ⎥ ⎢#⎥ ⎢#⎥
⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥
⎣ yn ⎦ ⎣1 xn1 xn 2 " xnk ⎦ ⎣β k ⎦ ⎣ε n ⎦
com p = k + 1 o número de parâmetros, y o vetor associado à variável resposta, X uma
matriz de constantes, β o vetor de p parâmetros desconhecidos e ε o vetor de erros tal
que ε ∼ Normal com E(ε) = 0 e matriz de variância-covariância Σ(ε) = σ2 I.
De acordo com o modelo e suposições, segue que y ∼ NM(Xβ, σ2I), visto que
E(Y) = Xβ e Σ(Y) = σ2 I.
5.4 Estimação dos Parâmetros por Quadrados Mínimos

Similar ao MRLS, os estimadores dos parâmetros por QM também são obtidos
em regressão múltipla minimizando-se a soma de quadrados dos erros, isto é,
⎡ε1 ⎤
n ⎢ε ⎥
SQerros = ∑ εi 2 = ε12 + ε22 + ...+ εn2 = [ ε1 ε2 ..... εn ] ⎢ 2 ⎥ = ε’ε = (y – Xβ)’(y – Xβ) =
i =1 ⎢#⎥
⎢ ⎥
⎣ε n ⎦
= y’y – y’Xβ – β’X’y + β’X’X β = y’y – 2β’X’y + β’X’X β,
pois y’Xβ é um escalar, bem como β’X’y = (y’Xβ)’ também o é. Assim, y’Xβ = β’X’y.
Derivando-se, então, a SQerros em relação a β obtém-se ∂SQerros/∂β = – 2X’y +
2X’Xβ, que igualada a zero e avaliada em β̂, resulta em
β̂ = (X’X)-1X’y,
desde que (X’X) seja possua inversa, fato este que ocorre quando as regressoras forem
linearmente independentes. Analogamente ao que foi visto em regressão linear simples,
o estimador de QM, βˆ , também é estimador de máxima verossimilhança.
5.5 Valores Ajustados ou Preditos e Resíduos

Seja yˆ o vetor de valores ajustados (ou preditos) e e o vetor dos resíduos. Em
termos matriciais, tem-se para esses vetores que:
ŷ = X βˆ = X (X’X)-1 X’y. Se considerarmos H = X(X’X)-1X’,
ŷ = H y
matriz H é usualmente denominada matriz chapéu
e, ainda,
e = y – ŷ (como ŷ = X βˆ )
e = y – X β̂ (como X βˆ = Hy)
e = y – Hy = (I – H)y (considerando (I – H) = M)
e = My. matriz de projeção
5.6 Propriedades dos Estimadores de MQ

O estimador βˆ apresenta todas as propriedades do caso linear simples, ou seja:
[1] βˆ é não-viciado, isto é, E( βˆ ) = β.
[2] β̂ é não-viciado de mínima variância e sua matriz de variâncias-covariâncias é dada

por Σ( β̂ ) = σ2(X’X)-1
⎡C11 C 12 " ⎤
C1,k +1
⎢C C22 " ⎥
C2,k +1
em que, considerando-se C = (X’X) = ⎢ ⎥ , tem-se
-1 21
⎢ # # " # ⎥
⎢ ⎥
⎣Ck1 Ck 2 " Ck +1,k +1 ⎦
Var( β̂ j ) = σ 2 C j+1, j+1 (j = 0, 1, ..., k) e Cov( β̂ m , β̂ j ) = σ 2 C m +1, j+1 (m, j = 0, 1, ..., k), m ≠ j.
[3] Ainda, assumindo os erros εi (i = 1, .., n) i.i.d. e normalmente distribuídos, segue que
β̂ é também estimador de máxima verossimilhança do vetor de parâmetros β e, desse
modo, βˆ é não-viciado, de mínima variância, consistente e suficiente.
5.7 Estimador de σ2
Assim como em regressão linear simples, é possível obter um estimador para σ2
utilizando-se a soma de quadrados dos resíduos dada por:
n n
SQres = ∑ ( y − yˆ ) i i
2
= ∑ ei 2 = e’e = (y – X β̂ )’(y – X βˆ ) = y’y – 2 β̂ ’X’y + βˆ ’X’X β̂ .
i =1 i =1
Como X’X β̂ = X’X (X’X)-1 X’Y = X’y segue que SQres = y’y – βˆ ’X’y,
que possui (n – p) graus de liberdade associados, visto que p parâmetros são estimados
no modelo de regressão. Tem-se, assim, o quadrado médio dos resíduos definido por:
QMres = SQres/(n – p),
em que é possível mostrar que E(QMres) = σ2. Logo, um estimador não-viciado de σ2 é:
σ 2 = S2 = QMres.
5.8 Análise de Variância (ANOVA)

Em termos matriciais, as somas de quadrados ficam expressas por:
SQres = y’y – βˆ ’X’y

2
⎛ n ⎞
⎜ ∑ yi ⎟
SQreg = β ’X’y – n y = β ’X’y – ⎝ i=1 ⎠
ˆ 2 ˆ
n
2
⎛ n
⎞
⎜ ∑ yi ⎟
SQtotal = y’y – n y 2 = y’y – ⎝ i=1 ⎠ .
n
De fato,
n n n n n
i) SQtotal = ∑ ( yi − y ) 2 =∑ ( yi2 − 2 yi y + y 2 ) = ∑ yi2 − 2 y ∑ yi + ∑ y 2
i =1 i =1 i =1 i =1 i =1
2
⎛ ⎞ n
∑ ⎜ ∑ yi ⎟
n
n y
= ∑y
i =1
2
i + 2ny i =1 i
n
+ ny = y’y – n y =
2 2
y’y – ⎝ i=1 ⎠ .
n
2
⎛ n ⎞
⎜ ∑ yi ⎟
ii) SQreg = SQtotal – SQres = y’y – n y – (y’y – βˆ ’X’y) = β̂ ’X’y – n y = βˆ ’X’y – ⎝ i=1 ⎠ .
2 2
A tabela de análise de variância fica, então, representada do seguinte modo:

Tabela 5.1 Tabela da análise de variância associada ao modelo de regressão múltipla.
F.V. S.Q. g.l. Q.M. F p-valor
2
Regressão β̂ ’X’Y – n y p–1 SQreg/(p – 1) QMreg/QMres depende de F
Resíduos y’y – βˆ ’X’y n–p SQres/(n – p) -- --
Total y’y – n y
2
n–1 -- -- --
n = tamanho amostral e p = número de parâmetros.
O teste F mostrado na Tabela 5.1, testa a existência de regressão linear entre a

variável resposta Y e o conjunto de regressoras X1, ...., Xk. Formalmente as hipóteses
sob teste são:
H0: β1 = β2 = .... = βk = 0
Ha: pelo menos um βj (j = 1, ..., k) difere de zero.
Assim como em regressão linear simples, outra medida possível de ser utilizada
é o coeficiente de determinação múltiplo, denotado por R2, e expresso por:
SQreg SQres
R2 = = 1− .
SQtotal SQtotal
Este coeficiente varia entre 0 e 1 e mede a redução proporcional da variação

total de Y associada ao uso do conjunto de variáveis X1, ..., Xk. R2 assume valor zero
quando βj = 0 (j = 1, ..., k) e assume valor um quando todas as observações caem
diretamente na superfície de resposta, isto é, quando yi = ŷi para todo i.
Comentários
• Um valor de R2 grande não implica necessariamente que o modelo ajustado seja útil.
Outros aspectos precisam ser avaliados (suposições, parcimonia e sentido prático do
modelo, dentre outros).
• Adicionar mais variáveis independentes ao modelo pode somente aumentar R2 e
nunca reduzí-lo, pois a SQres não pode tornar-se maior com mais variáveis
independentes e a SQtotal é sempre a mesma para um certo conjunto de dados. Como
R2 pode tornar-se grande pela inclusão de um grande número de variáveis
independentes, é sugerido que se faça uso de uma medida modificada, o coeficiente
de determinação múltiplo ajustado, denotado por R2a, que ajusta R2 dividindo cada
soma de quadrados por seus graus de liberdade associados. Tem-se então:
SQres /(n − p) (n − 1)SQres
R2a = 1 – = 1− .
SQtotal /(n − 1) (n − p)SQtotal
Note que o coeficiente R2a pode tornar-se menor quando uma variável
independente for adicionada ao modelo, pois o decréscimo na SQres pode ser
compensado pela perda de graus de liberdade do denominador (n – p). Se R2 e R2a
diferirem muito um do outro, então existe grande chance de que o modelo tenha sido
superespecificado, isto é, termos que contribuem não significativamente para o ajuste
devem ter sido incluídos desnecessariamente. Avaliar R2 e R2a é, desse modo, de grande
utilidade no processo de seleção de variáveis, especialmente nos casos em que há um
número grande de regressoras disponíveis.
Em um MRLM, é possível também obter o coeficiente de correlação múltipla

entre Y e o conjunto de regressoras X1, ...Xk, isto é:
r=+ R2
sendo R2 o coeficiente de determinação múltiplo apresentado anteriormente. Esse
coeficiente é uma generalização do coeficiente de correlação linear simples entre duas
variáveis fornecendo, desse modo, a correlação linear entre Y e o conjunto de variáveis
X1, X2, ...Xk.
5.9 Diagramas de Dispersão

Em regressão linear simples, o diagrama de dispersão é certamente uma
ferramenta importante para analisar a relação entre Y e X. Poder-se-ia, então, pensar
que esta ferramenta também seria igualmente útil em regressão linear múltipla, de modo
que a análise visual dos gráficos de Y versus X1, Y versus X2, ..,Y versus Xk pudesse
ajudar a acessar as relações entre Y e cada variável independente. Infelizmente isto, em
geral, não é verdadeiro. Para discutir esse fato, considere os dados a seguir que foram
gerados a partir da equação Y = 8 – 5X1 + 12 X2.
Y X1 X2
10 2 1
17 3 2
48 4 5
27 1 2
55 5 6
26 6 4
9 7 3
16 8 4
Para esses dados, observe, a partir da Figura 5.1, que o diagrama de dispersão de
Y versus X1 não exibe uma relação aparente entre essas duas variáveis. Já o diagrama de
Y versus X2, indica uma relação linear positiva com inclinação de aproximadamente 8.
Ambos os diagramas conduzem, portanto, a informações errôneas a respeito da relação
existente entre Y e X1, bem como entre Y e X2.
Figura 5.1 Diagramas de dispersão de Y versus X1 e Y versus X2.
Como exemplificado, os diagramas de dispersão de Y versus Xj (j = 1, ..., k)

podem gerar enganos quando duas variáveis regressoras atuam em Y de modo aditivo e
sem ruído (erro). Situações mais realísticas com diversas variáveis regressoras e erros
nos Yi’s podem, portanto, produzir enganos ainda maiores.
Na presença de apenas uma variável regressora dominante, o correspondente
diagrama de dispersão geralmente revelará isto. Contudo, quando diversas regressoras
são importantes, ou quando as regressoras estiverem relacionadas entre si, esses
diagramas não serão muito úteis.
5.10 Intervalos de Confiança

5.10.1 Intervalo de Confiança para os Coeficientes da Regressão
Na obtenção de intervalos de confiança dos coeficientes da regressão βj (j = 0,

1,.., k), tem-se, em decorrência da suposição de que εi ∼ N(0; σ ), i = 1, ..., n, que:
2
yi ∼ N(β0 + ∑ β j xij , σ2) i = 1, .., n.

j =1
Como βˆ é não-viciado e é uma combinação linear dos yi’s segue que:
β̂ ∼ NM(β, σ2 (X’X)-1).
Logo,
β̂ j ∼ N(βj , σ2 Cii ) para j = 0, 1, ..., k e i = j + 1
sendo Cii o i-ésimo elemento da diagonal principal da matriz (X’X)-1.
β̂ j − β j
Assim, ∼ t(n – p) para j = 0, 1,..., k e i = j + 1,
σˆ 2Cii
com p o número de parâmetros do modelo ajustado e σ 2 = QMres.
Portanto, um intervalo de confiança de (1-α)100% para βj (j = 0, 1,..., k) é dado

por:
β̂ j ± tα/2, n– p σ 2 Cii .
Usualmente σ 2 Cii é chamado erro-padrão do coeficiente de regressão β̂ j . Note que se

o valor zero pertencer ao I.C., haverá evidências de que o parâmetro βj não é
estatisticamente significativo ao nível de significância α.
5.10.2 Intervalo de Confiança para a Resposta Esperada (E(Y))

Seja xi’ = (1, xi1, xi2, ...., xik) o vetor correspondente a i-ésima linha de X. Sob o
MRLM, o estimador de QM da esperança de Y, E(Y), em xi é dado por:
ŷi ˆ
= xi’ β .
Este estimador tem distribuição normal com média xiβ e variância σ̂ 2 xi’(X’X)-1xi, de
modo que um intervalo de confiança de (1-α)100% para xi’β é dado por:
± tα/2, n– p ( σ̂ xi (X’X) xi)

ŷi 2 ’ -1 1/2
.
5.11 Testes de hipóteses

5.11.1 Teste: Significância da Regressão
Para testar a significância da regressão, isto é, testar a existência de relação
linear entre Y e pelo menos uma variável regressora X1, X2, ...., Xk, pode ser utilizado o
teste F apresentado anteriormente na tabela da ANOVA, cuja estatística de teste é:
F = QMreg / QMres
e que, sob H0 tem distribuição F(p – 1; n – p). Se H0 for rejeitada, haverá evidências de que
pelo menos um βj difere de zero.
5.11.2 Testes: Coeficientes Individuais da Regressão

O teste F discutido anteriormente, testa o efeito conjunto, e não individual, das
regressoras. Como o interesse está em manter no modelo somente as regressoras
importantes para explicar a variação de Y, é de interesse testar a significância de cada
coeficiente individual βj para j = 1,..., k, ou seja testar as hipóteses:
H0: βj = 0
Ha: βj ≠ 0.
A estatística de teste usada, em geral, para testar as hipóteses apresentadas é dada por:
sob H0
βˆ j βˆ j
t* = = ∼ t (n – p) ( j = 0, 1, ..., k e i = j + 1),
σˆ 2 Cii e. p.( βˆ j )
em que Cii é o i-ésimo elemento da diagonal da matriz (X’X)-1 e σ̂ 2 = QMres. Se H0 não

for rejeitada, haverá evidências de que a contribuição da regressora Xj para a explicação
de Y não é significativa e, desse modo, Xj pode ser excluída do modelo. Caso contário,
a regressora deve ser mantida no modelo.
Este teste é chamado teste t parcial ou marginal, pelo fato de β j depender de
todas as outras regressoras Xi (i ≠ j) presentes no modelo. É um teste, portanto, da
contribuição de Xj na presença das outras regressoras no modelo.
5.11.3 Método da SQextra para Testar os Coeficientes da Regressão

Para determinar a contribuição da regressora Xj para a SQreg, na presença das
demais regressoras Xi (i ≠ j) no modelo, pode-se também utilizar o, assim denominado,
método da SQextra. Esse método também pode ser utilizado para determinar a
contribuição de um subconjunto de variáveis regressoras para o modelo.
A SQextra mede o acréscimo marginal na SQreg, quando uma ou diversas
regressoras são adicionadas ao modelo de regressão ou, equivalentemente, a redução
marginal na SQres, quando uma ou mais regressoras são adicionadas ao modelo.
Para ilustrar o método, considere os resultados, mostrados a seguir, de quatro
modelos ajustados aos dados de um estudo em que se tem n = 20, uma variável resposta
Y e três regressoras contínuas X1, X2 e X3.
a) Regressão de Y em X1 b) Regressão de Y em X2
ŷ = – 1,49 + 0,86x1 yˆ = – 23,63 + 0,85x2
F.V. SQ g.l. QM F.V. SQ g.l. QM
Reg 352,27 1 352,27 Reg 381,97 1 381,97
Res 143,12 18 7,95 Res 113,42 18 6,30
Total 495,39 19 --- Total 495,39 19 ---
c) Regressão de Y em X1 e X2 d) Regressão de Y em X1, X2 e X3

ŷ = – 19,17 + 0,22x1 + 0,66x2 ŷ = 117,08 + 4,34x1 – 2,86x2 – 2,18x3
F.V. SQ g.l. QM F.V. SQ g.l. QM
Reg 385,44 2 192,72 Reg 396,98 3 132,33
Res 109,95 17 6,47 Res 98,41 16 6,15
Total 495,39 19 --- Total 495,39 19 ---
A partir dos resultados, observe que:

quando X1 e X2 estão no modelo tem-se SQres(X1,X2) = 109,95 e
quando somente X1 está no modelo tem-se SQres(X1) = 143,12
e, ainda, que:
quando X1 e X2 estão no modelo tem-se SQreg(X1,X2) = 385,44 e
quando somente X1 está no modelo tem-se SQreg(X1) = 352,27.
A diferença entre as duas somas de quadrados de resíduos, ou entre as duas
somas de quadrados da regressão, é chamada Soma de Quadrados Extra e será
denotada por SQE(X2| X1). Assim,
SQE (X2| X1) = SQres(X1) – SQres(X1,X2) = SQreg (X1,X2) – SQreg (X1) = 33,17.
Esta redução na SQres ou acréscimo na SQreg é o resultado de adicionar X2 ao
modelo, quando X1 já se encontra nele. Assim, a SQE(X2|X1) mede o efeito marginal de
se adicionar X2 ao modelo na presença de X1.
Analogamente, é possível obter outras somas de quadrados extra. Por exemplo:
i) efeito marginal de adicionar X3 ao modelo quando X1 e X2 estão presentes.
SQE (X3| X1,X2) = SQres (X1,X2) – SQres (X1,X2,X3) = 109,95 – 98,41 = 11,54 ou
SQE (X3| X1,X2) = SQreg (X1,X2,X3) – SQreg (X1,X2) = 396,98 – 385,44 = 11,54.
Tem-se, nesse caso, uma redução na SQres de 11,54 unidades ao quadrado ou,
equivalentemente, um acréscimo na SQreg de 11,54 unidades ao quadrado ao se
adicionar X3 ao modelo em que X1 e X2 se encontram presentes.
ii) efeito marginal de adicionar X2 e X3 ao modelo quando X1 está presente.
SQE (X2, X3| X1 ) = SQres (X1) – SQres (X1,X2,X3) = 143,12 – 98,41 = 44,71 ou
SQE (X2, X3| X1 ) = SQreg (X1,X2,X3) – SQreg (X1) = 396,98 – 352,27 = 44,71.
Nesse caso, há uma redução na SQres de 44,71 unidades ao quadrado ou,
equivalentemente, um acréscimo na SQreg de 44,71 unidades ao quadrado ao serem
adicionadas X2 e X3 ao modelo em que X1 já se encontra presente.
O interesse, contudo, não está somente em obter tais reduções ou acréscimos,

mas sim se os mesmos são significativos para decidirmos sobre a inclusão ou remoção
das variáveis no modelo. Para essa finalidade, foi visto que a estatística de teste parcial
t* pode ser utilizada. Porém, uma alternativa é a estatística de teste parcial F*, que usa
as somas de quadrados extra.
No exemplo sendo analisado, podemos, por exemplo, testar se a variável X3
deve ser adicionada ao modelo contendo X1 e X2, o que equivale a testar as hipóteses:
H0: β3 = 0 versus Ha: β3 ≠ 0.
Se H0 não for rejeitada tem-se o modelo reduzido Y = β0 + β1x1 + β2x2. Caso contrário,
o modelo completo Y = β0 + β1x1 + β2x2 + β3x3. A estatística de teste parcial F* para
testar tais hipóteses é expressa por:
SQ E ( X 3 | X 1 , X 2 ) / [(n − 3) − (n − 4)] SQ E ( X 3 | X 1 , X 2 ) / 1
F* = = ∼ F(1; n – 4).
SQres( X 1 , X 2 , X 3 ) / (n − 4) QMres( X 1 , X 2 , X 3 )
Para os dados do exemplo tem-se :
F* = 11,54 / 6,15 = 1,88 (p-valor = 0,189)
t* = – 2,18 / 1,59 = –1,37 (p-valor = 0,189),
o que nos leva a concluir que X3 não contribui significativamente e pode, portanto, ser
removida do modelo de regressão contendo X1 e X2.
O teste F* pode também ser utilizado para testar se um subconjunto de
regressoras pode ser removido do modelo completo. Por exemplo:
a) Podemos desejar testar se X2 e X3 podem ser removidas do modelo contendo X1, X2
e X3. Nesse caso as hipóteses são:
H0: β2 = β3 = 0 versus Ha: β2 ≠ 0 ou β3 ≠ 0.
Em sendo, F* = [(33,17 + 11,54)/2] / [98,41/16] = [44,71/2] / 6,15 = 3,63, para o qual o
p-valor associado à distribuição F2;16 é igual a 0,05, é possível concluir pela rejeição da
hipótese nula.
5.11.4 Anova com Decomposição da SQreg

As somas de quadrados extra (SQE) nos permitem apresentar no quadro da
ANOVA uma variedade de decomposições ou desdobramentos da SQreg em SQE. Por
exemplo, no caso de duas variáveis independentes X1 e X2 tem-se:
SQreg (X1, X2) = SQE (X1) + SQE (X2| X1) ou,
SQreg (X1, X2) = SQE (X2) + SQE (X1| X2).
Assim, a análise de variância, contendo uma dessas duas possíveis decomposições, fica
representada por:
F.V. S.Q g.l. Q.M.
Regressão SQreg(X1,X2) 2 QMreg(X1,X2)
X1 SQE(X1) 1 QME(X1)
X2| X1 SQE(X2| X1) 1 QME( X2 | X1)
Resíduos SQres(X1, X2) n–3 QMres(X1, X2)
Total SQtotal n–1 --------
Para mais de duas variáveis regressoras, a Anova com a decomposição é obtida

de forma análoga. Alguns pacotes estatísticos fornecem tal decomposição, o que facilita
a realização de alguns testes de interesse. A decomposição é feita, em geral, obedecendo
a ordem de escolha das variáveis independentes.
Para o exemplo discutido na seção anterior, uma possível decomposição é

apresentada na tabela a seguir.
F.V. SQ g.l. QM
Regressão 396,98 3 132,33
X1 352,27 1 352,27
X2| X1 33,17 1 33,17
X3 | X1, X2 11,54 1 11,54
Resíduos 98,41 16 6,15
Total 495,39 19 ---
Alguns testes realizados a partir da decomposição apresentada são mostrados a seguir:

(a) Teste da significância da regressão.
F* = [396,98/3] / [98,41/16] = 132,33/6,15 = 21,51 (p-valor = 7,3e-7).
(b) Teste da significância de X3 na presença de X1 e X2.
F* = [11,54/1] / [98,41/16] = 11,54/6,15 = 1,88 (p-valor = 0,1892).
(c) Teste da significância de X2 e X3 na presença de X1.
F* = [(33,17 + 11,54)/2] / [98,41/16] = [44,71/2] / 6,15 = 3,63 (p-valor = 0,05).
5.12 Coeficientes de Determinação Parcial

As SQextra não são somente úteis para testar a significância do efeito de uma ou
mais regressoras em um modelo de regressão linear múltipla, mas também para
obtenção de uma medida descritiva denominada coeficiente de determinação parcial.
Enquanto o coeficiente de determinação múltiplo R2 mede a proporcional
redução na variabilidade de Y obtida pela introdução de um conjunto de variáveis
regressoras no modelo, o coeficiente de determinação parcial mede a contribuição
marginal de uma variável Xj quando outras variáveis se encontram no modelo. Assim,
• coeficiente de determinação parcial entre Y e X2 dado X1 no modelo
SQE ( X 2 | X 1 )
r2Y2●1 = .
SQres( X 1 )
• coeficiente de determinação parcial entre Y e X1 dado X2 e X3 no modelo

SQE ( X 1| X 2 , X 3 )
r2Y1●23 = ,
SQres( X 2 , X 3 )
e assim por diante.
Para os dados do exemplo discutido anteriormente segue que:
(a) r2Y2●1 = 33,17/143,12 = 0,2317 (23,17%)
(b) r2Y3●12 = 11,54/109,95 = 0,105 (10,5%)
(c) r2Y1●2 = 3,47/113,42 = 0,031 (3,1%).
Então, quando X2 é adicionada ao modelo contendo X1, a SQres(X1) é reduzida em

23,17%. Ainda, a SQres(X1,X2) é reduzida em 10,5% quando X3 é adicionada ao
modelo e, finalmente, se o modelo contém X2, adicionar X1 reduz a SQres em 3,1%.
5.12.1 Coeficientes de Correlação Parcial

A raiz quadrada de um coeficiente de determinação parcial é denominado
coeficiente de correlação parcial. O sinal de cada coeficiente de correlação parcial
correspondente ao do coeficiente de regressão do modelo ajustado. Assim, tem-se:
(a) rY2●1 = (0,2317)1/2 = – 0,48 (negativo, pois β̂ 2 = – 2,857)
(b) rY3●12 = (0,105)1/2 = – 0,324 (negativo, pois β̂ 3 = – 2,186),
(c) rY1●2 = (0,031)1/2 = 0,176 (positivo, pois β̂1 = 4,344).
Obs: os coeficientes de correlação parcial são frequentemente utilizados nas rotinas

computacionais para encontrar a próxima melhor variável independente (regressora) a
entrar no modelo. Será discutido adiante.
5.13 Diagnóstico do Modelo de Regressão Linear Múltipla

Foi visto que a ANOVA é útil para diagnosticar alguns aspectos do modelo de
regressão linear ajustado. É necessário, contudo, verificar outros aspectos tais como:
suposições dos erros, não-linearidade de algumas regressoras, multicolinearidade, bem
como a existência e o efeito de pontos atípicos.
5.13.1 Análise dos Resíduos

Os métodos gráficos usados em regressão linear simples são também úteis em
regressão linear múltipla. Alguns gráficos adicionais podem também trazer informações
importantes. Em síntese, têm-se os seguintes gráficos e suas utilidades:
(a) Resíduos em papel de probabilidade Normal: ei x Fi

examinar se os erros apresentam distribuição aproximadamente Normal;
auxiliar na detecção de pontos atípicos.
(b) Resíduos versus valores ajustados: ei x ŷ i
verificar homogeneidade das variâncias dos erros;
fornecer informações sobre pontos atípicos.
(c) Resíduos versus seqüência de coleta (se conhecida): e(i) x i
informações sobre possível correlação entre os erros.
(d) Resíduos versus cada Xj incluída no modelo: ei x Xij
informações adicionais sobre a adequacidade da função de regressão com
respeito a j-ésima variável independente, ou seja, auxilia na detecção de não-
linearidade na regressora Xj;
informações sobre possível variação na magnitude da variância dos erros em
relação a variável independente Xj;
informações sobre dados atípicos.
(e) Resíduos parciais versus Xij para cada Xj no modelo: eij* x Xij
revelar mais precisamente a relação entre os resíduos e cada regressora Xj. O i-
ésimo resíduo parcial para a regressora Xj é definido por:
eij* = ei + β j xij (i = 1, ..., n)

eij*= (yi – ŷ i ) + β j xij (i = 1, ..., n).
O gráfico dos resíduos parciais, como comumente é referenciado, é semelhante
ao gráfico dos resíduos versus Xij permitindo ao experimentador avaliar falha de
linearidade, presença de outliers e heterogeneidade de variâncias.
Se, por exemplo, a relação entre Y e Xj não for linear, o gráfico dos resíduos
parciais indicará mais precisamente do que o gráfico ei versus Xj como transformar os
dados para obtenção da linearidade. A justificativa para isto é que o gráfico dos resíduos
parciais mostra a relação entre Y e Xj após o efeito das outras regressoras Xi (i ≠ j) ter
sido removido e, desse modo, este gráfico mostrará mais claramente a influência de Xj
em Y na presença das outras regressoras. Observe que eij* versus Xj deve ser linear
com inclinação próxima a β j se a relação entre Y e Xj for linear.
(f) Resíduos versus Xk omitidas do modelo

ajuda a revelar a dependência da resposta Y com uma ou mais das regressoras não
presentes no modelo. Qualquer estrutura (padrão sistemático), que não o aleatório,
indicarão que a inclusão daquela variável pode melhorar o modelo.
(g) Resíduos versus interações não incluídas no modelo
úteis para examinar se alguma, algumas ou todas as interações são requeridas no
modelo. Um padrão sistemático nestes gráficos, que não o aleatório, sugere que o
efeito da interação pode estar presente.
(h) Gráfico da regressora Xi versus regressora Xj (i ≠ j)
útil para estudar a relação entre as variáveis regressoras e a disposição dos dados
no espaço X;
encontrar pontos atípicos.
Considere, como exemplo, o gráfico a seguir, que mostra que as regressoras X1 e X2
são altamente correlacionadas e, conseqüentemente, pode não ser necessário incluir
ambas no modelo.
Quando duas ou mais variáveis regressoras forem altamente corelacionadas,

colinearidade ou multicolinearidade estão presentes nos dados. Isso ocorre quando há
uma dependência quase-linear entre as regressoras. A presença de multicolinearidade
pode afetar seriamente o ajuste por QM e, em algumas situações, produzir modelos
quase inúteis. A matriz de correlação rXX das regressoras é uma ferramenta útil na
detecção de multicolinearidade.
⎡ 1 r12 .. rik ⎤
⎢r 1 r2 k ⎥
rXX = ⎢ 21 ⎥.
⎢ .. .. .. .. ⎥
⎢ ⎥
⎣ rk 1 rk 2 .. 1 ⎦
A matriz rXX é simétrica, isto é, rij = rji e se rij for próximo de zero, então Xi e Xj
não são altamente correlacionadas. Por outro lado, se rji for próximo de |1|, então Xi e Xj
são altamente correlacionadas.
5.14 Distribuição dos Resíduos

Foi visto anteriormente que o vetor de resíduos é expresso por e = (I – H)y.
Assim, segue que:
e = (I – H)(Xβ + ε) = Xβ – HXβ + (I – H)ε
= Xβ – X(X’X)-1X’Xβ + (I – H) ε = (I – H)ε.
Logo, E(e) = 0
e Var(e) = Var[(I – H) ε] = (I – H)Var(ε )(I – H)’
= (I – H)σ2I(I – H)’ = σ2(I – H)
pois, (I – H) é simétrica ((I – H) = (I – H)’) e idempotente ((I – H)(I –H)) = (I – H).
Portanto, E(ei) = 0, Var(ei) = σ2(1 – hii), bem como pode ser mostrado que
Cov(ei, ej) = – σ2hij. Ainda, a distribuição dos resíduos é também normal, pois estes são
combinações lineares dos yi’s, que têm distribuição normal. Em síntese:
ei ~ N(0, σ2(1 – hii)) i = 1, ..., n

Cov(ei, ej) = – σ2( hij) i, j = 1, ..., n (i ≠ j).
Os resíduos não são, portanto, independentes e possuem variâncias diferentes

que dependem do valor de X correspondente a xi. Com o intuito de melhor analisar os
resíduos, levando-se em conta sua variabilidade, algumas variações foram propostas,
dentre elas:
ei
1) Resíduos padronizados zi =
QMres(1 − hii )
ei
2) Resíduos studentized zi* =
QMres( i ) (1 − hii )
hii corresponde ao i-ésimo componente da diagonal da matriz H = X(X’X)-1X’
QMres(i) corresponde ao QMres do MRLM sem a i-ésima observação.
Diversos autores recomendam o uso dos resíduos padronizados ou studentized

em vez de ei. A justificativa é que hii é uma medida da localização do i-ésimo ponto no
espaço X e a variância de ei depende de onde o ponto xi cai.
• Pontos com resíduo e hii grandes são observações possivelmente influentes no ajuste
por MQ.
5.15 Multicolinearidade
Adicional às analises dos gráficos de Xi versus Xj (i ≠ j) e da matriz de
correlações rXX, é possível utilizar outros recursos para diagnosticar a presença de
colinearidade ou multicolinearidade.
5.15.1 Fator de Inflação da Variância (VIF)

O VIF para o j-ésimo coeficiente de regressão é expresso por:
1
VIFj = ,
1 − R2 j
em que R2j é o coeficiente de determinação múltiplo obtido da regressão de Xj com as
demais variáveis como regressoras. Claramente, se Xj for quase linearmente dependente
com alguma das outras regressoras, então R2j será próximo de 1 e VIFj será grande.
Experiências práticas indicam que VIF maiores que 10 implicam que os coeficientes de
regressão associados estão sendo pobremente estimados devido à multicolineridade.
5.15.2 Análise dos Autovalores da Matriz rXX
As raízes características, ou autovalores de rXX , denotadas por λ1, λ2, ..., λk,
podem ser usados para medir a extensão da multicolinearidade. Se existir uma (ou mais)
dependência linear, então uma (ou mais) das raízes características serão pequenas. Auto
valores de rXX são as raízes características da equação | rXX - λI | = 0.
Alguns analistas preferem, no entanto, examinar o número de condição da matriz
rXX dado por:
λmax .
k=
λmin
Geralmente, se k < 100 ⇒ não existem sérios problemas de multicolinearidade,
se 100 < k < 1000 ⇒ moderada a forte multicolinearidade e,
se k >1000 ⇒ severa multicolinearidade.
λmax .
Os índices de condição da matriz rXX são dados por kj =
λj
Exemplo: Seja Y a variável resposta de interesse e X1, ...., X9 as regressoras, de modo
que os autovalores obtidos sejam:
λ1 = 4,2048 λ4 = 1,0413 λ7 = 0,0136
λ2 = 2,1626 λ5 = 0,3845 λ8 = 0,0051
λ3 = 1,1384 λ6 = 0,0495 λ9 = 0,0001.
Assim, k = 42048, o que implica em severa multicolinearidade. Ainda,
k1 = 1,0 k4 = 4,04 k7 = 309,18
k2 = 1,94 k5 = 10,94 k8 = 824,47
k3 = 3,69 k6 = 84,96 k9 = 42048,
e como k7 e k8 > 100 e k9 > 1000, há indícios de multicolinearidade envolvendo as
variáveis X7, X8 e X9.
5.15.3 Determinante da Matriz rxx

O determinante da matriz rXX pode ser usado como um indicador de existência
de multicolineridade. Os valores possíveis deste determinante são 0 ≤ det(rXX) ≤ 1. Se
det(rXX) = 1, as regressoras são ortogonais, enquanto se det(rXX) = 0 existe dependência
linear exata entre as regressoras. O grau de multicolinearidade torna-se mais severo
quando o determinante aproxima-se de zero.
5.16 Diagnóstico de Influência

É comum em uma análise encontrarmos um subconjunto de observações que
exerce uma influência desproporcional no modelo de regressão ajustado. Localizar essas
observações e acessar seu impacto no modelo é desse modo de interesse. A seguir,
diversas medidas de influência são apresentadas.
5.16.1 Pontos de Alavancagem

A disposição dos pontos no espaço X é importante para a determinação das
propriedades do modelo. Em particular, observações potencialmente remotas têm
desproporcional alavancagem nos parâmetros estimados, bem como nos valores
preditos e nas usuais estatísticas sumárias. Para localizar esses pontos remotos no
espaço X, Hoaglin e Welsh (1978), sugeriram para a identificação de observações
influentes, o uso da matriz chapéu, dada por H = X (X’X)-1X’. De acordo com os
autores citados, os elementos hij da matriz H podem ser interpretados como a
quantidade de alavancagem exercida por yi em ŷi e, desse modo, a inspeção dos
elementos da matriz H pode revelar pontos que são potencialmente influentes em razão
de sua localização no espaço X. Atenção é usualmente centrada nos elementos da
diagonal da matriz H, ou seja, nos hii. Como,
n
∑ hii = rank(H) = rank(X) = p,
i= 1
sendo p o número de parâmetros, tem-se que o tamanho médio de um elemento da
diagonal da matriz H é p/n e, assim, como uma regra um tanto grosseira, tem-se:
se hii > 2p/n, a observação i é um possível ponto de alta alavancagem.
5.16.2 Influência nos Coeficientes da Regressão

Para considerar tanto a localização da observação quanto da resposta Y, Cook
(1979) sugeriu o uso de uma medida que considera o quadrado da distância entre as
estimativas β̂ obtidas com base nas n observações e as estimativas β̂ (i) obtidas após a
remoção da i-ésima observação. Essa medida é expressa por:
(βˆ − βˆ (i) )' X' X(βˆ − βˆ (i) )
Di = i = 1, ..., n .
p QMres
Pontos com grandes valores de Di têm considerável influência nas estimativas βˆ . Os
valores Di são comparados com a distribuição F(α, k, n – p). Se Di ≈ F(α, k, n – p), então retirar
a observação i deve deslocar βˆ para o limite de uma região de confiança de 50% de β
baseado nos dados completo, o que é uma grande discordância e indica que as
estimativas obtidas por QM são sensíveis a i-ésima observação. Como F(0.5; n; n – p) ≈ 1, é
usual considerar observações para as quais Di > 1 como sendo possivelmente influentes.
Idealmente seria desejado que βˆ ( i ) permanecesse dentro dos limites de uma região de
confiança de 10 ou 20%.
A medida Di pode, ainda, ser reescrita como:
ri 2 hii
Di = i = 1, .., n,
( p)(1 − hii )
com ri o i-ésimo resíduo studentized, p o número de parâmetros estimados e hii o i-
ésimo elemento da diagonal da matriz H.
Outra versão alternativa da distância de Cook é dada por:
(yˆ − yˆ (i ) )' (yˆ − yˆ ( i ) )
Di = i = 1, ..., n,
p QMres
de modo que Di pode ser interpretada como o quadrado da distância euclidiana (a menos
de pQMres) que o vetor de valores ajustados desloca-se quando a i-ésima observação é
removida.
Belsley, Kuh e Welsch (1980) sugeriram, também, outra estatística que indica o
quanto o coeficiente β̂ j muda, em unidades de desvio-padrão, quando a i-ésima
observação é removida. Esta estatística é dada, para j = 0, 1, ..., p, por:
β̂ j − β̂ j(i)
DFBETAj,i = i = 1, .., n,
S(2i )C j+1, j+1
sendo Cj+1, j+1 o (j +1)-ésimo elemento da diagonal da matriz C = (X’X)-1. Um valor

grande de DFBETAj,i indica que a observação i tem considerável influência no j-ésimo
coeficiente de regressão. O ponto de corte 2 / n é, em geral, usado para comparar os
DFBETASj,i. Para amostras grandes, observações as quais|DFBETAj,i| > 2 / n
merecem atenção. Para amostras pequenas ou moderadas, observações que merecem
atenção são aquelas em que |DFBETAj,i| > 1.
5.16.3 Influência nos Valores Preditos

É possível, também, investigar a influência da i-ésima observação nos valores
preditos. Uma medida razoável é:
yˆ − yˆ (i)
DFFITi = i i = 1, ..., n,
S (2i ) hii
em que yˆ ( i ) é o vetor de valor preditos sem a i-ésima observação. O denominador é
somente uma padronização. Assim, DFFITi mede o quanto os valores preditos mudam,
em unidades de desvio-padrão, se a i-ésima observação for removida.
Geralmente, observações em que |DFFITi| > 1 (para amostras pequenas ou
moderadas) e | DFFITi | > 2 (p) /n (para amostras grandes) merecem atenção.
5.16.4 Influência na Precisão da Estimação
As medidas Di, DFBETAj,i e DFFITi fornecem uma visão do efeito que cada
observação exerce nos coeficientes estimados e nos valores preditos. Elas não fornecem,
contudo, qualquer informação sobre a precisão geral da estimação. Assim, para
expressar o papel da i-ésima observação na precisão da estimação foi proposta a
seguinte medida:
2
| (X'(i) X (i) )− 1 S (i) |
COVRATIOi = i = 1, ..., n.
| (X' X)− 1 QMres |
Pontos de corte para COVRATIOi não são fáceis de serem obtidos. Belsley, Kuh
e Welsh (1980) sugeriram que se COVRATIOi > 1 + (3p/n) ou < 1 – (3p/n), então, a i-
ésima observação deve ser considerada uma possível observação influente. O limite
inferior é somente apropriado quando n > 3p. Os pontos de corte mencionados são mais
apropriados para amostras grandes.
EXEMPLO: Um engarrafador de bebidas está analisando os serviços de rotina

realizados no sistema de distribuição de máquinas acionadas por moedas. Ele está
interessado em predizer o tempo requerido para esses serviços de rotina que incluem:
estocagem da máquina com bebidas e manutenções pequenas. O engenheiro industrial
responsável sugeriu duas variáveis como sendo as que mais afetam o tempo requerido
por estes serviços: quantidade de bebida estocada e a distância percorrida pelo
profissional responsável pelos serviços.
Tabela 5.2 Dados observados no estudo de serviços de rotina de máquinas de bebida.

Tempo requerido Quantidade estocada Distância percorrida
(em minutos) (em unidades) (em pés)
16.68 7 560
11.50 3 220
12.03 3 340
14.88 4 80
13.75 6 150
18.11 7 330
8.00 2 110
17.83 7 210
79.24 30 1460
21.50 5 605
40.33 16 688
21.00 10 215
13.50 4 255
19.75 6 462
24.00 9 448
29.00 10 776
15.35 6 200
19.00 7 132
9.50 3 36
35.10 17 770
17.90 10 140
52.32 26 810
18.75 9 450
19.83 8 635
10.75 4 150
Fonte: Montgomery and Peck (1992).
Para predizer o tempo requerido para os serviços de rotina utilizando as

regressoras X1 (quantidade de bebida estocada) e X2 (distância percorrida pelo
profissional responsável pelos serviços), temos diversos modelos de regressão a serem
investigados e, dentre eles: a) regressão de Y em X1 e X2,
b) regressão de Y em X1 e
c) regressão de Y em X2.
Observando, inicialmente, a matriz de correlação rXX, a seguir,
⎡ 1 0,8242⎤
rXX = ⎢
1 ⎥⎦
,
⎣0,8242
bem como os fatores de inflação da variância (VIFj):

VIF1 = 1/[1-(0,8242)2] = 3,1185 < 10
VIF2 = 1/[1-(0,8242)2] = 3,1185 < 10,
é possível observar que, embora X1 e X2 sejam multicolineares, ambos os VIF's são
menores que 10, o que indica que os coeficientes da regressão de Y em X1 e X2 não
estarão sendo pobremente estimados por causa dessa multicolinearidade. Assim, os
resultados dos três modelos mencionados foram os apresentados a seguir.
Modelos β̂ 0 β̂1 β̂ 2 QMres R2 Ra2

Y em X1 e X2 2,341 1,615 0,014 10,6 0,9596 0,9559
Y em X1 3,321 2,176 -- 17,5 0,9305 0,9275
Y em X2 4,961 -- 0,042 51,5 0,7951 0,7862
Dos resultados obtidos, pode-se observar, que dentre os modelos considerados,

os dois primeiros parecem ser bons candidatos ao melhor modelo. Pelos testes t
associados aos parâmetros, há evidências para a rejeição das hipóteses nulas H0: β1 = 0 e
H0: β2 = 0, o que indica que ambas as regressoras X1 e X2 são importantes na predição
de Y. Caso não haja problemas relativos aos pressupostos assumidos para este MRLM,
tem-se, de acordo com o coeficiente de determinação, R2, que as regressoras X1 e X2
estariam, conjuntamente, explicando em torno de 96% da variação total de Y.
Observe, ainda, que o modelo Y em X1 parece ser também um bom candidato,
visto ter uma quantidade pequena de parâmetros, em que a regressora X1 sozinha estaria
explicando em torno de 93% da variação total de Y. Escolhendo, contudo, o modelo Y
em X1 e X2 tem-se as estimativas dos parâmetros a seguir.
Quadro 5.1 Estimativas dos parâmetros do modelo de Y em X1 e X2.
β̂ j e.p. (β̂ j ) t p-valor
Intercepto 2,341 1,096 2,135 0,044
X1 1,615 0,170 9,464 3,25e-9
X2 0,014 0,003 3,981 0,0006
A Anova, com a decomposição da SQreg, apresentada no Quadro 5.2, mostra

que o modelo com somente X1 reduz a SQtotal em 5382,4 unidades ao quadrado e que,
ao adicionarmos X2 ao modelo contendo X1, há uma redução na SQres de 168,4
unidades ao quadrado.
Quadro 5.2 Análise de variância do MRLM deY em X1 e X2.

F.V. g.l. SQ QM F Pr(>F)
Regressão 2 5550,8 2775,4 261,20 4,687e-16
X1 1 5382,4 5382,4 506,62 < 2,2e-16
X2 1 168,4 168,4 15,85 0,0006312
Resíduos 22 233,7 10,6
Total 24 5784,5
A análise de resíduos evidenciou, como pode ser observado nos gráficos dos
resíduos na Figura 5.2, que a observação 9 causa alguns problemas ao modelo ajustado.
Figura 5.2 Análise gráfica dos resíduos do modelo Y em X1 e X2.
Ainda, do diagnóstico de influência mostrado na Tabela 5.3, pode-se observar:

1) os elementos hii da diagonal da matriz H mostram que as observações 9 e 22 são
maiores que h = (2p)/n = 6/25 = 0,24, o que evidencia que tais pontos devam ser
investigados, pois são potenciais pontos influentes;
2) o maior valor da distância de Cook é D9 = 3,42, indicando que as estimativas dos
parâmetros obtidas por QM são sensíveis a essa observação;
3) inspeção dos DFFit's revela que as observações 9 e 22 excedem o valor 1 (ponto
de corte para pequenas amostras);
4) inspeção dos DFBeta's mostram, considerando o valor 1 como ponto de corte, que
as observações 9 e 22 apresentam grande efeito em pelo menos uma das três
estimativas dos parâmetros;
5) os pontos de corte para CovRatio, nesse estudo, são 0,64 e 1,36. Assim, as
observações 9 e 22 e, também, a observação 16, apresentam-se como possíveis
pontos influentes.
Tabela 5.3 Resultados das estatísticas para detecção de pontos influentes.

dfb.1. dfb.X1 dfb.X2 dffit cov.r cook.d hii
1 -0.18727 0.41131 -0.43486 -0.5709 0.871 1.00e-01 0.1018
2 0.08979 -0.04776 0.01441 0.0986 1.215 3.38e-03 0.0707
3 -0.00352 0.00395 -0.00285 -0.0052 1.276 9.46e-06 0.0987
4 0.45196 0.08828 -0.27337 0.5008 0.876 7.76e-02 0.0854
5 -0.03167 -0.01330 0.02424 -0.0395 1.240 5.43e-04 0.0750
6 -0.01468 0.00179 0.00108 -0.0188 1.200 1.23e-04 0.0429
7 0.07807 -0.02228 -0.01102 0.0790 1.240 2.17e-03 0.0818
8 0.07120 0.03338 -0.05382 0.0938 1.206 3.05e-03 0.0637
9 -2.57574 0.92874 1.50755 4.2961 0.342 3.42e+00 0.4983 *
10 0.10792 -0.33816 0.34133 0.3987 1.305 5.38e-02 0.1963
11 -0.03427 0.09253 -0.00269 0.2180 1.172 1.62e-02 0.0861
12 -0.03027 -0.04867 0.05397 -0.0677 1.291 1.60e-03 0.1137
13 0.07237 -0.03562 0.01134 0.0813 1.207 2.29e-03 0.0611
14 0.04952 -0.06709 0.06182 0.0974 1.228 3.29e-03 0.0782
15 0.02228 -0.00479 0.00684 0.0426 1.192 6.32e-04 0.0411

16 -0.00269 0.06442 -0.08419 -0.0972 1.369 3.29e-03 0.1659
17 0.02886 0.00649 -0.01570 0.0339 1.219 4.01e-04 0.0594
18 0.24856 0.18973 -0.27243 0.3653 1.069 4.40e-02 0.0963
19 0.17256 0.02357 -0.09897 0.1862 1.215 1.19e-02 0.0964
20 0.16804 -0.21500 -0.09292 -0.6718 0.760 1.32e-01 0.1017
21 -0.16193 -0.29718 0.33641 -0.3885 1.238 5.09e-02 0.1653
22 0.39857 -1.02541 0.57314 -1.1950 1.398 4.51e-01 0.3916 *
23 -0.15985 0.03729 -0.05265 -0.3075 0.890 2.99e-02 0.0413
24 -0.11972 0.40462 -0.46545 -0.5711 0.948 1.02e-01 0.1206
25 -0.01682 0.00085 0.00559 -0.0176 1.231 1.08e-04 0.0666
Claramente, as observações 9 e 22 são as que merecem maior atenção nesta

análise. Para investigar o efeito dessas observações no modelo Y em X1 e X2, observe
os resultados a seguir.
Modelo β̂ 0 β̂1 β̂ 2 QMres R2

com obs 9 e 22 2,341 1,616 0,014 10,62 0,9596
sem obs 9 4,447 1,498 0,010 5,90 0,9487
sem obs 22 1,916 1,786 0,012 10,06 0,9564
sem obs 9 e 22 4,643 1,456 0,011 6,16 0,9072
Note que retirar a observação 9 produz mudanças de 90% na estimativa de β0,

7,3% na de β1 e 28% na de β2. Portanto, esta observação exerce razoável influência nos
coeficientes. Por outro lado, a retirada da observação 22 produz mudanças relativamente
menores nos coeficientes da regressão. A retirada de ambas produz mudanças similares
àquelas observadas quando da retirada somente da observação 9. Conclui-se, assim, que
as observações 9 e 22 (mais acentuadamente a 9) influenciam no ajuste do modelo.
Investigações subseqüentes, realizadas junto ao pesquisador, podem revelar
razões para a retirada de uma, ou ambas, as observações da análise. Nesse caso, as
análises devem ser refeitas.
Gráficos dos resíduos do modelo Y em X1 e X2 sem a observação 9 são
apresentados na Figura 5.3. Note que há uma melhora considerável dos mesmos, uma
vez que os pressupostos encontram-se melhores atendidos sem a referida observação.
Figura 5.3 Gráficos dos resíduos do modelo Y em X1 e X2 sem a observação 9.
Relembrando que o modelo somente com a regressora X1 mostrou ser também

um bom candidato (R2 = 0,9305) para a análise dos dados, seria, portanto, interessante
comparar os resíduos desse modelo com os do modelo Y em X1 e X2, ambos sem a

observação 9. A Figura 5.4 mostra os gráficos dos resíduos do modelo Y em X1, sendo
possível observar resultados muito similares aos obtidos anteriormente (Figura 5.3).
Figura 5.4 Gráficos dos resíduos do modelo Y em X1 sem a observação 9.
Com a discussão dos resultados obtidos, pode-se, então, juntamente com o

pesquisador, proceder a escolha por um dos modelos que se apresentaram razoáveis
para a predição da variável resposta Y. Supondo que o modelo escolhido tenha sido
aquele com as regressoras X1 e X2 sem a observação 9, tem-se o modelo ajustado
expresso por:
ŷ = 4,447 + 1,498 x1 + 0,010 x2,
e também a representação gráfica dos valores observados e do plano ajustado mostrados

na Figura 5.5.
Figura 5.5 Valores observados e plano ajustado aos dados de serviços de rotina.
A partir das estimativas dos parâmetros ( β̂1 = 1,498 e β̂ 2 = 0,010) pode-se dizer
que, mantido X1 (quantidade de bebida estocada) constante, há um acréscimo de, em
média, 0,010 minutos no tempo de realização dos serviços de rotina a cada acréscimo de
uma unidade na distância (X2). De forma análoga, há um acréscimo de, em média, 1,498
minutos no tempo de realização dos serviços de rotina a cada acréscimo de uma unidade
em X1 (quantidade de bebida estocada), mantido X2 constante.
O intervalo de 95% de confiança para a resposta média em, por exemplo, (x1, x2) =
(8, 275) é dado por I.C.(E(Y))95% = (17,65; 20,79) minutos, sendo ŷ = 19,22 minutos.
5.17 Métodos para Tratar com a Multicolinearidade

5.17.1 Coleta Adicional de Dados
Em alguns casos, coletar dados adicionais para combinações de Xi e Xj em que
se tenham poucos dados observados pode ajudar a solucionar, ou amenizar, o problema
que decorre da presença de multicolinearidade.
Infelizmente, a coleta de dados adicionais nem sempre é possível devido aos
custos ou mesmo a impossibilidade devido ao processo sendo estudado. Além disso, o
problema pode ser devido a características estruturais da população e, portanto, coletar
novos dados nesses casos tem pouco valor. Por exemplo, para um estudo da relação
entre renda familiar (X1) e tamanho da residência (X2), é altamente provável que não se
encontre algumas combinações dessas duas variáveis, tal como a combinação: renda alta
e residência muito pequena.
5.17.2 Reespecificação do Modelo

Em situações as quais se tenha duas ou mais variáveis regressoras altamente
correlacionadas em um modelo de regressão, pode-se tentar fazer uso de alguma
reespecificação desse modelo, a fim de contornar o problema que a multicolinearidade
em geral acarreta nas estimativas dos parâmetros. Uma forma de reespecificação é
redefinir as regressoras. Para ilustrar, suponha que em um determinado estudo as
regressoras X1, X2 e X3 apresentem alta correlação, isto é sejam multicolineares. Tentar
redefinir essas regressoras por meio de uma função como, por exemplo:
X = (X1 + X2) / X3 ou X = X1*X2*X3,
que, por um lado, preserva a informação contida nas regressoras originais e, por outro,
reduz, ou contorna, o problema da multicolinearidade (mal condicionamento da matriz
X), é uma forma de reespecificar o modelo. Um exemplo de redefinição de variáveis
que pode ser citado como sendo bastante usual em diversos estudos é o índice de massa
corporal definido por IMC = X1/(X2)2, sendo X1 o peso e X2 a altura.
Outra forma de reespecificação muito usada é a eliminação de regressoras do
modelo. Assim, se, por exemplo, X1, X2 e X3 forem multicolineares, eliminar X3, ou
outra, pode ser útil. A técnica de eliminação é altamente efetiva, mas pode, em alguns
casos, prejudicar o poder preditivo do modelo.
5.17.3 Regressão Ridge

Foi visto que o estimador de QM β̂ apresenta a propriedade de ser não-viciado,
bem como que, em algumas situações em que as regressoras não são ortogonais,
estimativas muito pobres podem ser obtidas usando-se esse estimador. Para esses casos,
uma alternativa à da reespecificação, é a de se encontrar um estimador β̂ * viciado, tal
que seu vício seja pequeno, mas sua variância seja menor do que a de βˆ . O termo
regressão ridge é usado para denominar um modelo de regressão em que esse tipo de
estimador é considerado. Para mais detalhes sobre esse assunto ver, por exemplo,
Montgomery e Peck (1992).
5.18 Seleção de Variáveis

Em diversos estudos, é comum que o pesquisador tenha uma grande quantidade
de regressoras as quais ele acredita estarem influenciando a resposta. Dentre essas
regressoras, é de interesse encontrar um subconjunto apropriado para o modelo de
regressão. Selecionar esse subconjunto envolve, em geral, dois objetivos conflitantes:
1o) o modelo deveria incluir tantas quantas regressoras fossem necessárias para
auxiliar na predição de Y e,
o
2 ) o modelo deveria ser parcimonioso (conter poucas regressoras), visto que a
variância da predição cresce conforme o número de regressoras cresce. Além
disso, quanto mais regressoras existirem no modelo, maior o custo para coleta e
manutenção do modelo.
O processo de encontrar um modelo que concilie esses objetivos é denominado

seleção da melhor equação de regressão. Infelizmente, não existe uma definição única
de melhor. Nessa direção, diversos procedimentos (algoritmos) foram e vendo sendo
propostos para selecionar tal subconjunto de regressoras. Tais procedimentos, em geral,
especificam diferentes subconjuntos de regressoras como sendo os melhores.
A seguir, são apresentados alguns critérios usados nesses procedimentos e, em
seguida, os procedimentos de seleção propriamente ditos. É importante salientar que
nenhum dos procedimentos de seleção fornece qualquer garantia de que a melhor
equação de regressão tenha sido obtida. Desse modo, devem ser tratados pelo analista
apenas como métodos para explorar e melhor entender a estrutura dos dados.
5.18.1 Critérios para Avaliação dos Modelos

No problema de seleção de regressoras, dois aspectos são importantes: i)
encontrar um subconjunto delas para predizer Y e ii) decidir se o subconjunto escolhido
é melhor do que um outro. Alguns critérios usados para essa finalidade são:
a) Coeficiente de determinação múltiplo R2
Para cada subconjunto composto de k regressoras tem-se associado ao modelo de
regressão correspondente um valor para o coeficiente de determinação múltiplo,
denotado por R2p, sendo p o número de parâmetros do modelo. O valor de R2p cresce
quando k cresce e é máximo quando todas as k regressoras são usadas. Assim, o analista
pode usar o critério de adicionar regressoras até o ponto em que a adição de uma
variável não for mais útil, pois fornece um acréscimo muito pequeno em R2p.
b) Coeficiente de determinação múltiplo ajustado R2a ou QMres
Devido a algumas dificuldades em interpretar o coeficiente R2, alguns analistas
preferem usar o coeficiente de determinação múltiplo ajustado. O critério é escolher o
subconjunto de regressoras que forneça o valor máximo de R2a, o que equivale a
encontrar o subconjunto que minimize o QMres.
c) Estatística Cp de Mallows
Mallows propôs um critério que se baseia na SQres. De acordo com esse critério,
deve ser calculado para cada subconjunto das k regressoras, a correspondente SQres e,
então, obter:
Cp = SQres(p) – n + 2p,
σ2
sendo σ2 estimado pelo QMres do modelo com as k regressoras e p o número de
parâmetros em cada modelo.
Para o modelo com todas as regressoras tem-se Cp = p. Geralmente, valores
pequenos de Cp são desejáveis. Modelos de regressão com Cp próximos da linha Cp = p
e abaixo dela são candidatos ao melhor modelo.
5.18.2 Técnicas para Seleção de Variáveis

5.18.2.1 Todas as Regressões Possíveis
Esse procedimento requer que o analista ajuste todas as equações de
regressão envolvendo uma regressora, duas regressoras e, assim sucessivamente. As
equações são, então, avaliadas de acordo com os critérios mencionados na Seção 6.8.2,
ou uma ponderação deles, sendo o melhor modelo escolhido de acordo com os
resultados de tais critérios. É claro que o número de equações cresce rapidamente com o
aumento do número de regressoras. Se k =10, por exemplo, têm-se 210 = 1024
regressões possíveis.
5.18.2.2 Pesquisa Direta dos Resultados dos Testes t

A estatística de teste t usada para testar a hipótese H0: βj = 0 para o modelo

com todas as k regressoras é dado por tj = β j /d.p.( β j ). Regressoras com contribuição
significativa para o modelo apresentarão p-valores pequenos associados aos tj’s (j = 1, ...
k), e devem, assim, fazer parte do subconjunto das melhores regressoras. Logo, fixar um
nível de significância α, ordenar as regressoras de acordo com a ordem crescente de
seus p-valores associados aos valores calculados tj’s e, então, incluí-las, uma a uma, no
modelo enquanto p-valor ≤ α, deve levar ao melhor modelo ou, pelo menos, a um dos
possíveis melhores modelos.
Esta estratégia de seleção é frequentemente muito efetiva quando o número de
regressoras é relativamente grande (k > 20 ou 30).
5.18.2.3 Métodos Computacionais

Como em algumas situações o procedimento que avalia todas as regressões
possíveis é muito árduo, vários outros métodos têm sido propostos para a avaliação de
um número menor de modelos de regressão, seja pela adição seja pela retirada de
regressoras em cada passo. Esses métodos são classificados em: i) seleção passo à frente
(forward), ii) seleção passo atrás (backward) e iii) seleção passo a passo (stepwise). A
seguir, cada um deles é descrito em mais detalhes.
i) Método passo à frente (forward): Esse método começa sem nenhuma

regressora no modelo de regressão. Um nível de significância α é, então, estabelecido a
fim de que somente regressoras que apresentem significância menor ou igual a α
possam fazer parte do modelo. Têm-se, assim, os seguintes passos:
Passo 1: a primeira regressora a entrar no modelo é a que apresentar maior correlação
simples com a resposta Y, isto é, maior rYXj (j = 1, ..., k) ou, equivalentemente, o menor
p-valor associado ao teste F tal que p-valor ≤ α pré-estabelecido.
Passo 2: a segunda regressora a entrar no modelo é, agora, a com maior correlação
parcial com a resposta Y, isto é, maior rYj•i para j ≠ i sendo i o índice da regressora
escolhida no primeiro passo. Em outras palavras, a segunda regressora escolhida é
aquela com maior estatística F parcial tal que p-valor ≤ α pré-estabelecido.
Passos Subsequentes: análogo ao segundo passo, as demais regressoras são inseridas,
uma a uma, no modelo até que, em um particular passo, todas as regressoras que ainda
não estevirem no modelo apresentem p-valores associados aos testes F parciais maiores
que α.
Note, nesse procedimento, que uma regressora escolhida em um determinado
passo, permanece no modelo até o passo final, não havendo a possibilidade de exclusão
da mesma em qualquer outro passo subseqüente.
ii) Método passo atrás (backward): Esse método começa com todas as k
regressoras no modelo. Um nível de significância α é, então, estabelecido a fim de que
somente regressoras que apresentem significância maior que α possam ser removidas do
modelo. Tem-se, assim:
Passo 1: para cada regressora é calculado a estatística F parcial como se ela fosse a
última regressora a entrar no modelo. A primeira regressora a ser removida do modelo
é aquela que apresentar o menor valor para a estatística F parcial ou, equivalentemente,
o maior p-valor associado a essa estatística tal que p-valor > α pré-estabelecido.
Passo 2 e Passos Subseqüentes: o modelo sem a regressora escolhida no primeiro
passo é ajustado e novas estatísticas F parcias são calculadas. O procedimento usado no
primeiro passo é, então, repetido até que todas as regressoras permanecendo no modelo
apresentem p-valores associados aos testes F parciais menores ou iguais a α.
Nesse procedimento, uma regressora removida em um determinado passo, não
tem a possibilidade de vir a ser incluída em qualquer outro passo subseqüente.
iii) Método passo a passo (stepwise): Assim como no procedimento de seleção

forward, esse procedimento começa sem nenhuma regressora no modelo de regressão.
Dois níveis de significância, α1 e α2, são então estabelecidos, um deles para ser usado
como critério de inclusão e, o outro, como critério de exclusão de regressoras. Alguns
analistas escolhem α1 = α2, mas isso não é necessário. Os passos usados nesse
procedimento são os seguintes:
Passo 1: a primeira regressora a entrar no modelo é a que apresentar maior correlação
simples com a resposta Y, isto é, maior rYXj (j = 1, ..., k) ou, equivalentemente, o menor
p-valor associado ao teste F tal que p-valor ≤ α1 pré-estabelecido.
Passo 2: a segunda regressora a entrar no modelo é a que apresentar maior correlação
parcial com a resposta Y, isto é, maior rYj•i para j ≠ i sendo i o índice da regressora
escolhida no primeiro passo. Em outras palavras, a segunda regressora escolhida é

aquela com maior estatística F parcial tal que p-valor ≤ α1 pré-estabelecido.
Passo 3 e Passos Subsequentes: todas as regressoras são reacessadas por meio de suas
respectivas estatísticas F parciais. Em havendo regressoras no modelo, segundo α2
estabelecido, que se mostrem redundantes na presença das demais, remove-se a que
apresentar menor significância para o modelo. Caso não existam regressoras a serem
removidas, analisam-se as estatísticas F parciais das regressoras que não estão no
modelo. Existindo, dentre elas, regressoras com p-valores ≤ α1, inclui-se a que
apresentar menor p-valor. O procedimento pára quando não mais houver, segundo os
níveis de significância α1 e α2 estabelecidos, regressoras que possam ser incluídas ou
excluídas do modelo de regressão.
Nesse procedimento, uma regressora incluída em um determinado passo, pode
ser removida em um passo posterior. Em cada passo pode ocorrer ou a inclusão ou a
exclusão de uma determinada regressora, nunca a inclusão de uma e a exclusão de outra
simultaneamente em um mesmo passo.
Comentários:
Os métodos de seleção passo à frente, passo atrás e passo a passo (forward,

backward e stepwise) não levam necessariamente a escolha do mesmo modelo final.
Recomenda-se que todos os procedimentos sejam aplicados na esperança de que
haja alguma concordância entre eles, ou mesmo para aprender algo mais sobre a
estrutura dos dados.
O método de seleção passo à frente (forward) tende a concordar com o de todas as
regressões possíveis para conjuntos pequenos de regressoras, enquanto o passo atrás
(backward) para conjuntos grandes de regressoras.
O modelo final obtido por qualquer um dos procedimentos deve ser analisado
quanto ao seu sentido prático. Analistas sem muita experiência podem concluir por
um modelo não realístico. Para o modelo escolhido sugere-se, portanto, que o
analista responda as questões a seguir.
1a) O modelo obtido é razoável? Isto é, as regressoras no modelo fazem sentido à

luz do problema real?
2a) O modelo é útil para o propósito pretendido? (custos para a coleta dos dados,
regressoras observáveis na prática etc.).
3a) Os coeficientes de regressão são razoáveis? Isto é, os sinais e magnitude dos
coeficientes são realísticos e seus erros-padrão relativamente pequenos?
4a) O modelo apresenta bom ajuste aos dados? (análise de resíduos, diagnóstico de
influência etc.).
5.19 Interpolações e Extrapolações

Em regressão linear múltipla, cuidado deve ser tomado quanto a extrapolações.
Somente interpolações são permitidas e, para fazê-las, não se deve olhar meramente
para a variação de cada regressora, mas sim para a região conjunta definida por elas,
como ilustrado na Figura 5.6.
região coberta por

X1 e X2
conjuntamente
X1
Figura 5.6 Região conjunta de X1 e X2.
Para verificar se uma observação xi = (1, xi1, xi2, ..., xik) pertence à região
conjunta, usa-se o seguinte procedimento baseado nos elementos hii da diagonal da
matriz H. Considere hmáx = maior valor de hii . O conjunto de pontos x que satisfizerem:
x’(X’X)-1x ≤ hmáx
estarão inclusos no elipsóide ou região conjunta definida pelas regressoras. Logo, se o
interesse for o de predizer Y em x0 = [1 x01 x02 .... x0k], a localização desse ponto
relativa ao elipsóide será obtida por h00 = x’0( X’X)-1x0. Se h00 > hmáx, x0 estará fora do
elipsóide. Caso contrário, dentro ou nos limites do elipsóide.
Exemplo: Para os dados da Tabela 5.4 pode-se observar um conjunto de quatro

regressoras, o que resulta em 24 = 16 possíveis equações de regressão (todas com
intercepto e sem a presença de interações).
Tabela 5.4 Dados observados em um estudo envolvendo quatro regressoras.
Observação i Yi Xi1 Xi2 Xi3 Xi4
1 78,5 7 26 6 60
2 74,3 1 29 15 52
3 104,3 11 56 8 20
4 87,6 11 31 8 47
5 95,9 7 52 6 33
6 109,2 11 55 9 22
7 102,7 3 71 17 6
8 72,5 1 31 22 44
9 93,1 2 54 18 22
10 115,9 21 47 4 26
11 83,8 1 40 23 34
12 113,3 11 66 9 12
13 109,4 10 68 8 12
Fonte: Montgomery e Peck, 1992.
Para cada uma das 16 regressões citadas, foram obtidos: SQres, R2, R2a, QMres e
Cp de Mallows. Os resultados são mostrados na Tabela 5.5. Tem-se, ainda, nas Tabelas
6.6 e 6.7, respectivamente, a matriz de correlações simples e os coeficientes estimados
para cada uma das 16 regressões consideradas.
Tabela 5.5 Resumo de todas as regressões possíveis com o intercepto e sem interações.
no de no de regressoras
regressoras parâmetros no modelo SQres R2p R2a QMres Cp
Nenhuma 1 Nenhuma 2715,76 0 0 226,31 443,14
1 2 X1 1265,68 0,5339 0,4915 115,06 202,55
1 2 X2 906,33 0,6662 0,6359 82,39 142,49
1 2 X3 1939,40 0,2858 0,2209 176,31 315,16
1 2 X4 883,86 0,6745 0,6449 80,35 138,73
2 3 X1 X2 57,90 0,9786 0,9744 5,79 2,68
2 3 X1 X3 1227,07 0,5481 0,4578 122,70 198,10
2 3 X1 X4 74,76 0,9724 0,9669 7,47 5,50
2 3 X2 X3 415,44 0,8470 0,8164 41,54 62,44

2 3 X2 X4 868,88 0,6800 0,6160 86,88 138,23
2 3 X3 X4 175,73 0,9352 0,9223 17,57 22,37
3 4 X1 X2 X3 48,11 0,9822 0,9763 5,34 3,04
3 4 X1 X2 X4 47,97 0,9823 0,9764 5,33 3,02
3 4 X1 X3 X4 50,83 0,9812 0,9750 5,64 3,50
3 4 X2 X3 X4 73,81 0,9728 0,9637 8,20 7,34
4 5 X1 X2 X3 X4 47,86 0,9823 0,9735 5,98 5,00
Tabela 5.6 Matriz de correlações simples.

X1 X2 X3 X4
X1 1,0
X2 0,229 1,0
X3 -0,824 -0,139 1,0
X4 -0,245 -0,973 0,030 1,0
Y 0,731 0,816 -0,535 -0,821
Tabela 5.7 Estimativas por MQ para as 16 regressões consideradas.

Regressoras no modelo β̂ 0 β̂1 β̂ 2 β̂ 3 β̂ 4
X1 81,479 1,869
X2 57,424 0,789
X3 110,203 -1,256
X4 117,568 -0,738
X1 X2 52,577 1,468 0,662
X1 X3 72,349 2,312 0,494
X1 X4 103,097 1,440 -0,614
X2 X3 72,075 0,731 -1,008
X2 X4 94,160 0,331 -0,457
X3 X4 131,282 -1,200 -0,724
X1 X2 X3 48,194 1,696 0,657 0,250
X1 X2 X4 71,648 1,452 0,416 -0,237
X1 X3 X4 111,684 1,052 -0,410 -0,643
X2 X3 X4 203,642 -0,923 -1,448 -1,557
X1 X2 X3 X4 62,405 1,551 0,102 -0,144
A partir da Tabela 5.7, observe que ao ser considerado somente a regressora X2

no modelo, a estimativa de seu efeito na esperança de Y é de 0,789. Se, contudo, X4 é
adicionada a esse modelo, esse efeito é reduzido para 0,311. Ainda, se X3 é adicionada
ao modelo contendo X2 e X4, o efeito de X2 muda para – 0,923. Fica, portanto, evidente
que a estimativa de um coeficiente depende muito de quais outras regressoras estão
presentes no modelo. As grandes mudanças observadas nos coeficientes quando
regressoras são adicionadas, ou removidas indicam a existência de substancial
correlação entre as regressoras, o que pode ser confirmado por meio da matriz de
correlações simples mostrada na Tabela 5.6. Note, a partir dessa matriz, que os pares
(X1, X3) e (X2, X4) encontram-se altamente correlacionados (multicolineares), visto as
correlações obtidas estarem próximas de –1. Essa estrutura de correlação é parcialmente
responsável pelas mudanças observadas nos coeficientes estimados e, sendo assim, a
multicolineridade está afetando consideravelmente a estimação dos parâmetros do
modelo. Conseqüentemente, adicionar outras regressoras seja quando X1 e X2, seja
quando X1 e X4 estiverem no modelo, será de pouca utilidade, visto que a informação
contida nas demais regressoras está essencialmente presente em X1 e X2 ou em X1 e X4.
Avaliando os modelos por meio dos coeficientes de determinação R2p, tem-se, a
partir dos resultados mostrados na Tabela 5.5, que após a inclusão de duas regressoras
no modelo, pouco se ganha em termos de R2 com a introdução de novas regressoras.
Ambos os modelos com 2 regressoras, Y em (X1, X2) e Y em (X1, X4), apresentam
essencialmente o mesmo R2. Com base nesse critério, faria pouca diferença na escolha
de um ou outro.
Considerando, agora, o critério de maximizar R2a, que é equivalente a minimizar
o QMres, é possível observar, também a partir da Tabela 5.5, que o modelo com menor
QMres é o que contém as regressoras X1, X2 e X4 (QMres = 5,33). Observe, como
esperado, que o modelo que minimiza o QMres é também o que maximiza R2a. Pode-
se, ainda, observar, desta mesma tabela, que dois outros modelos com três regressoras
(Y em X1, X2 e X3 e Y em X1, X3 e X4) e dois outros modelos com duas regressoras (Y
em X1 e X2 e Y em X1 e X4) apresentam valores para o QMres comparáveis. Se X1 e X2
ou X1 e X4 estiverem no modelo, existe pequena redução no QMres com a adição de
outras regressoras. Por esse critério e, entre os dois últimos modelos mencionados, o
modelo Y em X1 e X2 parece ser mais apropriado por apresentar menor QMres.
Pelo critério de Mallows, observam-se quatro modelos considerados aceitáveis
(modelos com Cp < p = 5). Se outros fatores forem levados em consideração, tais como,
por exemplo, custos e dificuldades na obtenção das medidas, parece ser mais apropriado
escolher o modelo Y em X1 e X2 por este apresentar menor Cp.
Os Quadros 5.3, 5.4 e 5.5 mostram, respectivamente, os resultados dos métodos
de seleção passo à frente, passo atrás e passo a passo aplicados aos dados da Tabela 5.4.
A partir dos resultados, tem-se:
a) modelo resultante da seleção passo à frente (forward): Y em X4, X1 e X2

b) modelo resultante da seleção passo atrás (backward): Y em X1 e X2
c) modelo resultante da seleção passo a passo (stepwise): Y em X1 e X2.
Quadro 5.3 Resultados obtidos no software R para a seleção passo à frente (forward).
Start: AIC= 443.14
Y ~ 1
Df Sum of Sq RSS Cp F value Pr(F)
+ X4 1 1831.90 883.87 138.8038 22.7985 0.0005762 ***
+ X2 1 1809.43 906.34 142.5613 21.9606 0.0006648 ***
+ X1 1 1450.08 1265.69 202.6533 12.6025 0.0045520 **
+ X3 1 776.36 1939.40 315.3145 4.4034 0.0597623 .
<none> 2715.76 443.1410
Step: AIC= 138.8
Y ~ X4
+ X1 1 809.10 74.76 5.5020 108.2239 1.105e-06 ***
+ X3 1 708.13 175.74 22.3876 40.2946 8.375e-05 ***
+ X2 1 14.99 868.88 138.2977 0.1725 0.6867
<none> 883.87 138.8038
Step: AIC= 5.5
Y ~ X4 + X1
+ X2 1 26.789 47.973 3.0222 5.0259 0.05169 .
+ X3 1 23.926 50.836 3.5010 4.2358 0.06969 .
<none> 74.762 5.5020
Step: AIC= 3.02
Y ~ X4 + X1 + X2
<none> 47.973 3.0222
+ X3 1 0.109 47.864 5.0040 0.0182 0.896
Call:
lm(formula = Y ~ X4 + X1 + X2)
Coefficients:
(Intercept) X4 X1 X2
71.6483 -0.2365 1.4519 0.4161
Quadro 5.4 Resultados da seleção passo atrás (backward) obtidos no software R.

Start: AIC= 5
Y ~ X1 + X2 + X3 + X4
- X3 1 0.109 47.973 3.0222 0.0182 0.89592
- X4 1 0.247 48.111 3.0453 0.0413 0.84407
- X2 1 2.972 50.836 3.5010 0.4968 0.50090
<none> 47.864 5.0040
- X1 1 25.951 73.815 7.3436 4.3375 0.07082 .
Step: AIC= 3.02

Y ~ X1 + X2 + X4
- X4 1 9.93 57.90 2.6830 1.8633 0.20540
<none> 47.97 3.0222
- X2 1 26.79 74.76 5.5020 5.0259 0.05169 .
- X1 1 820.91 868.88 138.2977 154.0076 5.781e-07 ***
Step: AIC= 2.68
Y ~ X1 + X2
<none> 57.90 2.683
- X1 1 848.43 906.34 142.561 146.523 2.692e-07 ***
- X2 1 1207.78 1265.69 202.653 208.582 5.029e-08 ***
Call:
lm(formula = Y ~ X1 + X2, data = exe5)
Coefficients:
(Intercept) X1 X2
52.5773 1.4683 0.6623
Quadro 5.5 Resultados da seleção passo a passo (stepwise) obtidos no software R.

Start: AIC= 443.14
Y ~ 1
+ X4 1 1831.90 883.87 138.8038 22.7985 0.0005762 ***
+ X2 1 1809.43 906.34 142.5613 21.9606 0.0006648 ***
+ X1 1 1450.08 1265.69 202.6533 12.6025 0.0045520 **
+ X3 1 776.36 1939.40 315.3145 4.4034 0.0597623 .
<none> 2715.76 443.1410
Step: AIC= 138.8
Y ~ X4
+ X1 1 809.10 74.76 5.5020 108.2239 1.105e-06 ***
+ X3 1 708.13 175.74 22.3876 40.2946 8.375e-05 ***
+ X2 1 14.99 868.88 138.2977 0.1725 0.6866842
<none> 883.87 138.8038
- X4 1 1831.90 2715.76 443.1410 22.7985 0.0005762 ***
Step: AIC= 5.5
Y ~ X4 + X1
+ X2 1 26.79 47.97 3.0222 5.0259 0.05169 .
+ X3 1 23.93 50.84 3.5010 4.2358 0.06969 .
<none> 74.76 5.5020
- X1 1 809.10 883.87 138.8038 108.2239 1.105e-06 ***
- X4 1 1190.92 1265.69 202.6533 159.2952 1.815e-07 ***
Step: AIC= 3.02
Y ~ X4 + X1 + X2
- X4 1 9.93 57.90 2.6830 1.8633 0.20540
<none> 47.97 3.0222
+ X3 1 0.11 47.86 5.0040 0.0182 0.89592
- X2 1 26.79 74.76 5.5020 5.0259 0.05169 .
- X1 1 820.91 868.88 138.2977 154.0076 5.781e-07 ***
Step: AIC= 2.68
Y ~ X1 + X2
<none> 57.90 2.6830
+ X4 1 9.93 47.97 3.0222 1.8633 0.2054
+ X3 1 9.79 48.11 3.0453 1.8321 0.2089
- X1 1 848.43 906.34 142.5613 146.5227 2.692e-07 ***
- X2 1 1207.78 1265.69 202.6533 208.5818 5.029e-08 ***
Call:
lm(formula = Y ~ X1 + X2)
Coefficients:
(Intercept) X1 X2
52.5773 1.4683 0.6623
Observe que não existe uma escolha clara da melhor equação de regressão, visto
que cada método sugere, em geral, modelos diferentes. Todos são candidatos ao modelo
final e devem ser analisados quanto suas respectivas adequacidades, pontos influentes,
efeito de multicolinearidade etc.
Com base em uma ponderação dos resultados obtidos quando da utilização dos
critérios e métodos de seleção, parece razoável a indicação de dois modelos como
candidatos ao melhor modelo. São eles, o modelo Y em X1 e X2 seguido do modelo Y
em X1 e X4. Uma análise desses dois modelos quanto a sua adequacidade (análise de
resíduos, pontos influentes, necessidade de interação etc.) certamente auxiliará na
decisão de escolha do modelo final.
5.20 Validação dos Modelos de Regressão

Para todo modelo ajustado deve ser verificado, de algum modo, sua validade. O
objetivo da validação de um modelo é o de verificar se ele funcionará na prática
fornecendo, assim, uma proteção tanto para o modelo ajustado quanto para o usuário.
5.20.1 Técnicas de Validação dos Modelos

Três procedimentos são úteis para verificar a validade de um modelo:
1) Análise dos coeficientes do modelo e dos valores preditos por meio de:
- comparações com experimentos anteriores, quando existirem;
- resultados de simulação.
2) Coleta de novos dados para verificar o desempenho preditivo do modelo.
3) Partição dos dados, que consiste em deixar parte dos dados originais fora da análise
para investigar o desempenho preditivo do modelo com a parte não utilizada no ajuste.
As técnicas de validação citadas são úteis seja para dados de experimentos não
planejados, seja para dados de experimentos planejados. O planejamento é sempre
importante por ajudar a minimizar problemas quanto, dentre outros,
• a fatores importantes não serem deixados de lado;
• a identificação apropriada da variação (range) dos fatores.
Em experimentos planejados é comum a inclusão de um conjunto extra de
observações para a verificação do desempenho preditivo do modelo ajustado.
CAPÍTULO 6
Regressão Polinomial
6.1 Introdução
O modelo de regressão polinomial é um caso especial do modelo de regressão
linear geral Y = Xβ + ε, em que uma, ou mais regressoras, podem estar presentes no
modelo em diversas potencias.
Nesses modelos é usual que as regressoras sejam expressas como o desvio de

suas respectivas médias, isto porque nos modelos polinomiais termos como X e X2,
apresentam naturalmente alta correlacão. Expressar as regressoras como o desvio de sua
média pode, em muitos casos, amenizar os problemas decorrentes da presença de
multicolineridade nos modelos polinomiais. Em outros casos, mesmo centrando as
regressoras na média, pode-se continuar tendo termos altamente correlacionados.
Nesses casos, os polinômios ortogonais, descritos a seguir, podem ser úteis.
6.2 Polinômios Ortogonais com Uma Regressora
Considere um modelo polinomial com uma única regressora X expresso por Yi =

β0 + β1xi + β2xi2 + .. + βrxir + εi (i = 1, .., n). Para esse modelo, as colunas da matriz X
são, em geral, não ortogonais. Ainda, aumentar a ordem do polinômio por adicionar um
termo βr+1xir+1, implica em recalcular a inversa (X´X)-1 obtendo-se estimativas dos

parâmetros de ordem menor diferentes das obtidas no modelo sem esse termo.
Se, no entanto, for ajustado o modelo:
Yi = α0 P0 (xi) + α1P1(xi) + α2P2(xi) + .... + αrPr(xi) + εi

com Pu(xi) a u-ésima ordem do polinômio ortogonal definido de tal modo que,
n
∑ P (x ) P (x ) = 0
i=1
q i s i (q ≠ s; q, s = 0, 1, .., r )
P0 (xi) = 1,
o modelo passa a ser representado por Y = Xα + ε, em que a matriz X é composta de
colunas ortogonais tal que:
⎡ P0 ( x1 ) P1 ( x1 ) " Pr ( x1 ) ⎤
⎢ P ( x ) P ( x ) " P ( x )⎥
⎢ 0 2 1 2 r 2 ⎥
X= ⎢ # # # # ⎥
⎢ ⎥
⎣ P0 ( xn ) P1 ( xn ) " Pr ( xn )⎦
e, portanto, tem-se:
⎡ n 2 ⎤
⎢∑ P0 ( xi ) 0 " 0 ⎥
⎢ i =1 n ⎥
⎢ ⎥
X’X = ⎢
0 ∑
i =1
2
P1 ( xi ) " 0
⎥.
⎢ # # # 0 ⎥
⎢ n ⎥
⎢ 0 0 " ∑ Pr2 ( xi )⎥
⎣⎢ i =1 ⎦⎥
Procedimentos de ortogonalização (ex: Gram-Schmidt) podem ser utilizados

para obtenção dos polinomiais Pu(xi), u = 1, ..., r. Se os valores (níveis) de X forem
igualmente espaçados, os cinco primeiros polinomiais podem ser obtidos por:
P0 (xi) = 1
⎡x − x⎤
P1 (xi) = λ1 ⎢ i ⎥
⎣ d ⎦
⎡⎛ x i − x ⎞ 2 ⎛ n 2 − 1 ⎞⎤
P2 (xi) = λ2 ⎢⎜ ⎟ − ⎜⎜ ⎟⎟⎥
⎢⎣⎝ d ⎠ ⎝ 12 ⎠⎥⎦
⎡⎛ x i − x ⎞ 3 ⎛ x i − x ⎞⎛ 3n 2 − 7 ⎞⎤
P3 (xi) = λ3 ⎢⎜ ⎟ −⎜ ⎟⎜⎜ ⎟⎟⎥
⎣⎢⎝ d ⎠ ⎝ d ⎠⎝ 20 ⎠⎦⎥
⎡⎛ x i − x ⎞ 4 ⎛ x i − x ⎞ 2 ⎛ 3n 2 − 13 ⎞ 3(n 2 − 1)(n 2 − 9) ⎤
P4 (xi) = λ4 ⎢⎜ ⎟ −⎜ ⎟ ⎜⎜ ⎟⎟ + ⎥
⎢⎣⎝ d ⎠ ⎝ d ⎠ ⎝ 14 ⎠ 560 ⎥⎦
sendo d o espaçamento entre os níveis de X, n o tamanho amostral e λ1, ..., λ4
constantes escolhidas de modo aos polinomiais apresentarem valores inteiros.
Os estimadores de MQ de α são encontrados por:

n
∑ Pj (x i ) y i
αˆ = (X' X)−1 X' y e, portanto, αˆ j = i =1 para j = 0, 1, .., r.
n
∑ P j2 ( x i )
i =1
Como P0(xi ) = 1, segue que α̂ 0 = y . Tem-se, ainda:
r ⎡ n ⎤
SQres(r) = y’y - ∑ ∑ αˆ j ⎢ P j ( x i ) y i ⎥ ,
⎢⎣ i=1 ⎥⎦
j=1
e a soma de quadrados da regressão para qualquer parâmetro do modelo, a qual não

depende dos outros parâmetros no modelo, é dada por:
n
SQreg (αj) = αˆ j ∑ P j ( x i ) y i .
i =1
Para testar a significância do termo de ordem mais alta, isto é, testar H0: αr = 0,
usa-se a estatística de teste F dada por:
SQreg(α r )
F0 = .
SQres(r ) /(n − r − 1)
Note que se a ordem do polinômio é alterada para r + q, somente os q novos

coeficientes precisam ser calculados, uma vez que os r coeficientes no modelo não
mudam devido à propriedade de ortogonalidade dos polinomiais. Assim, um ajuste
seqüencial do modelo é computacionalmente fácil.
Para valores de X não igualmente espaçados, polinômios ortogonais podem ser
obtidos por outros procedimentos de ortogonalização tal como, por exemplo, o de
Gram-Schmidt. A função poly disponível no software R utiliza tal procedimento e pode
pode ser utilizada para obtenção de polinômios ortogonais Pj(xi) seja nos casos em que
os valores de X são ou não igualmente espaçados.
6.3 Exemplos
6.3.1 Exemplo 1
Considere os dados apresentados na Tabela 6.1 em que se tem uma variável
resposta Y e uma única regressora X, ambas contínuas.
Tabela 6.1 Dados de um exemplo contendo a resposta Y e uma regressora X.

Observação Y X Xb = (X – X ) X b2
1 6.3 1.0 -6.263 39.228
2 11.1 1.5 -5.763 33.214
3 20.0 2.0 -5.263 27.701
4 24.0 3.0 -4.263 18.175
5 26.1 4.0 -3.263 10.648
6 30.0 4.5 -2.763 7.635
7 33.8 5.0 -2.263 5.122
8 34.0 5.5 -1.763 3.109
9 38.1 6.0 -1.263 1.596
10 39.9 6.5 -0.763 0.582

11 42.0 7.0 -0.263 0.069
12 46.1 8.0 0.737 0.543
13 53.1 9.0 1.737 3.016
14 52.0 10.0 2.737 7.490
15 52.5 11.0 3.737 13.964
16 48.0 12.0 4.737 22.437
17 42.8 13.0 5.737 32.911
18 27.8 14.0 6.737 45.384
19 21.9 15.0 7.737 59.858
A partir do diagrama de dispersão desses dados mostrado no gráfico à

esquerda da Figura 6.1, pode-se observar que uma relação quadrática entre Y e X parece
ser apropriada. Este fato sugere o ajuste de um modelo polinomial de 2a ordem em X.
Figura 6.1 Diagrama de dispersão de Y versus X (esquerda) e Y versus Xb (direita).

Para os dados desse estudo, observa-se, contudo, uma alta correlação entre X e
X2 (r = 0,9703), o que é muito comum nesses casos. O VIF também resultou em 17,12
evidenciando que os parâmetros podem ser pobremente estimados se X e X2 forem
usadas conjuntamente no modelo. Se, contudo, for considerada a variável X centrada
em sua média, isto é, Xb = (X - X ), tem-se uma correlação entre Xb e (Xb)2 de 0,2974,
bem como VIF = 1,09. Sendo assim, é recomendável o uso de Xb e (Xb)2 no modelo, a
fim de amenizar os efeitos causados pela colinearidade observada entre X e X2.
Observe, a partir do gráfico à direita na Figura 6.1, que centrar a variável X em
sua média, não altera a relação quadrática entre as variáveis Y e X. Há apenas um
deslocamento dos dados no eixo x. Considerando, então, o modelo de regressão
polinomial Y em Xb e Xb2 foi obtido os resultados apresentados nos Quadros 6.1 e 6.2 e
Figura 6.2.
Quadro 6.1 Análise de variância do modelo de regressão polinomial.
Df Sum Sq Mean Sq F value Pr(>F)
Xb 1 1043.43 1043.43 53.399 1.759e-06
Xb2 1 2060.81 2060.81 105.466 1.895e-08
Residuals 16 312.64 19.54
Quadro 6.2 Estimativas dos coeficientes e outros resultados relevantes.

Estimate Std. Error t value Pr(>|t|)
(Intercept) 45.29449 1.48287 30.55 1.29e-15
Xb 2.54629 0.25384 10.03 2.63e-08
Xb2 -0.63455 0.06179 -10.27 1.89e-08
Residual standard error: 4.42 on 16 degrees of freedom

Multiple R-Squared: 0.9085, Adjusted R-squared: 0.8971
F-statistic: 79.43 on 2 and 16 DF, p-value: 4.913e-09
Figura 6.2 Análise de resíduos do modelo polinomial de 2a ordem.
A partir dos resultados apresentados, é possível observar que o coeficiente de

determinação mostrou-se satisfatório (R2 = 0,9085). A análise de resíduos também
encontra-se razoável, levando-se em conta o tamanho amostral ser relativamente
pequeno. Os resultados do diagnóstico de influência (não mostrado) indicaram as
observações 1, 2 e 19 como merecedoras de investigação junto ao pesquisador. O
modelo ajustado aos dados desse estudo, expresso por:
ŷ = 45,295 + 2,546 (x – x ) – 0,635 (x – x )2
encontra-se representado, juntamente com os valores observados, na Figura 6.3.
Figura 6.3 Dados observados e modelo polinomial ajustado.
6.3.2 Exemplo 2
Considere, agora, os dados apresentados na Tabela 6.2 de um outro exemplo em
que Y é o custo anual médio de manutenção de um equipamento e X a produção desse
equipamento.
Tabela 6.2 Dados sobre produção de um equipamento e custo de manutenção.

Y = custo anual médio X = produção
(em dólares) (em unidades) P1(xi) P2(xi)
335 50 -9 6
326 75 -7 2
316 100 -5 -1
313 125 -3 -3
311 150 -1 -4
314 175 1 -4
318 200 3 -3
328 225 5 -1
337 250 7 2
345 275 9 6
Fonte: Montgomery e Peck (1992).
A partir do diagrama de dispersão, mostrado na Figura 7.4, pode-se observar

uma relação quadrática entre Y e X, sugerindo o ajuste de um modelo polinomial de 2a
ordem. Tem-se, ainda, uma alta correlação entre que X e X2 (r = 0,9815) e VIF igual a
27,406, o que indica possíveis problemas na estimação dos parâmetros devido a
presença de colinearidade entre essas variáveis. Por esse fato, bem como por se ter os
níveis de X igualmente espaçados, será utilizado os polinômios ortogonais P1(xi) e
P2(xi) apresentados na Seção 7.2. Os valores desses polinomiais encontram-se na Tabela
6.2, em que foram usados λ1 = 2, λ2 = ½, d = 25 e x =162,5. Observe que a correlação
entre P1(xi) e P2(xi) é igual a zero, uma vez que os mesmos foram obtidos de modo a
serem ortogonais.
Figura 6.4 Diagrama de dispersão de Y versus X
Usando-se, então, os polinômios ortogonais P1(xi) e P2(xi) foram obtidos os

resultados mostrados nos Quadros 6.3 e 6.4 e Figura 6.5.
Quadro 6.3 Análise de variância do modelo de regressão polinomial.

P1 1 181.89 181.89 47.717 0.0002297 ***
P2 1 1031.52 1031.52 270.606 7.483e-07 ***
Residuals 7 26.68 3.81

(Intercept) 324.3000 0.6174 525.262 < 2e-16 ***
P1 0.7424 0.1075 6.908 0.000230 ***
P2 2.7955 0.1699 16.450 7.48e-07 ***

Figura 6.5 Análise de resíduos do modelo polinomial de 2a ordem.
A análise de variância apresentada no Quadro 6.3 mostra que os termos linear e

quadrático contribuem significativamente para o modelo de regressão. Os mesmos,
conjuntamente, explicam 97,85% da variabilidade total de Y. A análise de resíduos
(Figura 6.5) parece razoável, levando-se em conta o tamanho amostral (n = 10) desse
estudo. O diagnóstico de pontos influentes mostrou que a observação 10 merece
investigação adicional.
O modelo ajustado em termos dos polinôminos ortogonais, bem como em
termos da regressora original, são expressos, respectivamente, por:
ŷ = 324,30 + 0,7424 P1(x) + 2,7955 P2(x)
e
⎛ x − 162,50 ⎞ ⎡⎛ x − 162,50 ⎞ ⎛ 10 2 − 1 ⎞⎤
ŷ = 324,30 + 0,7424 (2) ⎜ ⎟ + 2,7955 (1/2) ⎢⎜ ⎟ − ⎜⎜ ⎟⎥
⎟⎥
⎝ 25 ⎠ ⎢⎣⎝ 25 ⎠ ⎝ 12 ⎠⎦
= 312,7686 + 0,0595(x – 162,50) + 0,0022 (x – 162,50)2.
A Figura 6.6 mostra os valores observados e o modelo ajustado, podendo-se observar
que o modelo apresenta um bom ajuste aos dados.
Figura 6.6 Dados observados e polinomial ajustado.

6.4 Regressão Polinomial Com Mais de Uma Regressora

Considere os dados a seguir referentees ao diâmetro (girth), altura (height) e
volume de madeira, em pés cubicos (cubic ft), de 31 árvores black cherry que foram
derrubadas. Os diâmetros das árvores foram medidos entre 4 e 6 pés (ft) do chão e são
fornecidos em polegadas (inch).
Tree Girth Height Volume tree Girth Height Volume
1 8.3 70 10.3 17 12.9 85 33.8
2 8.6 65 10.3 18 13.3 86 27.4
3 8.8 63 10.2 19 13.7 71 25.7
4 10.5 72 16.4 20 13.8 64 24.9
5 10.7 81 18.8 21 14.0 78 34.5
6 10.8 83 19.7 22 14.2 80 31.7
7 11.0 66 15.6 23 14.5 74 36.3
8 11.0 75 18.2 24 16.0 72 38.3
9 11.1 80 22.6 25 16.3 77 42.6
10 11.2 75 19.9 26 17.3 81 55.4
11 11.3 79 24.2 27 17.5 82 55.7
12 11.4 76 21.0 28 17.9 80 58.3
13 11.4 76 21.4 29 18.0 80 51.5
14 11.7 69 21.3 30 18.0 80 51.0
15 12.0 75 19.1 31 20.6 87 77.0
16 12.9 74 22.2 .
Para seis modelos ajustados foram obtidas, no R, as saídas computacionais a seguir:

Modelo 1
lm(formula = Volume ~ Height )
Residuals:
Min 1Q Median 3Q Max
-21.274 -9.894 -2.894 12.067 29.852
(Intercept) -87.1236 29.2731 -2.976 0.005835
Height 1.5433 0.3839 4.021 0.000378

F-statistic: 16.16 on 1 and 29 DF, p-value: 0.0003784
Modelo 2
lm(formula = Volume ~ Girth)
Residuals:
-8.0654 -3.1067 0.1520 3.4948 9.5868
(Intercept) -36.9435 3.3651 -10.98 7.62e-12
Girth 5.0659 0.2474 20.48 < 2e-16

F-statistic: 419.4 on 1 and 29 DF, p-value: < 2.2e-16
Modelo 3
lm(formula = Volume ~ Height + Girth)
Residuals:
-6.4065 -2.6493 -0.2876 2.2003 8.4847
(Intercept) -57.9877 8.6382 -6.713 2.75e-07 ***
Height 0.3393 0.1302 2.607 0.0145 *
Girth 4.7082 0.2643 17.816 < 2e-16 ***
F-statistic: 255 on 2 and 28 DF, p-value: < 2.2e-16
Modelo 4
lm(formula = Volume ~ Height + Girth + I(Girth^2))
Residuals:
-4.2928 -1.6693 -0.1018 1.7851 4.3489

(Intercept) -9.92041 10.07911 -0.984 0.333729
Height 0.37639 0.08823 4.266 0.000218
Girth -2.88508 1.30985 -2.203 0.036343
I(Girth^2) 0.26862 0.04590 5.852 3.13e-06

Modelo 5
lm(formula = Volume ~ Girth + I(Girth^2) + I(Girth^3))
Residuals:
-5.4462 -2.3220 -0.4896 2.0225 7.4458

(Intercept) -23.51838 39.47162 -0.596 0.556
Girth 5.78006 8.83752 0.654 0.519
I(Girth^2) -0.32563 0.64248 -0.507 0.616
I(Girth^3) 0.01374 0.01515 0.907 0.373

Modelo 6
lm(formula = Volume ~ Height+I(Height^2)+Girth+I(Girth^2))
Residuals:
-4.3679 -1.6698 -0.1580 1.7915 4.3581
(Intercept) -0.955101 63.013630 -0.015 0.988
Height 0.119372 1.784588 0.067 0.947
I(Height^2) 0.001717 0.011905 0.144 0.886
Girth -2.796569 1.468677 -1.904 0.068
I(Girth^2) 0.265446 0.051689 5.135 2.35e-05

A partir dos resultados apresentados para os modelos ajustados, observa-se o

modelo 4 como sendo candidato ao mais adequado. Análise dos VIF’s associados a esse
modelo revelam, no entanto, valores maiores que 10. Contudo, se a variável Girth for
centrada em sua média (Gb = Girth - G ), todos os VIF’s tornam-se < 10, como pode ser
observado a seguir.
Regressora Height Girth (Girth)2
VIF 1.3763 73.5750 72.4690
Regressora Height Gb (Gb)2
VIF 1.3763 1.6525 1.2438
Os principais resultados para o modelo 4 com a variável Girth centrada em sua

média, são apresentados a seguir e mostram que este modelo apresenta, em geral, um
ajuste satisfatório as dados desse estudo.
Modelo Final
lm(Volume~Height+Gb+I(Gb^2),data=trees)
Residuals:
-4.2928 -1.6693 -0.1018 1.7851 4.3489

(Intercept) -0.99450 6.76765 -0.147 0.884264
Height 0.37639 0.08823 4.266 0.000218 ***
Gb 4.23255 0.19630 21.561 < 2e-16 ***
I(Gb^2) 0.26862 0.04590 5.852 3.13e-06 ***

CAPÍTULO 7
Variáveis Dummy em Regressão
7.1 Introdução
Em uma análise de regressão, as regressoras são usualmente quantitativas. Em
diversos estudos, contudo, não é incomum que algumas delas sejam qualitativas. Por
exemplo: estação do ano, turno de trabalho, sexo etc. Uma regressora qualitativa não
apresenta, em geral, uma escala de medida natural, mas sim níveis ou categorias. Para
quantificar o efeito das categorias de uma regressora qualitativa na resposta Y é usual
que regressoras dessa natureza sejam incorporadas aos modelos de regressão por meio
de variáveis indicadoras, também denominadas de variáveis dummy.
Dentre as diversas maneiras de quantificar o efeito na esperança de Y das
categorias de uma variável qualitativa, uma delas é fazer uso de variáveis indicadoras
que tomam valores 0 e 1. Como ilustração, considere um experimento em que se tenha a
resposta Y e as regressoras X1, de natureza contínua, e X2, de natureza qualitativa com
dois níveis ou categorias, nível 1 e nível 2. Para incorporar a regressora X2 ao modelo
de regressão, de modo que o efeito na esperança de Y de cada um de seus níveis possa
ser quantificado, define-se a seguinte variável indicadora ou dummy:
X2 = 0 se nível 1
1 se nível 2.
Será visto adiante, que considerar a regressora X2 desta forma no modelo de
regressão, conduz a interpretações simples dos parâmetros a ela associados. Em geral,
uma regressora qualitativa com m níveis ou categorias é representada por m – 1
variáveis indicadoras, cada qual tomando os valores 0 e 1.
7.2 Exemplo: Variável Categórica com Dois Níveis

Suponha que um engenheiro mecânico tenha por interesse relacionar a vida
efetiva de uma ferramenta de corte usada em um torno mecânico com a velocidade do
torno em rpm (rotações por minuto) e com o tipo de ferramenta de corte utilizada (tipo
A ou B). Os dados são apresentados a seguir:
Y X1 X2 Y X1 X2
vida efetiva velocidade tipo vida efetiva velocidade tipo
(horas) (rpm) ferramenta (horas) (rpm) ferramenta
18.73 610 A 30.16 670 B
14.52 950 A 27.09 770 B
17.43 720 A 25.40 880 B
14.54 840 A 26.05 1000 B
13.44 980 A 33.49 760 B
24.39 530 A 35.62 590 B
13.34 680 A 26.07 910 B
22.71 540 A 36.78 650 B
12.68 890 A 34.95 810 B
19.32 730 A 43.67 500 B
Fonte: Montgomery e Peck (1992)
Note, nesse estudo, que a regressora X2 (tipo de ferramenta) é qualitativa com

dois níveis, A e B. Usando uma variável indicadora (dummy) para incorporá-la ao
modelo e quantificar o efeito de seus níveis na esperança de Y, tem-se:
0 se ferramenta do tipo A
X2 = 1 se ferramenta do tipo B.
Considerando-se o modelo E(Y| x ) = β0 + β1 x1 + β2 x2 segue que:
para x2 = 0 ⇒ E(Y | x ) = β0 + β1 x1
para x2 = 1 ⇒ E(Y | x ) = (β0 +β2) + β1x1.
Portanto, para o tipo de ferramenta A (x2 = 0), a relação entre a vida efetiva desta
ferramenta e a velocidade do torno é uma reta com intercepto β0 e inclinação β1.
Analogamente, para o tipo B, uma reta com intercepto (β0 + β2) e inclinação β1. Tem-se,
assim, duas retas paralelas, isto é, duas retas com inclinação comum β1 e interceptos
diferentes. Para x1 fixo, o parâmetro β2 expressa a mudança na esperança do tempo de
vida, resultante da mudança da ferramenta do tipo A para a do tipo B. Intervalo de
confiança e teste de hipóteses para β2 são obtidos de forma análoga aos obtidos para os
parâmetros de um modelo de regressão com todas as regressoras quantitativas.
O uso de uma variável indicadora para incoporar uma regressora qualitativa com
dois níveis pode ser generalizada para regressoras qualitativas com mais do que dois
níveis. Considerando-se, por exemplo, três tipos de ferramentas (A, B e C), seriam
necessárias duas variáveis indicadoras para incorporar os três níveis no modelo. Essas
variáveis seriam expressas por:
X21 = 1 se ferramenta tipo A e X22 = 1 se ferramenta tipo B
0 em caso contrário 0 em caso contrário,
em que para as combinações possíveis de X21 e X21 tem-se:
X21 X22
1 0 Ferramenta tipo A
0 1 Ferramenta tipo B
0 0 Ferramenta tipo C.
O modelo fica então expresso por

E(Y| x) = β0 + β1 x1 + β2x21 +β3x22, (7.1)
de modo que:
X21 X22
1 0 E(Y| x) = (β0 +β2) + β1x1
0 1 E(Y| x) = (β0 +β3) + β1x1
0 0 E(Y| x) = β0 + β1x1
isto é, três retas paralelas com mesma inclinação e interceptos diferentes.
No modelo (8.1), para x1 fixo, o parâmetro β2 expressa a mudança no tempo de
vida médio resultante da mudança da ferramenta do tipo C para a do tipo A e, o
parâmetro β3, a mudança no tempo de vida médio resultante da mudança da ferramenta
do tipo C para a do tipo B.
Uma questão em estudos como o das ferramentas é a de porque optar em ajustar
um único modelo com variáveis dummy e não por um modelo de regressão linear para
cada tipo de ferramenta. Algumas considerações nesse sentido indicam que, em geral, é
preferível ajustar um único modelo por algumas razões. O analista tem somente uma
equação final, o que é mais prático. Ainda, ajustar um único modelo produz uma
estimativa comum da variância dos erros, bem como se tem mais graus de liberdade do
que se teria no ajuste de dois ou mais modelos de regressão lineares separados. Além
disso, se as retas forem de fato paralelas (mesma inclinação), faz sentido combinar os
dados para produzir uma estimativa comum desse parâmetro. Se, no entanto, as retas
não forem paralelas, a inclusão da interação entre as regressoras permite que esse fato
seja analisado. Modelos com variáveis dummy e interações que as envolvam são
discutidos a seguir.
7.3 Regressoras Categóricas e Interações

Considere, agora, que o modelo de regressão linear que relaciona o tempo de
vida das ferramentas com a velocidade do torno e o tipo de ferramenta (A e B), produza
retas em que tanto as inclinações quanto os interceptos sejam diferentes. Para modelar
essa situação, basta considerar no modelo a interação entre as regressoras, ou seja,
E(Y| x) = β0 + β1x1 + β2x2 +β3x1x2.
Observe que, como X2 assume somente os valores 0 e 1 tem-se:
para x2 = 0 (A) ⇒ E(Y| x) = β0 + β1x1
para x2 = 1 (B) ⇒ E(Y| x) = (β0 + β2) + (β1 +β3)x1
as quais são retas concorrentes. Nesse caso, o efeito na esperança de Y resultante da
mudança da ferramenta do tipo A para a do tipo B é de β2 + β3x1 unidades. Ou seja, o
efeito do tipo de ferramenta na esperança de Y depende da velocidade do torno (X1).
Para verificar se o efeito do tipo de ferramenta na esperança de Y realmente
depende da velocidade do torno, deve-se testar as hipóteses H0: β3 = 0 versus Ha: β3 ≠ 0.
A dependência será afirmativa se H0 for rejeitada.
Para os dados do estudo das ferramentas será visto adiante qual dos dois
modelos é o mais apropriado (com ou sem a interação).
7.3.1 Algumas Considerações sobre Variáveis Dummy

O uso de variáveis dummy para representar regressoras qualitativas em um
modelo de regressão é, em geral, mais indicado do que proceder a alocação de códigos
quaisquer às categorias dessas variáveis. A dificuldade básica com a alocação de
códigos é que eles definem uma métrica para os níveis da variável qualitativa, métrica
esta que pode não ser razoável.
Por exemplo, alocar arbitrariamente os códigos 1, 2 e 3 para uma regressora
qualitativa com três níveis, implica em assumir que a resposta muda, em média, a
mesma quantidade quando se passa de um nível para outro e, isso, pode não estar de
acordo com a realidade. Portanto, alocar códigos igualmente espaçados, ou não, aos
níveis de uma regressora qualitativa equivale a assumir distâncias arbitrárias, porém
definidas, entre os níveis. Variáveis indicadoras, em contraste, não impõem qualquer
métrica aos níveis da variável qualitativa. Elas dependem dos dados para mostrar os
efeitos diferenciais que ocorrem entre os níveis.
7.3.1.1 Exemplo
Suponha um experimento em que se tenha Y = a variável resposta (quantitativa)

e as regressoras X1 (quantitativa) e X2 (qualitativa com três níveis: A, B e C). Se forem
considerados os códigos 1, 2 e 3 aos níveis de X2 tem-se:
1 se nível A
X2 = 2 se nível B
3 se nível C.
Conseqüentemente, para o modelo E(Y | x) = β0 + β1x1 + β2x2 segue que:
para x2 = 1 (A) ⇒ E(Y | x) = (β0 + β2) + β1x1
para x2 = 2 (B) ⇒ E(Y | x) = (β0 + 2β2) + β1x1
para x2 = 3 (C) ⇒ E(Y | x) = (β0 + 3β2) + β1x1.
Assim, para um valor fixo x1, quando se muda, por exemplo, do nível A para o nível B,
a mudança na resposta média será de β2 unidades. Analogamente, de B para C, será
também igual a β2 unidades. Então, ao se usar os códigos 1, 2 e 3 impõe-se que a
resposta média muda a mesma quantidade quando se muda do nível A para B ou de B
para C. Isto pode não estar de acordo com a realidade, mas é resultado dos códigos 1, 2
e 3, que assumem distâncias iguais entre os três níveis.
Por outro lado, se forem utilizadas variáveis dummy, tal que:
X21 = 1 se nível A e X22 = 1 se nível B
0 caso contrário 0 caso contrário,
tem-se, para o modelo E(Y | x) = β0 + β1X1 + β2x21 + β3x22 que:
para x21 = 1 e x22 = 0 (A) ⇒ E(Y | x) = (β0 + β2) + β1x1
para x21 = 0 e x22 = 1 (B) ⇒ E(Y | x) = (β0 + β3) + β1x1
para x21 = 0 e x22 = 0 (C) ⇒ E(Y | x) = β0 + β1x1.
Logo, para um valor fixo x1, mudar do nível A para o B implica em uma mudança na
esperança de Y de (β3 – β2) unidades. Analogamente, de C para A, em uma mudança ou
efeito diferencial na esperança de Y de β2 unidades e, finalmente, de C para B, em uma
mudança na esperança de Y de β3 unidades. Note que não existem restrições arbitrárias
entre os efeitos diferenciais e, desse modo, as variáveis dummy são preferíveis aos
códigos alocados.
7.3.2 Outras Representações para Variáveis Dummy

Até o momento, para incorporar uma regressora qualitativa com m níveis em
um modelo de regressão foi utilizado m – 1 variáveis indicadoras do tipo 0 e 1, o que
implica em estabelecer uma das categorias como referência (a que recebeu 0). Assim, os
parâmetros estimados refletem efeitos diferenciais na resposta média de cada um dos
outros níveis em relação ao nível de referência. Outros possibilidades são, no entanto,
possíveis e são apresentados a seguir.
7.3.2.1 Alternativa 1
Em vez de usar variáveis indicadoras do tipo 0 e 1, estabelecendo um dos níveis da
variável qualitativa como referência, uma alternativa é usar variáveis indicadoras do
tipo 1 e –1. Nesse caso, a referência deixa de ser um dos níveis da variável qualitativa, e
passa a ser a média da resposta ao se considerar todos os níveis conjuntamente. Os
parâmetros estimados refletem, nesse caso, efeitos diferenciais na resposta média de
cada um dos níveis em relação a média de todos eles conjuntamente. Para uma variável
qualitativa com dois níveis, A e B, a variável dummy fica representada por:
1 se nível A
X2 =
– 1 se nível B.
Já para uma variável qualitativa com três níveis (A, B e C), tem-se:
1 se nível A 1 se nível B
X21 = – 1 se nível C e X22 = – 1 se nível C
0 caso contrário 0 caso contário,
de modo que:
Nível X21 X22
A 1 0
B 0 1
C –1 –1
7.3.2.2 Alternativa 2
Uma outra alternativa seria a de retirar o termo intercepto do modelo de
regressão e usar m variáveis qualitativas do tipo 0 e 1 para representar cada um dos m
níveis da variável. Assim, em um modelo em que a regressora X1 é quantitativa, e a
regressora X2 qualitativa com dois níveis (A e B), tem-se o modelo:
E(Y| x) = β1X1 + β2x21 + β3x22,
com: X21 = 1 se nível A e X22 = 1 se nível B
0 c. c. 0 c. c.
Nesse caso, as estimativas dos parâmetros refletem o efeito de cada nível diretamente
sobre a resposta esperada, e não o efeito diferencial em relação a um nível de referência
ou a média dos níveis.
Comentários:
a) A escolha por qualquer uma das três alternativas de variáveis dummy mencionadas,
conduzirá às mesmas conclusões.
b) Como já mencionado no Capítulo 4, não se pode comparar diretamente o coeficiente
de determinação obtido ao se usar o modelo de regressão sem o intercepto (R2(0)) com o
obtido ao se usar o modelo de regressão com o intercepto (R2). Veja Capítulo 4 para
mais detalhes.
7.4 Exemplo de Regressão com Uma Variável Dummy
A seguir, é apresentada a análise e discussão dos dados do tempo de vida de

ferramentas descrito na Seção 8.2.
7.4.1 Análise 1
Tomando-se m – 1 variáveis dummy do tipo 0 e 1 para representar X2 tem-se o
modelo:
E(Y| x) = β0 + β1x1 + β2x2 +β3 x1x2
em que X2 = 0 se ferramenta A e x1x2 representa a interação entre X1 e X2.
1 se ferramenta B
Os resultados para esse modelo apresentados no Quadro 7.1, mostra evidências
de que a interação entre as regressoras não é significativa (p-valor = 0,1955).
Quadro 7.1 Análise de variância do modelo com interação entre X1 e X2.
X1 1 293.01 293.01 33.2545 2.889e-05
X2B 1 1125.03 1125.03 127.6847 4.891e-09
X1:X2 1 16.08 16.08 1.8248 0.1955
Residuals 16 140.98 8.81
Desse modo, excluindo a interação, obtiveram-se os resultados apresentados no

Quadro 7.2, os quais nos permitem concluir que as regressoras X1 e X2 são significativas
(p-valores < 0,001) e devem permanecer no modelo.
Quadro 7.2 Análise de variância do modelo sem interação entre X1 e X2.
X1 1 293.01 293.01 31.716 2.990e-05
X2B 1 1125.03 1125.03 121.776 3.587e-09
Residuals 17 157.05 9.24
Para o modelo Y em X1 e X2 sem a presença de interação entre elas, estimativas

dos parâmetros e gráficos dos resíduos são mostrados no Quadro 7.3 e Figura 7.1.

(Intercept) 36.98560 3.51038 10.536 7.16e-09
X1 -0.02661 0.00452 -5.887 1.79e-05
X2B 15.00425 1.35967 11.035 3.59e-09
Figura 7.1 Análise dos resíduos do modelo Y em X1 e X2 (sem a interação).
A partir dos resultados, é possível observar que a análise de variância (Quadro

7.3), bem como a análise de resíduos (Figura 7.1) do modelo ajustado expresso por:
Ŷ = 36,986 – 0,027x1 + 15,004x2
apresentaram-se satisfatórias. O parâmetro β2, cuja estimativa é 15,004, indica que para
um valor fixo da velocidade do torno, há um aumento no tempo de vida médio de em
torno 15 horas ao se trocar a ferramenta do tipo A para a do tipo B. Uma estimativa
intervalar para β2 com 95% de confiança resultou em (12,135; 17,873) horas. Espera-se,
desse modo, com esse nível de confiança, que esse aumento no tempo de vida médio
esteja entre 12,135 e 17,873 horas.
As retas ajustadas para as ferramentas A e B apresentam, portanto, mesma
inclinação e interceptos diferentes (retas paralelas), e podem ser visualizadas na Figura
7.2 a seguir.
E(Y)
β0 + β2
ˆ = 51,99 – 0,027x1
tipo B: Y
β2
β0
ˆ = 36,986 – 0,027x1
tipo A: Y
X1
Figura 7.2 Representação gráfica das retas ajustadas as ferramentas A e B.
7.4.2 Análise 2
Considerando-se, agora, variáveis dummy do tipo 1 e –1 para representar X2, tem-
se o modelo E(Y| x) = β0 + β1x1 + β2x2 +β3 x1x2 sendo X2 = 1 se ferramenta A
–1 se ferramenta B.
Similar a análise anterior, a interação entre X1 e X2 não apresentou significância

estatística. Ajustando-se, então, o modelo sem a interação, foram obtidos os resultados
mostrados nos Quadros 7.4 e 7.5 e Figura 7.3.
Quadro 7.4 Análise de variância do modelo sem a interação.
X1 1 293.01 293.01 31.716 2.990e-05
X2 1 1125.03 1125.03 121.776 3.587e-09
Residuals 17 157.05 9.24

(Intercept) 44.48773 3.45947 12.860 3.47e-10
X1 -0.02661 0.00452 -5.887 1.79e-05
X2 -7.50213 0.67983 -11.035 3.59e-09

Figura 7.3 Análise dos resíduos do modelo sem interação.
Observe, dos resultados apresentados, que a análise de variância e a análise de

resíduos proporcionam resultados iguais aos da análise 1. O modelo ajustado é, nesse
caso, expressso por:
Yˆ = 44,488 – 0,027x1 – 7,502x2,
em que o parâmetro β0 é, nesse modelo, a média dos interceptos das duas linhas de
regressão na qual, para um valor fixo x1, a ferramenta A e B diferem por β2 unidades
em direções opostas. Os modelos para as ferramentas A e B são mostrados a seguir.
E(Y)
β0 + β2
ˆ = 51,99 – 0,027x1
tipo B: Y
β0
média de A + B
β0 – β2
tipo A: Ŷ = 36,986 – 0,027x1
X1
Note, que os modelos para as ferramentas A e B são exatamente os mesmos

encontrados na análise 1. A única diferença é que na 1a análise um dos níveis da
variável qualitativa foi considerado como referência e, portanto, todos os demais níveis
são comparados em relação a ele. Já na 2a análise, a referência é a média dos níveis da
variável qualitativa e, sendo assim, as comparações são feitas em relação ao tempo de
vida médio das ferramentas A e B, e não em relação ao tempo de vida médio da
ferramenta A, como na 1a análise.
7.4.3 Análise 3
Finalmente, tomando-se variáveis dummy do tipo 0 e 1 no modelo sem
intercepto, tem-se o modelo E(Y| x) = β1x1 + β2x21 + β3x21 + β4 x1x2 , em que:
X21 = 1 se ferramenta A e X22 = 1 se ferramenta B

0 c. c. 0 c. c.,
de modo que os resultados do modelo sem a interação (também não significativa) são
mostrados nos Quadros 7.6 e 7.7 e Figura 7.4.
Quadro 7.6 Análise de variância do modelo sem interação e sem intercepto.
X1 1 10847.3 10847.3 1174.142 < 2.2e-16
X21 1 602.6 602.6 65.228 3.206e-07
X22 1 1991.7 1991.7 215.590 4.343e-11

Coefficients:
X1 -0.02661 0.00452 -5.887 1.79e-05
X21 36.98560 3.51038 10.536 7.16e-09
X22 51.98985 3.54082 14.683 4.34e-11

Figura 7.4 Análise dos resíduos do modelo sem interação e sem intercepto.
Observe, dos resultados, e como chamado atenção anteriormente, que a análise

de variância e, conseqüentemente, o valor de R2 não são iguais aos obtidos nas análises
anteriores. Para que o R2 desse modelo possa ser comparado aos das duas análises
anteriores deve-se calcular R2(0) pois, em caso contrário, se terá a falsa impressão de que
este modelo é melhor do que os demais, quando na realidade é equivalente a eles e
produzem as mesmas conclusões.
O modelo ajustado correspondente a análise realizada é expresso por:
Ŷ = – 0.027x1 + 36,985 x21 + 51,989 x22

e resulta em duas retas de regressão iguais às encontradas anteriormente. Note, para
uma velocidade fixa x1 do torno, que a diferença (51,989 – 36,985) = 15,004,
representa, como nas análises anteriores, o quanto a esperança de Y muda ao se mudar
da ferramenta A para a B.
APÊNDICE A
A.1 Regressão Polinomial no Pacote Estatístico R
A função poly é usada no pacote estatístico R para obtenção de polinômios
ortogonais. Usando tal função, os polinomiais Pj(xi) são obtidos pelo procedimento de
ortogonalização de Gram-Schmidt que, embora diferente do procedimento apresentado
na Seção 6.2, produz valores preditos exatamente iguais. A função poly pode ser
aplicada às situações em que os níveis de X são, ou não, igualmente espaçados.
Como um exemplo suponha x = (-1 0 1 2) e y = (2 1 2 10) e considere um
polinômio de ordem 2, de modo que:
x1 x2 x3
⎡1 −1 1 ⎤
⎢1 0 0 ⎥⎥
X =⎢ .
⎢1 1 1⎥
⎢ ⎥
⎣1 2 4⎦
A partir do procedimento de ortogonalização de Gram-Schmidt, segue que:

y1’ = (x1)’/ ||x1|| = [1/2 1/2 1/2 1/2]
y2’/ ||y2|| = [–3 –1 1 3] / 20 sendo y2’ = (x2) – (x2’y1) y1
y3’/ ||y3|| = [1 –1 –1 1] / 2 sendo y3’ = x3 – (x3’y1) – (x3’y2)y2.
⎡ 1 −3/ 20 1/ 2 ⎤
⎢ ⎥
Assim, Xortog. = [P0(x) P1(x) P2(x)] = ⎢ 1 −1/ 20 −1/ 2 ⎥ de modo que o modelo
⎢ 1 1/ 20 −1/ 2 ⎥
⎢ ⎥
⎣⎢ 1 3/ 20 1/ 2 ⎦⎥
de regressão ortogonal fica expresso por Y = αo + α1 P1(x) + α2 P2(x) + ε.
a) Comandos no R
> y<-c(2,1,2,10)
> x<-c(-1,0,1,2)
> fit<-lm(y~poly(x,degree=2))
> fit$model
y poly(x, degree = 2).1 poly(x, degree = 2).2
1 2 -0.6708204 0.5000000
2 1 -0.2236068 -0.5000000
3 2 0.2236068 -0.5000000
4 10 0.6708204 0.5000000
> anova(fit)
Analysis of Variance Table
Response: y
poly(x, degree = 2) 2 51.50 25.75 20.6 0.1539
> summary(fit)
Residuals:
1 2 3 4
-0.25 0.75 -0.75 0.25
Coefficients:
(Intercept) 3.750 0.559 6.708 0.0942 .
poly(x, degree = 2)1 5.590 1.118 5.000 0.1257
poly(x, degree = 2)2 4.500 1.118 4.025 0.1550
---
Signif. codes: 0 `***' 0.001 `**' 0.01 `*' 0.05 `.' 0.1 ` ' 1

F-statistic: 20.6 on 2 and 1 DF, p-value: 0.1539
> fit$fitted
1 2 3 4
2.25 0.25 2.75 9.75
b) Modelo Ajustado: Ŷ = 3.75 + 5.59 P1(x) + 4.5 P2(x).
Claramente, diagnóstico dos resíduos e análise de pontos influentes devem ser

realizados para que se possa utilizar o modelo ajustado para predições. Neste caso não
foi realizado por se tratar de um exemplo com n = 4 usado somente para ilustrar a
função poly disponível no R.
Ilustração: Análise dos dados apresentados na Tabela 7.2 usando a função poly.
> x<-c(50,75,100,125,150,175,200,225,250,275)
> y<-c(335,326,316,313,311,314,318,328,337,345)
> fit<-lm(y~poly(x,degree=2))
> fit$model
y poly(x, degree = 2).1 poly(x, degree = 2).2
1 335 -0.49543369 0.52223297
2 326 -0.38533732 0.17407766
3 316 -0.27524094 -0.08703883
4 313 -0.16514456 -0.26111648
5 311 -0.05504819 -0.34815531
6 314 0.05504819 -0.34815531
7 318 0.16514456 -0.26111648
8 328 0.27524094 -0.08703883
9 337 0.38533732 0.17407766
10 345 0.49543369 0.52223297
> summary(fit)
Residuals:
-2.7545455 -1.2034091 -0.0007576 1.1318182 2.7833333
Coefficients:
(Intercept) 324.3000 0.6174 525.262 < 2e-16 ***
poly(x, degree = 2)1 13.4868 1.9524 6.908 0.000230 ***
poly(x, degree = 2)2 32.1173 1.9524 16.450 7.48e-07 ***
---
Signif. codes: 0 `***' 0.001 `**' 0.01 `*' 0.05 `.' 0.1 ` ' 1

> anova(fit)
Analysis of Variance Table
Response: y
poly(x, degree = 2) 2 1213.42 606.71 159.16 1.461e-06 ***
---
Signif. codes: 0 `***' 0.001 `**' 0.01 `*' 0.05 `.' 0.1 ` ' 1
> plot(fit)
> influence.measures(fit)
dfb.1_ dfb.p..d.2.1 dfb.p..d.2.2 dffit cov.r cook.d hat inf
1 0.2437 -0.38179 0.4024 0.6059 3.7210 0.137564 0.618 *
2 0.2845 -0.34662 0.1566 0.4749 1.6667 0.079949 0.279
3 -0.3564 0.31024 0.0981 -0.4826 1.2050 0.077227 0.183
4 -0.1294 0.06755 0.1068 -0.1808 1.8466 0.012439 0.195
5 -0.2790 0.04857 0.3072 -0.4178 1.5353 0.061672 0.224
6 0.0270 0.00469 -0.0297 0.0404 2.0412 0.000633 0.224
7 -0.0263 -0.01372 0.0217 -0.0367 1.9683 0.000524 0.195
8 0.6366 0.55409 -0.1752 0.8620 0.5205 0.186217 0.183
9 0.4417 0.53827 0.2432 0.7376 1.1702 0.171362 0.279
10 -2.1412 -3.35460 -3.5361 -5.3237 0.0692 2.813453 0.618 *
> summary(influence.measures(fit))
dfb.1_ dfb.p(,d=2)1 dfb.p(,d=2)2 dffit cov.r cook.d hat
1 0.24 -0.38 0.40 0.61 3.72_* 0.14 0.62
10 -2.14_* -3.35_* -3.54_* -5.32_* 0.07 2.81_* 0.62
> fit$fitted
1 2 3 4 5 6 7 8
334.3909 324.6939 317.7924 313.6864 312.3758 313.8606 318.1409 325.2167
9 10
335.0879 347.7545
Bibliografia
Belsley, D.A. Kuh, E.; Welsch, R.E.S. (1980). Regression Diagnostics: Identifying Influential
Data and Source of Colinearity. New York: John Wiley & Sons.
Box, G.E.P; Tidwell, P.W.(1962). Transformation of the independent variables. Technometrics,
4:531–550.
Bussab, W.O. (1988). Análise de Variância e de Regressão. 2a edição, São Paulo: Atual.
Charnet, R; Freire, C.L.; Charnet, E.M.R.; Bonvino, H. (2008). Análise de Modelos de
Regressão Linear com Aplicações. 2a edição, Campinas: Ed. da Unicamp.
Cook, R.D. (1979). Influential observations in linear regression. Journal of the American
Statistical Association, 74: 169–174.
Cook, R.D. (1977). Detection of influential observations in regression. Technometrics, 19: 15-
18.
Cook, R.D. and Weisberg, S. (1982). Residuals and Influence in regression. London: Chapman
& Hall.
Draper, N.R.; Smith, H. (1981). Applied Regression Analysis. 2nd edition, New York: John
Wiley & Sons.
Hoaglin, D.C. and Welsch, R.E. (1978). The Hat Matrix in Regression and ANOVA, The
American Statistician, 32, Part 1, pp.17-22.
Hoffmann, R.; Vieira, S. (1977). Análise de Regressão. 2a edição, São Paulo: Atual.
Myers, R.H. (1990). Classical and Modern Regression with Applications. 2nd edition, Boston:
PWS Publishers.
Montgomery, D.C.; Peck, E.A. (1992). Introduction to linear Regression Analysis. 2nd edition,
New York: John Wiley & Sons.
Montgomery, D.C., Peck, E.A.; Vining, G.G. (2003). Introduction to Linear Regression
Analysis, 3rd edition. New York: John Wiley & Sons.
Neter, J.; Wasserman, W.; Kutner, M.H. (1990). Applied Linear Statistical Models. 3rd edition,
Illinois: Richard D. Irwin, Inc.
Kutner, M.H., Nachtsheim, C.J., Neter, J.; Li, W. (2004). Applied Linear Statistical Models. 5th
edition: McGraw-Hill.
Paula, G.P. (2004). Modelos de Regressão com Apoio Computacional. Arquivo pdf disponível
em: (www.ime.usp.br/~giapaula).
Ryan, T.P. (2008). Modern Regression Models, 2nd edition. New York: Wiley.
Siegel, S. (1975). Estatística Não-paramétrica para as Ciências do Comportamento. McGraw-
Hill.
Siegel, S; Catellan Jr, J. (2006). Estatística Não-paramétrica para Ciências do Comportamento.
2a edição, Ed. Artmed.

Idioma

Bem-vindo(a) ao Scribd!

Regressão Linear Suely

Enviado por

Dados do documento

Descrição:

Data de envio

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Descrição:

Direitos autorais:

Formatos disponíveis

Regressão Linear Suely

Enviado por

Descrição:

Direitos autorais:

Formatos disponíveis

Títulos relacionados

Análise de

Suely Ruiz Giolo

1 Modelo de Regressão Linear Simples 1

2 Adequação do Modelo de Regressão Linear 10

3 Regressão Passando pela Origem 19

4 Outliers e Transformações de Variáveis 22

5 Regressão Linear Múltipla 29

7 Variáveis Dummy em Regressão 72

Suely Ruiz Giolo

1.1 Conceitos Introdutórios

Considere, inicialmente, que se tenha uma variável quantitativa Y e que o

Considere, agora, a existência de uma outra variável quantitativa, X, a qual

1.2 Coeficiente de Correlação de Pearson

em que Sx é o desvio-padrão amostral de X e Sy o desvio-padrão amostral de Y.

Os gráficos de dispersão apresentados na Figura 1.1 ilustram algumas situações

Figura 1.1: Gráficos de dispersão e coeficientes de correlação associados.

1.2.1 Teste de Significância para ρ

sendo n o tamanho amostral e r o coeficiente de correlação amostral de Pearson. Com

1.2.2 Uso do Coeficiente de Correlação de Pearson

1.3 Correlação versus Relação Causa-Efeito

Sendo r = – 0,85 a correlação linear entre Y = expectativa de vida e o logaritmo

1.3.1 Outra Situação de Correlação Espúria

1.4 Modelo de Regressão Linear Simples

Y = β0 + β1x + ε ⇒ modelo de regressão linear. (1.3)

Como o modelo (1.3) envolve uma única variável independente, é denominado

um modelo de regressão linear amostral.

A variável regressora X (independente) é frequentemente assumida como uma

E(Y| x) = E (β0 + β1x + ε) = E(β0 + β1x) + E(ε) = β0 + β1x

V(Y| x) = V(β0 + β1x + ε) = σ2.

Exemplo: Um psicólogo investigando a relação entre o tempo que um indivíduo leva

yi = tempo (em segundos) xi = idade (em anos)

105 diagrama de dispersão

Figura 1.2 Diagrama de dispersão idade versus tempo.

Para os dados desse exemplo, o coeficiente de correlação amostral de Pearson

1.5 Estimadores de Mínimos Quadrados

Um procedimento possível de estimação de β0 e β1 é o de Mínimos Quadrados

Logo, para obtenção dos estimadores de β0 e β1 faz-se necessário diferenciar a

Da expressão (a), avaliada em βˆ0 e β̂1 , segue que:

Similarmente, da expressão em (b) segue que:

1.6 Notação Matricial

Logo, ∂SQE / ∂β = 0 ⇒ –2 X’y + 2 X’X β̂ = 0 ⇒ X’X β̂ = X’y

⇒ β̂ = (X’X)-1X’y , desde que (X’X) seja inversível.

1.6.1 Estimador de Mínimos Quadrados de σ2

1.7 Estimadores de Máxima Verossimilhança

Exercício: Encontre os estimadores de máxima verossimilhança de β0, β1 e σ2.

1.8 Interpretação dos Parâmetros do Modelo

Obs: A vantagem em se ajustar um modelo que possua determinadas suposições

1.9 Propriedades do Ajuste de MQ

[1] β̂ 0 e β̂1 são combinações lineares das observações yi.

Var( β̂1 ) = σ2/Sxx,

[4] De acordo com o teorema de Gauss-Markov, os estimadores β̂ 0 e β̂1 associados ao

2.2 Análise de Variância (ANOVA)

(yi – y i) = diferença entre o valor observado e o valor ajustado

SQTotal SQRegressão SQResidual

De fato, ( y i – y ) = β̂ 0 + β̂1 xi – y = (como β̂ 0 = y – β̂1 x ) =

Se todos os pontos se ajustassem exatamente ter-se-ia y i = yi (i = 1, ..., n), bem

maior a diminuição na SQRes. Assim, pode-se analisar a adequação do modelo pela