Modelo de regressão linear

O modelo de regressão linear clássico é dado por:

y = Xβ + ϵ
Onde:

y é um vetor formado pelas observações da variável resposta. É importante

lembrar que o vetor y contém as n observações de uma amostra com certa
distribuição de probabilidade, entretanto, apesar das observações serem inde-
pendentes, não são identicamente distribuídas. Portanto, cada observação yi
terá uma média µi para ser estimada.

X é uma matriz de covariadas.

β é um vetor de parâmetros desconhecidos que serão estimados. Apesar das

médias µi mudarem para cada observação, os valores de β são os mesmos para
todas as amostras.
ϵ é um vetor de erros aleatórios.

Na prática, temos uma variável aleatória y que possui uma determinada

distribuição de probabilidade, que será explicada a partir das covariadas e os
parâmetros estimados β. No entando, para que o modelo se aproxime o máximo
possível dos valores da variável aleatória y e seu caráter aleatório seja respei-
tado, admitimos que existem fatores que não conseguimos mensurar, colocamos,
então, um vetor ϵ que explica os erros contidos no modelo. Como precisamos
que o modelo explique da melhor maneira possível a variável resposta y, espera-
mos que o valor do erro seja próximo de zero. Por isso, vamos utilizar a seguinte
suposição:

•S2 : E(ϵ) = µϵ = 0

Da suposição anterior, temos um resultado importante. Se a esperança do erro

é nula, então:
E(y|X) = E(Xβ) ⇔ E(y) = Xβ
E(y) = µ
µ = Xβ
µ é um vetor formado pelas médias de y.
Podemos generalizar o modelo para todas as observações das covariadas x da
seguinte maneira

µi = β1 + β2 xi2 + β3 xi3 ... + βn xin

No modelo clássico, estamos supondo que V ar(yi ) = σ 2 , para todas as observa-

ções. Apesar das médias µi serem diferentes, a variância é constante (homoce-
dasticidade).

1
Para estimarmos os valores do vetor β, utilizamos o Método de Mínimos Quadra-
dos Ordinários (EMQO). O método consiste em minimizar a soma do quadrado
dos erros ϵ. Para isso, fazemos o produto ϵT ϵ, derivamos com relação a β e
iguala a zero.
Encontramos o β estimado através da seguinte expressão
β̂ = (X T X)−1 X T Y
Os valores preditos para y serão dados por

µ̂i = X T β̂
O resíduo (r) pode ser interpretado como os valores observados na variável
resposta e os valores preditos no modelo de regressão, no método dos mínimos
quadrados ordinários, o resíduo (r) é o estimador natural do erro ϵ.

r = Y − µ̂
O valor esperado do resíduo r e do erro ϵ são iguais a zero.
E(r) = 0; E(ϵ) = 0
A covariância dos resíduos é dada por

Cov(r) = (In − H)σ 2

A matriz H é uma matriz simétrica e idempotente definida por

H = X.(X T X)−1 X T

O posto da matriz H será posto(H) = p, onde p é igual ao número de observa-

ções da variável X.

Por outro lado, a covariância do erro ϵ é

Cov(ϵ) = In σ 2