Notas de Aula 6 – Modelos de Regressão

Estatı́stica
Curso Cecı́lia Menon
Regressão Linear (Parte 2/2)

1 Máxima Verossimilhança (MV)

Suponha que valem as hipóteses MQO1-MQO5. Neste caso, é possı́vel mostrar que o estimador
de MQO β̂ também é o estimador de máxima verossimilhança (MV) de β.
Relembrando, a estimação de MV assume que:
1. A densidade de probabilidade da amostra (y, X) é um elemento da famı́lia de funções
indexadas por um vetor de parâmetros θ : f (y, X; θ).
2. A estimativa MV do vetor de parâmetros θ é θ̂M V que maximiza a função de verossimi-
lhança dos dados (y, X).

A hipótese MQO5, normalidade dos erros condicionais em X, é essencial para a estimação de

MV. Juntamente com a hipótese de linearidade MQO1, temos que y | X ∼ N (Xβ, σ 2 I). Logo,
a densidade condicional de y | X é:
 
2 −n/2 1 0
f (y | X) = (2πσ ) exp − 2 (y − Xβ) (y − Xβ)
2σ

Considerando valores hipotéticos β̃ e σ̃ 2 para os parâmetros verdadeiros e log-linearizando a

função de verossimilhança, obtemos:
n n 1
ln L(β̃, σ̃ 2 ) = − ln(2π) − ln(σ̃ 2 ) − 2 (y − Xβ̃)0 (y − Xβ̃)
2 2 2σ̃

A maximização da função de log-verossimilhança é feita em dois estágios:

1. Maximiza-se sobre β̃ para qualquer σ̃ 2 considerado. Ou seja, minimiza-se a soma dos
quadrados (y − Xβ̃)0 (y − Xβ̃). Portanto, este passo é equivalente ao método MQO.
2. Maximiza-se sobre σ̃ 2 sujeito ao valor ótimo β̃ obtido da otimização no passo 1, que pode
depender do valor de σ̃ 2 .

Podemos mostrar que vale o seguinte resultado:

Proposição (Estimador de MV de β e σ 2 ). Suponha que as hipóteses MQO1-MQO5
sejam válidas. Então o estimador de MV de β é igual ao estimador de MQO β̂ e o estimador
de MV de σ 2 é:
e0 e SSR
=
n n

Observações:
• O estimador de MV de σ 2 é viesado (porém é assintoticamente não viesado: o viés se
torna pequeno à medida que a amostra n aumenta).
• É possı́vel mostrar que, assumindo as hipóteses MQO1-MQO5, o estimador de MQO β̂
é o melhor estimador não viesado de β (best unbiased estimator – BUE ).

1
2 Multicolinearidade
A hipótese MQO2, ausência de multicolinearidade perfeita, é necessária para a obtenção do
estimador de MQO. Se ela não for satisfeita, a matriz X0 X não é inversı́vel e a equação normal
que define o estimador de MQO não possui solução.

A hipótese MQO2 consiste em que nenhum regressor possa ser obtido como combinação linear
dos outros. Porém, ela pode ser satisfeita e ainda assim ocorrer um problema de multicoli-
nearidade imperfeita (ou colinearidade imperfeita), em que algum ou alguns regressores são
altamente correlacionados com outros regressores.

Usualmente e em provas da ANPEC, os termos colinearidade e multicolinearidade tem o mesmo

significado: indicam a presença de alta correlação entre dois (ou mais) regressores. Porém,
alguns livros definem colinearidade quando existe alta correlação entre dois regressores e mul-
ticolinearidade quando existe alta correlação entre grupos de regressores.

Note que os resultados obtidos anteriormente dependem apenas da ausência de multicolineari-

dade perfeita. A presença de multicolinearidade imperfeita não implica que:
• O estimador de MQO não possa ser calculado ou que não seja linear em y;
• O estimador de MQO seja viesado;
• O Teorema de Gauss-Markov não seja válido (logo, o estimador de MQO é eficiente);
• Os testes t e F não possam ser computados do modo usual.

Porém, na presença de multicolinearidade, os erros-padrão (e, portanto, as variâncias) dos

coeficientes serão elevados. Isto pode ter como consequência regressores estatisticamente insig-
nificantes.

Existem alguns indicadores da presença de multicolinearidade:

• R2 bastante alto, mas coeficientes estatisticamente insignificantes segundo a estatı́stica t;
• Grandes alterações nas estimativas dos coeficientes de regressão, quando adicionamos ou
retiramos um regressor ou quando uma observação for alterada ou eliminada;
• O teste F leva a rejeitar a hipótese nula de todos os coeficientes serem nulos, mas os testes
t individuais para cada coeficiente levam a aceitar a hipótese nula de cada coeficiente ser
igual a zero;
• Sinais para coeficientes contrários ao que é esperado pela teoria ou por estudos anteriores;
• Intervalos de confiança muito amplos para os coeficientes da regressão.

Portanto, a presença de multicolinearidade torna o método de MQO instável. A inclusão de

novas observações pode alterar muito as estimativas obtidas para os parâmetros. Isto leva ao
desenvolvimento de modos para verificar a presença de multicolinearidade e de formas de lidar
com o problema.

A presença de multicolinearidade pode ser detectada de diversas maneiras. Um modo comu-

mente utilizado consiste em calcular os fatores de inflação da variância (VIF). O VIF mede
o grau em que cada variável independente é explicada pelas demais variáveis independentes:
quanto maior o VIF, mais agudo o problema de multicolinearidade (valores acima de 10 indicam
um grave problema de multicolinearidade).

2
Para lidar com o problema de multicolinearidade, existem várias possibilidades:

• Excluir uma ou mais variáveis independentes altamente correlacionadas e identificar ou-

tras variáveis independentes para auxiliar a previsão da variável dependente. Esse pro-
cedimento é problemático, pois descarta informação;

• Usar o modelo com variáveis independentes altamente correlacionadas apenas para pre-
visão, ou seja, não interpretar os coeficientes de regressão;

• Usar outros métodos de estimação (regressão Bayesiana, regressão sobre componentes

principais, etc) para obter um modelo que reflita de modo mais claro os efeitos das
variáveis independentes sobre a variável dependente.

EXERCÍCIOS ANPEC

RESOLVER: Questão 9 – Exame 2015; Questão 11 – Exame 2012; Questão 6 – Exame 2006;
Questão 10 – Exame 2002.

3
3 Variáveis Instrumentais
3.1 Introdução
As hipóteses do modelo de MQO são:

MQO1: Linearidade.

MQO2: Rank(X) = K.

MQO3: E(ε | X) = 0.

MQO4: Ω = E(εε0 | X) = σ 2 I.

MQO5: ε | X ∼ N (0, Ω).

Vamos analisar o que ocorre quando a hipótese MQO3 não é satisfeita, isto é, quando
E(ε | X) 6= 0. Vamos assumir que valem as hipóteses MQO1 e MQO2. Quando E(ε | X) 6= 0,
dizemos que ocorre um problema de regressores endógenos (ou um problema de endogeneidade).

Vimos que o estimador de MQO é tal que:

−1 −1 −1
β̂ = (X0 X) X0 y = (X0 X) X0 (Xβ + ε) = β + (X0 X) X0 ε

Portanto:    
0 −1 −1
E β̂ | X = E β + (X X) X ε | X = β + (X0 X)
0
E(ε | X)

Como não é mais válido que E(ε | X) = 0, então se a hipótese MQO3 não for satisfeita, o
estimador de MQO será viesado.

Também é possı́vel mostrar que na ausência da hipótese MQO3, mesmo supondo a validade
das outras hipóteses MQO (adicionando MQO4 e MQO5 a MQO1 e a MQO2), que o estimador
de MQO será inconsistente e ineficiente.

Além disto, o estimador da variância do erro aleatório também será viesado e inconsistente.
Logo, a análise inferencial (testes de hipóteses, cálculo de intervalos de confiança) fica compro-
metida.

Situações tı́picas em que a hipótese MQO3 é violada:

1. Forma funcional errada;

2. Variáveis omitidas;

3. Vetor de regressores com variáveis defasadas;

4. Sistemas de equações simultâneas;

5. Erros de mensuração.

A questão é saber se é possı́vel adaptar o estimador MQO de modo a obter um estimador

não viesado (ou pelo menos consistente) quando MQO3 falha. Uma possibilidade é utilizar
variáveis instrumentais que, na presença de regressores endógenos, pode auxiliar na obtenção
de estimadores consistentes.

4
3.2 Estimação com Variáveis Instrumentais
Suponha que temos L variáveis, representadas pela matriz Zn×L que satisfazem as seguintes
hipóteses:

1. Exogeneidade: os zl não são correlacionados com os erros (ou seja, Cov(zli , εi ) = 0,

para toda variável l, para toda observação i;

2. Relevância: os zl são correlacionados com as variáveis independentes xk (ou seja,

Cov(zl , xk ) 6= 0, para todo l, k.

Neste caso, é possı́vel construir um estimador consistente de β usando X e Z. As variáveis

z1 , . . . , zL são chamadas instrumentos ou variáveis instrumentais.

Logo, um instrumento é uma variável aleatória correlacionada com o regressor X e não corre-
lacionada com o termo erro. É comum dizer que Z é um instrumento fraco se a sua correlação
com o regressor X for pequena.

Suponha por um momento que o número de instrumentos é igual ao número de regressores

(sem considerar o termo constante). Neste caso, o estimador de variáveis instrumentais é dado
por:
−1
β̂VI = (Z0 X) Z0 y .

Vamos motivar o estimador acima para o caso de uma regressão simples:

y i = β 0 + β 1 xi + εi , com E(ε | x) 6= 0 .

Suponha que exista um instrumento z para x, ou seja, vale que Cov(z, x) 6= 0 e Cov(z, ε) = 0.
O estimador de VI de β1 , denotado por β̂1VI , é:
Pn
(zi − z̄)(yi − ȳ) Cov(z,
d y)
β̂1VI = Pni=1 =
i=1 (zi − z̄)(xi − x̄) Cov(z,
d x)

Observe que dadas as hipóteses assumidas para o instrumento z, temos que:

Cov(z, y)
Cov(z, y) = Cov(z, β0 + β1 x + ε) = β1 Cov(z, x) ⇒ β1 =
Cov(z, x)

Portanto, percebemos que β̂1VI é um estimador de β1 .

Evidentemente, queremos saber que propriedades o estimador de VI satisfaz. Os seguintes

resultados são válidos em geral (assumindo certas hipóteses):

• O estimador VI é consistente;

• O estimador VI pode ser viesado.

Logo, apesar de não ser possı́vel garantir que β̂VI é não tendencioso, é possı́vel garantir (sob
certas condições) que ele é consistente.

Uma vez obtido o estimador VI, podemos utilizá-lo para testes de hipóteses? Evidentemente,
o ideal é conseguir mostrar que a distribuição assintótica deste estimador é, assim como a do
estimador de MQO, normal.

5
Assumindo MQO4, o estimador natural de σ 2 é σ 2
bVI = e0VI eVI /n, em que eVI denota o vetor de
2
resı́duos da estimação por VI. Podemos mostrar que dadas certas hipóteses, σ
bVI é um estimador
2
consistente de σ .

O estimador da variância assintótica de β̂VI é:

  σ 2
 0 −1  0   0 −1
ZX ZZ XZ −1 −1
VI 2
(Z0 X) Z0 Z (X0 Z) .
b
Vd
ar β̂VI = =σ
bVI
n n n n

3.3 Mı́nimos Quadrados em Dois Estágios

Acima vimos que o estimador por VI de β é:
−1
β̂VI = (Z0 X) Z0 y .

Se o número L de instrumentos for igual ao número K de regressores (onde estamos também

considerando na matriz Z uma constante), então Z0 X é uma matriz quadrada de dimensão
K × K e, assumindo que é de “rank cheio”, possui inversa. Logo podemos calcular β̂VI usando
a fórmula acima.

Porém, se o número de instrumentos for diferente do que o de regressores (L 6= K), então a

matriz Z0 X não é quadrada (tem dimensão L × K) e, portanto, não pode ser invertida. Logo,
a fórmula acima não pode ser aplicada.

No caso em que o número de instrumentos for menor do que o de regressores (L < K), temos
um modelo subindentificado e se torna difı́cil contornar o problema de endogeneidade dos
regressores (note que estamos assumindo que todos os regressores são correlacionados com o
termo erro; se não for o caso, precisamos apenas de pelo menos um instrumento para cada
regressor correlacionado com o erro).

No caso em que o número de instrumentos for maior do que o de regressores (L > K), temos
um modelo superidentificado. Neste caso, podemos lidar com o problema de endogeneidade
dos regressores. Porém temos que lidar com o excesso de instrumentos de alguma forma.

Uma solução seria descartar L − K instrumentos. Após desconsiderarmos L − K instrumentos,

as matrizes X e Z ficariam com dimensões idênticas e o estimador β̂VI descrito acima pode ser
calculado. O problema com essa solução é que ao eliminarmos instrumentos relevantes para
explicar a variação de X, estamos incorrendo em um erro metodológico chamado omissão de
variável relevante. Além disso, como selecionar os instrumentos que devem ser eliminados?

Uma outra solução, a comumente utilizada, consiste em projetar X no espaço gerado pelas
variáveis em Z, obtendo novos instrumentos X. b Neste caso, usamos todos os intrumentos, ou
seja, toda a informação disponı́vel, o que implica uma solução eficiente.

Esta solução eficiente é implementada por uma regressão em dois estágios.

Primeiro considere a seguinte regressão:

X = Zθ + u,

em que u denota o termo erro. Estimando o parâmetro θ usando MQO, obtemos:

−1
θ̂ = (Z0 Z) Z0 X

6
O valor previsto de X é:
b = Z θ̂ = Z (Z0 Z)−1 Z0 X
X
Agora estimamos a seguinte equação de regressão:

y = Xγ
b +ν,

ou seja, regredimos a variável dependente y nos valores previstos X

b obtidos da regressão das
variáveis explanatórias X nos instrumentos Z. Logo, o estimador de γ é:
 −1
γ̂ = β̂MQ2E = Xb 0X
b b 0y
X

O procedimento pode ser resumido então como:

1. Estimar regressões MQO de X em Z e obter os valores previstos X;

b

2. Estimar regressões MQO de y em X.

b Os coeficientes MQO desta regressão são os coefi-
cientes VI do modelo original.

Como este procedimento envolve duas regressões MQO, o estimador VI obtido desta forma é
chamado estimador de Mı́nimos Quadrados em Dois Estágios (MQ2E ).

É possı́vel mostrar que o estimador em dois estágios β̂MQ2E é:

• Consistente;

• Usualmente viesado.

O estimador da variância dos erros para o modelo MQ2E é:

 0  
0
e eVI y − X
b β̂MQ2E y − X
b β̂MQ2E
2
σ̂VI = VI = .
n n

3.4 Teste de Especificação de Hausman

Muitas vezes não temos certeza se as variáveis independentes consideradas são exógenas ou
não (podem haver vários motivos para isto, mas esta discussão não nos interessa para a prova
da ANPEC).

Se as variáveis independentes forem de fato exógenas, o Teorema de Gauss-Markov garante que

o estimador de MQO é o mais eficiente entre os estimadores lineares de β. Podemos concluir
que se X for exógeno, então o estimador VI/MQ2E de β é ineficiente.

Neste caso, deverı́amos então usar MQO e não VI/MQ2E. Logo, precisamos testar a exogenei-
dade de X. O teste de Hausman verifica a exogeneidade de X. Note que se X for exógeno, β̂
e β̂VI são ambos consistentes, mas se X não for exógeno, então apenas β̂VI será consistente.

O teste de Hausman pode ser descrito de modo informal como:

• H0 : Não há problema de endogeneidade dos regressores.

• H1 : Há problema de endogeneidade dos regressores.

7
O procedimento do teste de Hausmann consiste em:

1. Estimar a regressão y = Xβ + ε por MQO e por VI, de modo a obter os coeficientes

β̂MQO e β̂VI e os resı́duos eMQO e eVI .

2. Calcular a estatı́stica do teste z, que depende fundamentalmente da diferença β̂VI − β̂MQO .

3. Para o nı́vel de significância α selecionado, obter o valor crı́tico zα .

4. Se z > zα , rejeitar H0 ; caso contrário, não rejeitar H0 .

Se o resultado for:

• H0 rejeitada: reportamos as estimativas de β usando VI;

• H0 não rejeitada: reportamos as estimativas de β usando MQO.

EXERCÍCIOS ANPEC

RESOLVER: Questão 14 – Exame 2014; Questão 14 – Exame 2013.

8
4 Mı́nimos Quadrados Generalizados (MQG)
4.1 Introdução
A Hipótese MQO4 diz que a matriz condicional de segundo momento, de dimensão n × n,
Var(ε | X) = E(εε0 | X) é esférica, isto é, proporcional à matriz identidade (igual a σ 2 I, em que
I denota a matriz identidade).

Vamos agora analisar o que ocorre quando a hipótese MQO4 não for válida. Primeiro observe
que se as hipóteses MQO1-MQO3 forem válidas, então o estimador de MQO é:
• Não viesado;
• Consistente;
• Assintoticamente normal.

Portanto, se MQO1-MQO3 forem válidos, mesmo que MQO4 (e MQO5) não seja válido, os
estimadores de MQO são não viesados. O mesmo vale para a propriedade de consistência: a
não validade de MQO4 não implica que os estimadores de MQO não serão consistentes ou que
não serão assintoticamente normais.

Se a hipótese MQO4 não for válida, podemos ter dois tipos de problemas:
• Heterocedasticidade: as variâncias dos termos de erro não são todas iguais (valores da
diagonal de E(εε0 | X) distintos).
• Autocorrelação dos erros: correlação não nula entre erros associados a observações dis-
tintas (valores fora da diagonal de E(εε0 | X) diferentes de zero).

Ao estimarmos uma regressão por MQO quando nossos dados possuem distúrbios não-esféricos,
estamos ignorando informação relevante. Em particular, estamos supondo que nosso estimador
possui variância σ 2 (X0 X)−1 quando na verdade sua variância é σ 2 (X0 X)−1 X0 Ω X (X0 X)−1 .

Por não usar toda a informação relevante, o estimador MQO não será eficiente, ou seja, o
Teorema de Gauss-Markov não será mais válido. Além disso, a razão t não é distribuı́da como
uma t de Student. O mesmo se aplica ao teste F .

Vamos substituir a hipótese MQO4 por E(εε0 | X) = σ 2 Ω e desenvolver o modelo de mı́nimos

quadrados generalizado (MQG). Vamos construir um estimador que usa a informação de que
Var(ε | X) = σ 2 Ω 6= σ 2 I e que terá então variância “inferior ” a do estimador de MQO, igual
a σ 2 (X0 X)−1 X0 Ω X (X0 X)−1 .

Suponha então que:

E (εε0 | X) = Σ = σ 2 Ω ,
com Ω 6= I. A matriz Ω é simétrica e positiva definida e por isso admite a seguinte decomposição
espectral :
Ω = C Λ C0 ,
em que:
• C é uma matriz ortogonal : C−1 = C0 e, portanto, CC0 = I.
• Λ é uma matriz diagonal : λii > 0, para todo i, são os auto-valores de Ω, e λij = 0, para
todo i 6= j.

9
Como Λ é uma matriz diagonal com √ todos os elementos da sua diagonal positivos, a matriz
diagonal Λ definida por (Λ )ii = λii , é tal que Λ = Λ1/2 Λ1/2 . Além disso, como
1/2 1/2
√ Λ é
1/2
−1/2 −1/2
também uma matriz diagonal, possui inversa diagonal Λ , em que (Λ )ii = 1/ λii .

Portanto, Ω−1 = CΛ−1/2 Λ−1/2 C0 , já que C é matriz ortogonal. Definindo P0 = CΛ−1/2 ,
obtemos:
−1
Ω−1 = P0 P e Ω = P−1 P0 .

Vamos reescrever o modelo de regressão linear:

y = Xβ + ε

como:
Py = PXβ + Pε .

Usando a notação ỹ = Py, X̃ = PX, e ε̃ = Pε, obtemos que:

ỹ = X̃β + ε̃ (1)

O estimador de MQO aplicado ao modelo transformado (1) resulta no método dos mı́nimos
quadrados generalizado (MQG) e é, portanto, denotado por β̂MQG :

β̂MQG = (X̃0 X̃)−1 X̃0 ỹ

= [(PX)0 (PX)]−1 (PX)0 Py = [X0 P0 PX]−1 (X0 P0 Py)
= (X0 Ω−1 X)−1 (X0 Ω−1 y)

A variância do termo de erro ε̃ da nova regressão será:

Var(ε̃ | X) = E (ε̃ε̃0 | X) = E (Pεε0 P0 | X) = PE (εε0 | X) P0

 
 −1 
−1
= P σ 2 Ω P0 = σ 2 PΩP0 = σ 2 P P−1 P0 P0 = σ 2 PP−1 P0 P0

= σ2 I .

Ou seja, a regressão modificada possui distúrbios esféricos! Assumindo que o modelo original
satisfaz MQO1-MQO3, então a regressão modificada (1) satisfaz as hipóteses MQO1-MQO4
do modelo clássico de regressão linear e podemos estimá-la por MQO. O Teorema de Gauss-
Markov é válido para o método MQG e garante então que o estimador de MQG será BLUE.

A variância do estimador de MQG é:

Var(β̂MQG | X) = (X0 Ω−1 X)−1 (X0 Ω−1 ) Var(y | X) (Ω−1 X)(X0 Ω−1 X)−1
= (X0 Ω−1 X)−1 (X0 Ω−1 ) σ 2 Ω (Ω−1 X)(X0 Ω−1 X)−1

= σ 2 (X0 Ω−1 X)−1 ,

já que Var(y | X) = Var(ε | X).

10
Aplicando os resultados deduzidos anteriormente para MQO ao estimador MQG, temos que o
estimador MQG:

• é não-viesado;

• é consistente;

• é eficiente (é BLUE), no sentido de que qualquer outro estimador linear não viesado de
β possui variância “maior ou igual” do que Var(β̂MQG | X);

• possui variância:
   −1
−1
0
Var β̂MQG | X = σ 2
X̃ X̃ = σ 2 X0 Ω−1 X

Observe que para estimarmos β usando o método de MQG, precisamos conhecer Ω. Se o valor
Ω for conhecido, então existe um estimador BLUE para o modelo de regressão generalizado.
Na prática, em muitos casos não teremos conhecimento dos parâmetros de Ω e será, portanto,
necessário estimá-los.

Estimar Ω implica estimar n (n + 1) /2 parâmetros adicionais. Como existem apenas n ob-

servações, não é possı́vel estimar Ω: MQG não é factı́vel.

Para que seja possı́vel estimarmos Ω, é preciso reduzir o número de parâmetros a serem esti-
mados. Uma alternativa é impor uma determinada estrutura na matriz Ω a ser estimada.

Vimos que temos casos em que nossos dados terão heteroscedasticidade. Em outros, teremos
correlação serial. Então:

• Se o único problema for heteroscedasticidade, o número de parâmetros de Ω a serem

estimados cai de n (n + 1) /2 para n.

• Se o único problema for correlação serial dos erros, o número de parâmetros de Ω a serem
estimados cai de n (n + 1) /2 para n (n − 1) /2.

A redução acima não é suficiente: o método de MQG continua sendo não factı́vel. Precisamos
colocar mais estrutura ou encontrar uma saı́da inteligente para o problema.

11
4.2 Mı́nimos Quadrados Ponderados
Considere que nossos dados só sofram de problemas de heteroscedasticidade. Neste caso, temos:
 2
σ1 0 · · · 0

.. 
 0 σ22 . 

Σ = σ2 Ω =  . .
. .

 . . 0 
0 · · · 0 σn2
Portanto:
1/σ12 ···
 
0 0
..
0 1/σ22 .
 
Ω−1 = 
 
.. ... 
 . 0 
0 ··· 0 1/σn2

O estimador de MQG é:

−1 0 −1
β̂MQG = X0 Ω−1 X XΩ y
 −1
1 1
= X0 2 Ω−1 X X0 2 Ω−1 y
σ σ
0 −1

−1 0 −1
= XΣ X XΣ y
A equação acima sugere que a regressão transformada segue o seguinte padrão:
ỹ = X̃β + ε̃ ,
onde ỹi = yi /σi , x̃i = xi /σi , e ε̃i = εi /σi .
Portanto, cada observação é ponderada pelo seu respectivo desvio padrão. Este estimador é
um caso particular do MQG e muitas vezes é chamado Mı́nimos Quadrados Ponderados (MQP;
no inglês, weighted least squares, WLS).
Precisamos ter uma estimativa ex-ante dos desvios padrões σ1 , . . . , σn .
Solução prática: estimativa em 2 etapas:
1. Estime a regressão y = Xβ + ε por MQO e obtenha uma série de resı́duos (erros de
estimação) e.
2. Para cada observação i ∈ {1, . . . , n}, utilize e2i como o estimador de σi2 , e estime a
regressão:
yi /ei = (xi /ei ) β + εi /ei
por MQO. O resultado obtido será o estimador de Mı́nimos Quadrados Ponderados.

Outra forma de implementar o estimador de mı́nimos quadrados generalizado factı́vel (MQGF )

é supor que a variância do erro é função de um regressor xk . Suponha que:
σi2 = σ 2 x2ik
A regressão transformada é portanto:
     
yi 1 xi1 xiK εi
= β0 + β1 + · · · + βK +
xik x x xik xik
 ik   ik   
1 xi1 xiK εi
= β0 + β1 + · · · + βk + · · · + βK +
xik xik x xik
      ik
1 xi1 xiK εi
= βk + β0 + β1 + · · · + βK +
xik xik xik xik

12
4.3 Correlação Serial e MQGF
É comum supor que o problema de correlação serial tome a seguinte forma:
ρ2 · · · ρn−1
 
1 ρ
 ρ 1 ρ · · · ρn−2 
 .. 
Σ = σ 2 Ω = σ 2  ρ2 ρ 1 . 
 
 . . ...
 .. ..

ρ 
n−1 n−2
ρ ρ ··· ρ 1

Neste caso,
P só precisamos estimar um parâmetro de Ω: o parâmetro de correlação ρ. Podemos
usar ρ̂ = ni=1 ei ei−1 /s2 para estimar ρ. Como o estimador de MQG passa a ser factı́vel de ser
calculado, este método é chamado mı́nimos quadrados generalizado factı́vel (MQGF).

Obtemos assim a matriz:

ρ̂2 ··· ρ̂n−1
 
1 ρ̂
 ρ̂ 1 ρ̂ ··· ρ̂n−2 
 .. 
Ω  ρ̂2
b = ρ̂ 1 .


 . . ...
 .. ..

ρ̂ 
n−1 n−2
ρ̂ ρ̂ ··· ρ̂ 1

O estimador de MQGF pode ser implementado pela fórmula:

 −1
0 b −1
β̂MQGF = X Ω X X0 Ω
b −1 y .

4.4 Testes de Heteroscedasticidade

Se não houver problema de heteroscedasticidade e a hipótese MQO4 for válida, a variância do
estimador MQO será:  
−1
Var β̂ | X = σ 2 (X0 X)

Se houver heteroscedasticidade, com Var(ε | X) = σ 2 Ω, a variância do estimador MQO será:

 
−1 −1
Var β̂ | X = σ 2 (X0 X) X0 Ω X (X0 X) .

O teste de White utiliza estes dois fatos para produzir uma estatı́stica teste que permite verificar
a presença ou não de heterocedasticidade. O teste de White é dado por:
H0 : σi2 = σ 2 , ∀i
H1 : H0 é falsa.

O procedimento do Teste de White é:

1. Estime a regressão y = Xβ + ε por MQO e obtenha uma série de erros de estimação e.
2. Estime a regressão e = Xγ + X0 Xδ + η e obtenha a estatı́stica nR2 desta regressão: é
possı́vel mostrar que esta estatı́stica possui distribuição χ2 com P graus de liberdade,
onde P é o número de variáveis incluı́das na regressão e = Xγ + X0 Xδ + η.
3. Se nR2 > χ2α , rejeitar H0 . Caso contrário, não rejeitar H0 .

13
O teste de Breusch-Pagan testa a hipótese σi2 = f (α0 + α0 zi ), onde zi é um vetor de variáveis
independentes. O modelo de regressão linear será homoscedástico se α = 0.

Seja gi = e2i / (e0 e/n) − 1 e considere as matrizes abaixo:

   
1 z11 . . . z1P g1
 1 z21 . . . z2P   g2 
Z =  .. e g= .
   
.. ..  ..
 . . .   . 
1 zn1 . . . znP gn

O teste de Breusch-Pagan, ao assumir que σi2 = f (α0 + α0 zi ), é constituı́do pelas seguintes

hipóteses:

H0 : α = 0
H1 : α 6= 0

A estatı́stica do teste é dada pelo multiplicador de Lagrange:

1 0 −1
LM = g Z (Z0 Z) Z0 g ,
2
que possui distibuição χ2 com P graus de liberdade, onde P é o número de colunas em Z. Se
LM > χ2α , rejeitamos H0 . Caso contrário, não rejeitamos H0 .

EXERCÍCIOS ANPEC

RESOLVER: Questão 5 – Exame 2017; Questão 10 – Exame 2016; Questão 12 – Exame 2013;
Questão 13 – Exame 2010; Questão 8 – Exame 2007; Questão 11 – Exame 2004; Questão 9 –
Exame 2002.

14
5 Variáveis Omitidas e Outros Tópicos
5.1 Variáveis Omitidas
Vamos “particionar” o conjunto X de K regressores em dois, X1 , com 0 < p < K variáveis (ou
seja, dimensão n × p) e X2 , com 0 < K − p < K variáveis (ou seja, dimensão n × (K − p)).
Então podemos escrever o modelo de regressão como:

y = Xβ + ε = X1 β1 + X2 β2 + ε ,

em que β = [β1 β2 ]0 .

As equações normais podem ser escritas como:

 0
X1 X1 X01 X2
    0 
β̂1 X1 y
0 0 =
X2 X 1 X2 X 2 β̂2 X02 y

Resolvendo o sistema acima para β̂1 obtemos:

 
β̂1 = (X01 X1 )−1 X01 y − (X01 X1 )−1 X01 X2 β̂2 = (X01 X1 )−1 X01 y − X2 β̂2

A solução acima para β̂1 da regressão particionada mostra que β̂1 é igual ao conjunto de
coeficientes obtidos da regressão de y em X1 , menos um vetor de correção (evidentemente,
vale o análogo para β̂2 ).

Logo, se os regressores em X2 forem excluı́dos da regressão, podemos ter um viés de variável

omitida, ou seja, um viés no estimador de MQO de β1 .

Suponha que X01 X2 = 0. Então obtemos que:

β̂1 = (X01 X1 )−1 X01 y e β̂2 = (X02 X2 )−1 X02 y

Portanto, para que o viés esteja presente, duas condições devem ser satisfeitas:

• Os regressores omitidos devem ser relevantes na determinação da variável dependente y

(ou seja, β2 6= 0); e

• X1 deve ser correlacionado com os regressores omitidos X2 .

Vamos simplificar e considerar que o modelo verdadeiro contém apenas dois regressores distintos
do termo constante:
yi = β0 + β1 x1i + β2 x2i + εi .
Suponha também que o modelo verdadeiro satisfaça as hipóteses do modelo MQO.

A equação estimada omite o regressor x2 :

yi = β0 + β1 x1i + εi

Quando omitimos o regressor x2 , temos que o estimador de β1 será:

Pn
(x1i − x̄1 )yi
β̂1 = Pi=1
n 2
i=1 (x1i − x̄1 )

15
Substituindo para yi (usando o modelo verdadeiro), obtemos:
Pn Pn Pn
i=1 (x1i − P
x̄1 )(β0 + β1 x1i + β2 x2i + εi ) i=1 (x1i − x̄1 )x2i (x1i − x̄1 )εi
β̂1 = n 2
= β1 + β2 Pn 2
+ Pi=1
n 2
i=1 (x1i − x̄1 ) i=1 (x1i − x̄1 ) i=1 (x1i − x̄1 )

Isso implica que:  Pn 

i=1 (x1i − x̄1 )x2i
E(β̂1 ) = β1 + β2 E Pn 2
i=1 (x1i − x̄1 )
Se β2 for diferente de zero e x1 e x2 forem correlacionados, então o segundo termo não é nulo
e temos um viés causado por omissão de variável relevante.

Mais ainda, é possı́vel mostrar também que o estimador de MQO β̂1 não será consistente
(novamente, se β2 = 0 ou se os regressores forem não correlacionados, então pode-se mostrar
que o estimador de MQO obtido da regressão com a omissão da variável X2 será consistente).

5.2 Variáveis Desnecessárias

Considere que o modelo de regressão múltipla verdadeiro é:

y = X 1 β1 + ε ,

mas é erroneamente postulado que:

y = X 1 β1 + X 2 β2 + ε ,

em que X1 é uma matriz n × K1 e X2 é uma matriz n × K2 .

Vamos assumir que:

• E(ε | X1 , X2 ) = 0, e

• E(εε0 | X1 , X2 ) = σ 2 I.

Vamos denotar por β̂1 o estimador de MQO para o modelo verdadeiro e por β̃1 e β̃2 os
estimadores de MQO para o modelo mal especificado. Evidentemente, para uma dada amostra,
as estimativas obtidas para β̂1 e β̃1 não serão iguais.

É possı́vel mostrar que:

• O estimador β̃1 é não viesado.

• A variância de β̂1 será menor ou igual à variância de β̃1 (elas podem ser iguais se X1 e
X2 forem ortogonais).

Portanto, a inclusão de variáveis explicativas irrelevantes não torna o estimador de MQO dos
regressores relevantes viesados. Porém, ele pode deixar de ser BLUE no caso em que as variáveis
relevantes forem correlacionadas com as variáveis irrelevantes.

16
5.3 Erros de Mensuração
Suponha a seguinte regressão linear simples:

y i = β 1 + β 2 xi + εi .

Assuma que xi é medido com erro, ou seja, x∗i = xi + ui , com E(ui | X) = 0, E(ui εi | X) = 0 e
E(u2i | X) = σu2 .

Portanto, estamos supondo que o erro de mensuração ui tem valor esperado zero, quando
condicionado em X e que a sua variância condicional não depende da observação i. Além disto,
estamos supondo que o erro de mensuração não é correlacionado com o erro εi da regressão.

Podemos reescrever a equação de regressão como:

yt = β1 + β2 xi + νi ,

em que νi = β2 ui + i . Como E(νi ) = 0, temos que:

Cov(xi , νi ) = E(xi νi ) = E [(x∗i + ui )(β2 ui + i )] = β2 σu2 ,

ou seja, xi é correlacionado com o erro νi . Portanto, o estimador de MQO de β2 é viesado.

Podemos generalizar este resultado para o caso de uma regressão múltipla. Se determinado
regressor for medido com erro (que satisfaz as propriedades acima), então temos um problema
de endogeneidade e o estimador de MQO para este regressor será viesado e inconsistente.

5.4 Modelo de Probabilidade Linear

O modelo de regressão linear não impõe qualquer restrição sobre os regressores, que podem ser
contı́nuos, limitados ou variáveis dummies. Porém, a variável dependente é assumida contı́nua.

Vamos assumir que yi é binária e toma apenas os valores 0 e 1. O modelo de regressão linear
é dado por:
yi = x0i β + εi , i = 1, 2, . . . , n .

Neste caso, os estimadores de MQO dos parâmetros β não podem ser interpretados do modo
usual. Observe que:

E(yi | xi ) = 1 × p(yi = 1 | xi ) + 0 × p(yi = 0 | xi ) = p(yi = 1 | xi )

e, portanto,
p(yi = 1 | xi ) = E(yi | xi ) = x0i β

Este modelo é chamado modelo de probabilidade linear (MPL). Evidentemente, podemos obter
probabilidades negativas ou maiores do que um, o que é sem sentido. Mais ainda, como:

yi = E(yi | xi ) + (yi − E(yi | xi )) = E(yi | xi ) + εi = x0i β + εi ,

vemos que εi só pode tomar dois valores, ou −x0i β ou (1 − x0i β), já que yi é igual a 0 ou a 1.
Portanto, a variância de εi passa a depender de xi , o que torna o modelo heterocedástico e o
Teorema de Gauss-Markov inválido. Logo, os estimadores de MQO não serão eficientes.

17
Como E(εi | xi ) = 0, então Var(εi | xi ) = E(ε2i | xi ). Usando o fato de que p(yi = 1 | xi ) = x0i β,
obtemos:

E(ε2i | xi ) = p(yi = 0 | xi ) × (−x0i β)2 + p(yi = 1 | xi ) × (1 − x0i β)2

= (1 − p(yi = 1 | xi )) × (−x0i β)2 + p(yi = 1 | xi ) × (1 − x0i β)2
= (1 − x0i β) × (x0i β)2 + x0i β × (1 − x0i β)2
= x0i β × (1 − x0i β) × [x0i β + 1 − x0i β]
= x0i β × (1 − x0i β) ,

o que mostra que o termo erro não apenas é heterocedástico, mas pode ter variância negativa,
já que x0i β não necessariamente está entre zero e um.

Normalmente, o modelo de probabilidade linear somente é estimado para fins comparativos.

Se yi for uma variável binária, recomenda-se o uso de modelos PROBIT, TOBIT ou LOGIT.
Estes modelos podem ser adaptados para o caso em que yi é uma variável discreta que assume
poucos valores (por exemplo, yi denota o número de filhos da famı́lia i).

EXERCÍCIOS ANPEC

RESOLVER: Questão 12 – Exame 2018; Questão 12 – Exame 2011; Questão 8 – Exame 2010;
Questão 9 – Exame 2010; Questão 14 – Exame 2010; Questão 7 – Exame 2008; Questão 10 –
Exame 2005; Questão 14 – Exame 2005; Questão 9 – Exame 2001.

18
6 Equações Simultâneas
6.1 Ideia
Os modelos que analisamos até agora contêm apenas uma variável dependente, o que se reflete
em apenas uma equação. O método de MQO estima o valor médio desta variável dependente,
condicionado aos valores das variáveis independentes.
Porém, em algumas situações, temos que estimar modelos que englobam várias equações simul-
taneamente. Nestas equações, as variáveis dependentes (neste caso, usualmente denominadas
variáveis endógenas, pois são determinadas pelo modelo) podem se misturar às variáveis inde-
pendentes (no caso, variáveis exógenas, determinadas fora do modelo).
O conjunto de variáveis que podem ser determinadas simultaneamente por outras variáveis
é descrito por um modelo de equações simultâneas, em que existe uma equação para cada
variável dependente. Para estimarmos os parâmetros de uma equação, temos que levar em
conta a informação proporcionada também pelas outras equações do modelo.
O modelo estabelecido pela teoria é chamado modelo estrutural e cada equação é chamada
equação estrutural. O exemplo abaixo de oferta e demanda constitui o exemplo clássico de
equações simultâneas. As questões da ANPEC sobre este tema quase sempre se referem a este
modelo. Cada equação do modelo estrutural descreve parâmetros estruturais do modelo.

Exemplo: Modelo de Oferta e Demanda. Uma versão do modelo de oferta e demanda é:
Demanda: qtd = α1 + α2 pt + e1t , α2 < 0 ,
Oferta: qts = β1 + β2 pt + e2t , β2 > 0 ,
em que a condição de equilı́brio é qtd = qts . Suponha que de fato as inclinações das duas curvas
são as previstas. Se e1t for positivo (negativo), a curva de demanda se desloca para cima
(baixo). Porém, um deslocamento da curva de demanda leva a alterações tanto na quantidade
e no preço de equilı́brios. Ou seja, as variáveis e1t e pt não são independentes.
Da condição de equilı́brio qtd = qts , obtemos:
α1 + α2 pt + e1t = β1 + β2 pt + e2t
Resolvendo para o preço, encontramos que:
pt = θ1 + ν1t ,
em que θ1 = (β1 − α1 )/(α2 − β2 ) e ν1t = (e2t − e1t )/(α2 − β2 ). Logo:
Cov(pt , e1t ) = Cov(θ1 + θ2 (e2t − e1t ), e1t ) = −θ2 Var(e1t ) 6= 0 .

O problema de simultaneidade gera uma dependência entre as variáveis explicativas e o termo

erro (problema de endogeneidade). A hipótese MQO3 falha e o método de MQO leva a esti-
madores viesados e inconsistentes.
Vimos acima que pt = θ1 + ν1t . Substituindo essa expressão na equação de oferta, obtemos o
seguinte modelo reduzido:
pt = θ1 + ν1t
qt = θ2 + ν2t
em que θ1 = (β1 − α1 )/(α2 − β2 ) e θ2 = (β1 α2 − β2 α1 )/(α2 − β2 ), ν1t = (e2t − e1t )/(α2 − β2 ) e
ν2t = (α2 e2t − β2 e1t )/(α2 − β2 ).

19
6.2 Condições de Ordem e de Posto
No modelo reduzido, cada equação que o compõe, denominada equação reduzida, expressa uma
variável endógena em termos das variáveis exógenas e dos erros. Observe que os parâmetros
das equações reduzidas são determinados pelos parâmetros das equações estruturais.

Podemos estimar os parâmetros das equações reduzidas pelo método de MQO para então recu-
perar os parâmetros estruturais. Esta metodologia é chamada método dos mı́nimos quadrados
indiretos (MQI ). É possı́vel mostrar que o método de MQO aplicado às equações reduzidas,
sob as hipóteses usuais, gera estimadores não viesados e consistentes dos parâmetros reduzidos.

Porém temos um problema de identificação: pode não ser possı́vel recuperar os parâmetros es-
truturais dos parâmetros do modelo reduzido. No exemplo acima, temos apenas dois parâmetros
reduzidos e quatro parâmetros estruturais. Neste caso, dizemos que as equações estruturais
são subidentificadas e os parâmetros destas equações não são identificados.

Vamos descrever o problema de identificação dos parâmetros estruturais. A análise completa

desta questão é longa e não interessa para o exame da ANPEC. Vamos então apenas reportar
os dois resultados principais e a maneira de usá-los, conforme é pedido pelo exame da ANPEC.

Denote por:

• M : número de variáveis endógenas do modelo;

• m: número de variáveis endógenas em uma dada equação;

• K: número de variáveis exógenas do modelo;

• k: número de variáveis exógenas em uma dada equação.

Definição: Condição de Ordem. Em um modelo com M equações simultâneas, uma

determinada equação será identificada se o número de variáveis exógenas excluı́das da equação
de interesse não for menor do que o número de variáveis endógenas incluı́das nesta equação,
menos 1:
K − k ≥ m − 1.

Portanto, se:

• K − k < m − 1, a equação é subidentificada;

• K − k = m − 1, a equação é exatamente identificada; e

• K − k > m − 1, a equação é superidentificada.

Se a equação analisada for exatamente identificada, então os seus parâmetros estruturais podem
ser recuperados via MQI, ou seja, pela estimação dos parâmetros da forma reduzida. Se a
equação analisada for superidentificada, então o método de MQI gera resultados inconsistentes.
Neste caso, o método de mı́nimos quadrados em dois estágios é aconselhado.

A condição de ordem acima é necessária para a identificação, mas não é suficiente. Para o caso
de duas equações apenas, pode-se mostrar que uma equação será identificada se, e somente se,
a outra equação contiver pelo menos uma variável exógena com coeficiente diferente de zero
que não esteja na primeira equação.

20
Exemplo: Demanda e Oferta. No exemplo acima de demanda e oferta, temos duas variáveis
endógenas, quantidade q e preço p (M = 2). Nas duas equações, temos que o número de
variáveis endógenas é m = 2 e que o número de variáveis exógenas é 0.

A condição de posto estabelece uma condição necessária e suficiente para identificação do

sistema de equações simultâneas. O exame da ANPEC dificilmente elabora questões em que a
condição de posto deva ser verificada.

Definição: Condição de Posto. Em um modelo com M equações simultâneas com M

variáveis endógenas, uma determinada equação será identificada se, e somente se, pelo menos
um determinante de uma matriz (M − 1) × (M − 1) diferente de zero for possı́vel de ser obtido
a partir dos coeficientes das variáveis (tanto endógenas quanto exógenas) excluı́das da equação
analisada, mas incluı́das nas outras equações do modelo.

Vamos resolver a questão 12 do exame de 2009 da ANPEC para mostrar como as condições de
posto e de ordem são verificadas.

Exemplo: Solução da questão 12, exame 2009. Considere o seguinte modelo de equações
simultâneas:

y1t − φ2 y2t = γ11 x1t + u1t (Equação 1)

y2t − φ3 y3t = γ22 x2t + u2t (Equação 2)
y2t − φ4 y3t = γ31 x1t + γ32 x2t + u3t (Equação 3)

em que y1t , y2t , y3t , x1t e x2t são variáveis aleatórias, φ4 6= φ3 e u = (u1t , u2t , u3t )0 é um vetor
de variáveis aleatórias independentes e normalmente distribuı́das tal que
     2 
u1t 0 σ1 0 0
 u2t  ∼ N ID  0  ,  0 σ22 0  , para todo t
u3t 0 0 0 σ32

Indique se cada uma das afirmações abaixo é verdadeira ou falsa:

0 A condição de ordem para identificação de equações simultâneas é satisfeita pelas Equações
1 e 2 mas não é satisfeita pela Equação 3.
S: Verdadeiro. Temos um sistema com três equações simultâneas, em que y1 , y2 e y3 são
variáveis endógenas (M = 3), e em que x1 e x2 são variáveis exógenas (K = 2). Usando
a condição de ordem, obtemos:

Equação 1: K − k = 2 − 1 = 1 = 2 − 1 = m − 1 ,
Equação 2: K − k = 2 − 1 = 1 = 2 − 1 = m − 1 ,
Equação 3: K − k = 2 − 2 = 0 < 1 = 2 − 1 = m − 1 ,

onde k denota o número de variáveis exógenas da equação analisada e m o número de

variáveis endógenas da equação. Então as equações 1 e 2 são exatamente identificadas e
a 3 é subidentificada. Lembre-se que a condição de ordem é necessária mas não suficiente
para identificação. Então, sendo mais preciso, dizemos que a equação 3 é subidentificada
e as equações 1 e 2 satisfazem a condição de ordem.

1 A Equação 2 será identificada se γ31 = 0.
S: Falso. A equação 2 não é identificada se γ31 = 0. Vamos verificar a condição de posto
para a equação 2 do sistema acima. Como a condição de posto é necessária e suficiente

21
 para a identificação, isso permitirá responder o item. O sistema de equações simultâneas
escrito na forma matricial é dado por:
 
  y1t  
1 −φ2 0 −γ11 0  y2t 
  u1t
 0 1 −φ3 0 −γ22  ×  y 3t
 =  u2t 
 
0 1 −φ4 −γ31 −γ32  x1t  u3t
x2t

Para verificarmos a condição de posto para a segunda equação, note primeiro que nem
y1t nem x1t aparecem nesta equação. Obtemos então a seguinte matriz:
 
1 −γ11
0 −γ31

que possui determinante igual a −γ31 . Logo, se γ31 for zero, a segunda equação não será
identificada.

2 A Equação 1 satisfaz a condição de posto se γ22 6= 0.
S: Falso. Para verificarmos a condição de posto para a equação 1, note primeiro que nem
y3t nem x2t aparecem nesta equação. Logo, obtemos a seguinte matriz:
 
−φ3 −γ22
−φ4 −γ32

O determinante desta matriz é φ3 γ32 − φ4 γ22 , que deve ser diferente de zero para que a
equação 1 seja identificada. Logo, sabermos apenas que γ22 6= 0 não é suficiente para
garantirmos que a equação 1 seja identificada.

3 Se φ3 γ32 − φ4 γ22 6= 0, os parâmetros da Equação 1 podem ser estimados por mı́nimos
quadrados em dois estágios, com x2t sendo a variável instrumental para y2t .
S: Verdadeiro. No item 2 acima, vimos que a condição de posto para a equação 1 é
satisfeita se φ3 γ32 − φ4 γ22 for diferente de zero. Neste caso, a equação 1 será identificada.
A variável que serve de intrumento para a variável endógena y2t incluı́da nesta equação
é exatamente a variável exógena que não está incluı́da na equação 1, ou seja, x2t .

4 A Equação 3 pode ser estimada por mı́nimos quadrados ordinários.
S: Verdadeiro (item anulado pela ANPEC ). A Equação 3 pode ser estimada por MQO,
porém os estimadores serão viesados e inconsistentes.

EXERCÍCIOS ANPEC

RESOLVER: Questão 13 – Exame 2014; Questão 14 – Exame 2013; Questão 2 – Exame 2011;
Questão 15 – Exame 2010; Questão 12 – Exame 2009; Questão 12 – Exame 2007; Questão 7 –
Exame 2006; Questão 8 – Exame 2005; Questão 7 – Exame 2004 ; Questão 8 – Exame 2003;
Questão 11 – Exame 2002; Questão 8 – Exame 2001; Questão 14 – Exame 1998.

22