Análise de Regressão Múltipla

Análise de
Chapter 3 Regressão Múltipla
© 2016 Cengage Learning ® . May not be scanned, copied or duplicated, or posted to a publicly accessible website, in whole or in part, except for use as permitted in a license distributed with a
certain product or service or otherwise on a password-protected website or school-approved learning management system for classroom use. © kentoh/Shutterstock.
Análise de Regressão Múltipla:
Estimação
● Definição do modelo de regressão múltipla
“Explica a variável em termo das variáveis ”
Intercepto Parâmetros de inclinação
Variável dependente,
variável explicada, Termo de erro,
Variáveis independentes, perturbação,
variável de resposta,… Variáveis explicativas, não observáveis,…
regressores,…
© 2016 Cengage Learning ® . May not be scanned, copied or duplicated, or posted to a publicly accessible website, in whole or in part, except for use as permitted in a license
distributed with a certain product or service or otherwise on a password-protected website or school-approved learning management system for classroom use.
Estimação
● Motivação para regressão múltipla
• Incorporar mais fatores explicativos no modelo
• Manter outros fatores fixos que, de outra forma, estariam em
• Permitir formulários funcionais mais flexíveis
• Exemplo: Equação de Salários
Mede o efeito da educação explicitamente mantendo a experiência fixa
Outros fatores…
Salário hora Anos de educação Anos de experiência no mercado de trabalho
Estimação
● Exemplo: notas médias nos testes e gastos por aluno
Other factors
Average standardized Per student spending Average family income

test score of school at this school of students at this school
• Gasto por aluno provavelmente está correlacionado com a renda

média familiar em uma determinada escola por causa do
financiamento escolar
• Omitir a renda familiar média na regressão levaria a uma estimativa
viesada do efeito dos gastos nas notas médias dos testes
• Em um modelo de regressão simples, o efeito dos gastos por aluno
incluiria o efeito da renda familiar nas notas médias
Estimação
● Exemplo: Renda familiar e consumo familiar
Other factors
Family consumption Family income Family income squared
• Duas variáveis explicativas: renda e renda ao quadrado

• O consumo é explicado como uma função quadrática da renda
• É preciso ter muito cuidado ao interpretar os coeficientes:
Por quanto o consumo Depende da renda

aumenta se a renda aumentar já existente
por uma unidade?
Estimação
● Exemplo: salário do CEO, vendas e experiência do CEO na
firma
Log of CEO salary Log sales Quadratic function of CEO tenure with the firm
• O modelo assume uma elasticidade constante entre o salário do

CEO e as vendas de sua empresa
• O modelo assume uma relação quadrática entre o salário do CEO e
seu tempo de mandato na empresa
● O que significa regressão “linear”:

• O modelo tem que ser linear nos parâmetros (não nas variáveis)
Estimação
● Estimação do modelo MCO de regressão múltipla
● Amostra aleatória
● Resíduos de regressão
● Minimizar a soma dos resíduos quadrados
Minimization will be carried out by computer
Estimação
● Interpretação do modelo de regressão múltipla
By how much does the dependent variable change if the j-th

independent variable is increased by one unit, holding all
other independent variables and the error term constant
• O modelo de regressão linear múltipla mantem fixos as outras

variáveis explicativas mesmo que, na realidade, elas estejam
correlacionadas com a variável explicativa considerada
• Interpretação “Ceteris paribus”
• Ainda deve ser assumido que os fatores não observados não
mudam se as variáveis explicativas forem alteradas
Estimação
● Exemplo: Determinantes da nota média na universidade
Grade point average at college High school grade point average Achievement test score
● Interpretação
• Mantendo a nota do ACT (ENEM) fixa, um aumento de 1 ponto na
média nas notas do ensino médio está associada a um aumento de
0,453 pontos na nota média da universidade
• Ou: Se compararmos dois alunos com o mesmo ACT, mas o hsGPA
do aluno A for um ponto mais alto, prevemos que o aluno A tenha
um colGPA 0,453 maior que o do aluno B
• Mantendo as notas do ensino médio fixa, 10 pontos no ACT estão
associados a menos de um ponto na faculdade
Estimação
● Propriedades de OLS em qualquer amostra de dados
● Valores ajustados e resíduos
Fitted or predicted values Residuals
● Propriedades algébricas da regressão OLS
Deviations from regression Covariance between deviations Sample averages of y and of the
line sum up to zero and regressors are zero regressors lie on regression line
Estimação
● Interpretação da “parcialidade” da regressão múltipla
● Pode-se mostrar que o coeficiente estimado de uma variável

explicativa em uma regressão múltipla pode ser obtido em
duas etapas:
• 1) Regrida a variável explicativa em todas as outras variáveis
explicativas
• 2) Regrida nos resíduos desta regressão
● Por que esse procedimento funciona?

• Os resíduos da primeira regressão é a parte da variável explicativa
que não está correlacionada com as outras variáveis explicativas
• O coeficiente da segunda regressão representa, portanto, o efeito
isolado da variável explicativa na variável dependente
Estimação
● Qualidade de ajuste
● Decomposição da variação total
Observe que o R-quadrado só pode

aumentar se outra variável explicativa
for adicionada à regressão
● R-quadrado
● Expressão alternativa do R-quadrado

R-quadrado é igual ao quadrado do
coeficiente de correlação entre o
valor real e o previsto da
variável dependente
Estimação
● Exemplo: Explicando os registros de prisões
Proporção de prisões
Número de vezes anteriores que levou Meses na prisão 1986 Trimestres empregados 1986
preso 1986 à condenação
● Interpretação:
• Se a proporção de prisões anteriores aumentar em 0,5, a queda
prevista nas prisões é de 7,5 prisões po 100 homens
• Se os meses na prisão aumentarem de 0 para 12, a queda prevista
nas prisões é de 0,408 prisões para um determinado homem
• Se os trimestres empregados aumentarem em 1, a queda prevista
nas prisões é de 10,4 prisões por 100 homens
Estimação
● Exemplo: Explicando os registros de prisões
• Uma variável explicativa adicional é adicionada:
Pena média em condenações anteriores
● Interpretação: R-quadrado aumenta apenas ligeiramente

• Pena média anterior aumenta o número de prisões (?)
• Limitado poder explicativo adicional à medida que o R-quadrado
aumenta um pouco
● Observação geral sobre R-quadrado

• Mesmo que o R2 seja pequeno (como no exemplo), a regressão
ainda pode fornecer boas estimativas dos efeitos ceteris paribus
Estimação
● Suposições padrão para o modelo de regressão múltipla
● Hipótese RLM.1 (Linear nos parâmetros)

Na população, a relação entre y e
as variáveis explicativas é linear
● Hipótese RLM.2 (Amostragem aleatória)
Os dados são uma amostra aleatória

tirada da população
Cada ponto de dados, portanto, segue a equação da população
Estimação
● Hipótese RLM.3 (Sem colinearidade perfeita)
“Na amostra (e, portanto, na população), nenhuma

das variáveis independentes é constante e não há relações
lineares exatas entre as variáveis independentes.”
● Observações sobre RLM.3

• A hipótese apenas exclui a colinearidade/correlação perfeita entre
as variáveis explicativas; correlação imperfeita é permitida
• Se uma variável explicativa é uma combinação linear perfeita de
outras variáveis explicativas, ela é supérflua e pode ser eliminada
• Variáveis constantes também são descartadas (colinear com o
intercepto)
Estimação
● Exemplo de colinearidade perfeita: amostra pequena
Em uma pequena amostra, avginc pode ser acidentalmente um múltiplo exato de expend;
não será possível estimar seus efeitos separados porque há uma covariação exata
● Exemplo de colinearidade perfeita: relações entre regressores
Tanto o shareA quanto o shareB terão que ser retirados da regressão porque há
uma relação linear exata entre eles: shareA + shareB = 1
Estimação
● Hipótese RLM.4 (Média condicional zero)
As variáveis explicativas
não devem conter informações sobre a
média dos fatores não observados
• Em um modelo de regressão múltipla, a suposição de média

condicional zero é muito mais provável de se manter porque menos
coisas acabam no erro
● Exemplo: nota média nos testes
Se avginc não fosse incluído na regressão, acabaria no termo de erro; então

seria difícil defender que o gasto não está correlacionado com o erro
Estimação
● Discussão da hipótese de média condicional zero
• As variáveis explicativas que são correlacionadas com o erro são
endógenas; endogeneidade é uma violação da RLM.4
• Variáveis explicativas não correlacionadas com o termo de erro são
exógenas; RLM.4 é válido se as variáveis explicativas são exógenas
• A exogeneidade é a suposição chave para uma interpretação causal
da regressão e para a inexistência de viés do MQO
● Teorema 3.1 (Inexistência de viés do MQO)
• A inexistência de viés é uma propriedade da média em amostras

repetidas; em uma determinada amostra, as estimativas ainda
podem estar longe dos valores verdadeiros
Estimação
● Incluindo variáveis irrelevantes em um modelo de regressão
Sem problemas porque . = 0 na população
No entanto, incluir variáveis irrelevantes pode aumentar a variância amostral.
● Omitindo variáveis relevantes: o caso simples
Modelo verdadeiro (contém x1 e x2)
Modelo estimado (x2 omitido)
Estimação
● Viés de variável omitida
Se x1 e x2 estiverem correlacionados,
suponha uma relação linear entre eles
Se y é regredido Se y é regredido termo de erro

apenas em x1 este apenas em x1, esta
será o intercepto será a inclinação de x1
estimado estimada
● Conclusão: Todos os coeficientes estimados serão viesados
Estimação
● Exemplo: Omitindo habilidade em uma equação salarial
Ambos serão positivos
O retorno à educação será superestimado porque . Vai parecer que as

pessoas com muitos anos de educação ganham salários muito altos, mas isso é em
parte devido ao fato de que as pessoas com mais educação também são mais hábeis,
em média.
● Quando não há viés de variável omitida?

• Se a variável omitida for irrelevante ou não correlacionada
Estimação
● Viés de variável omitida: caso geral
Modelo verdadeiro (contém x1, x2, e

x3)
Modelo estimado (x3 omitido)
• Não é possível fazer declarações gerais sobre a direção do viés

• Analise como se um regressor não estivesse correlacionado com
outros
● Exemplo: omitindo habilidade em uma equação salarial
Se exper é aproximadamente não correlacionado com educ e abil, então a

direção do viés da variável omitida pode ser analisada no caso simples de duas
variáveis.
Estimação
● Hipótese RLM.5 (Homocedasticidade)

As variáveis explicativas não devem conter
informações sobre a variância dos fatores
não observados
● Exemplo: equação salarial
Essa suposição também pode ser

difícil justificar em muitos casos
● Notação:
Todas as variáveis explicativas
estão em um vetor
com
Estimação
● Teorema 3.2 (Variância dos estimadores de MQO)
Sob as hipóteses RLM.1 – RLM.5:
Variância do termo de erro
Variação total da amostra em R-quadrado de uma regressão da variável explicativa

variável explicativa xj: xj em todas as outras variáveis independentes
(incluindo uma constante)
Estimação
● Componentes da variância do MQO
● 1) A variância do erro
• Uma alta variância de erro aumenta a variância amostral porque há
mais “ruído” na equação
• Uma alta variância de erro torna as estimativas imprecisas
• A variação do erro não diminui com o tamanho da amostra
● 2) A variação total da variável explicativa

• Mais variação da amostra leva a estimativas mais precisas
• A variação total da amostra aumenta com o tamanho da amostra
• Aumentar o tamanho da amostra é, portanto, uma maneira de obter
estimativas mais precisas
Estimação
● 3) Relações lineares entre as variáveis independentes
Regrida em todas as outras variáveis independentes (incluindo

uma constante)
O R-quadrado desta regressão será maior, se xj for

melhor explicado pelas outras variáveis
independentes
• A variância de será maior quanto melhor a variável explicativa

puder ser explicada linearmente por outras variáveis independentes
• O problema de variáveis explicativas quase linearmente
dependentes é chamado de multicolinearidade. (i.e. para
algum )
Estimação
● Um exemplo de multicolinearidade
Average standardized Expenditures Expenditures for in- Other ex-

test score of school for teachers structional materials penditures
As diferentes categorias de gastos estarão fortemente correlacionadas porque se uma escola

tem muitos recursos ela vai gastar muito em tudo.
Será difícil estimar os efeitos diferenciais de diferentes categorias de despesas porque todas
as despesas são altas ou baixas. Para estimativas precisas dos efeitos diferenciais, seriam
necessárias informações sobre situações em que as categorias de despesas mudam de forma
diferenciada.
Como consequência, a variância amostral dos efeitos estimados será grande.
Estimação
● Discussão do problema da multicolinearidade
• No exemplo anterior, provavelmente seria melhor agrupar todas as
categorias de despesas porque os efeitos não podem ser separados
• Em outros casos, descartar algumas variáveis independentes pode
reduzir a multicolinearidade (mas isso pode levar ao viés de variável
omitida)
Estimação
• Apenas a variância amostral das variáveis envolvidas na
multicolinearidade será inflada; as estimativas de outros efeitos
podem ser muito precisas
• Observe que a multicolinearidade não é uma violação de RLM.3 no
sentido estrito
• A multicolinearidade pode ser detectada através de “variance
inflation factors”
Como regra geral (arbitrária), o „fator de

inflação da variância“ não deve ser maior que
10
Estimação
● Variância em modelos mal especificados
• A escolha de incluir uma variável específica em uma regressão pode
ser feita analisando o tradeoff entre viés e variância
Modelo populacional real
Modelo estimado 1
Modelo estimado 2
• Pode ser que o provável viés de variável omitida no modelo 2 mal

especificado seja compensado por uma variância menor
Estimação
● Variância em modelos mal especificados
Condicional em x1 e x2, a
variância no modelo 2 é
sempre menor do que no
modelo 1
● Caso 1: Conclusão: Não inclua variáveis irrelevantes
● Caso 2: Trade off viés e variância; Cuidado: o viés não desaparecerá mesmo em amostras
grandes
Estimação
● Estimando a variância do erro
Uma estimativa não viesada da variância do erro é obtida subtraindo o número de

coeficientes de estimados da regressão do número de observações. O número de
observações menos o número de parâmetros estimados é chamado de graus de liberdade.
Os n resíduos quadrados estimados na soma não são completamente independentes, mas
relacionados através das equações k+1 que definem as condições de primeira ordem do
problema de minimização.
● Teorema 3.3 (estimador não viesado da variância do erro)
Estimação
● Estimativa das variâncias amostrais dos estimadores MQO
A verdadeira variação
amostral do
estimado
Substitua pela variância estimada
A variação estimada
do
estimado
● Observe que essas fórmulas são válidas apenas sob as

hipóteses RLM.RLM.5 (em particular, precisamos de
homocedasticidade)
Estimação
● Eficiência do MQO: O Teorema de Gauss-Markov
• Sob as hipóteses RLM.1 - RLM.5, MQO é não viesado
• No entanto, sob essas hipóteses, pode haver muitos outros
estimadores que não viesados
• Qual é o estimador não viesado com a menor variância?
• Para responder a esta pergunta, nos limitamos a estimadores
lineares, i.e, estimadores lineares na variável dependente
o estimador MQO
pode ser mostrado para ser desta forma
Estimação
● Teorema 3.4 (Teorema Gauss-Markov)
• Sob as hipóteses RLM.1 - RLM.5, os estimadores MQO são os
melhores estimadores lineares não viesados (BLUEs) dos
coeficientes de regressão, ou seja,
for all for which .
● MQO é o melhor estimador se RLM.1 – RLM.5 for verdade; se

houver heterocedasticidade, por exemplo, existem
estimadores melhores.

Análise de Regressão Múltipla

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Análise de Regressão Múltipla

Enviado por

Direitos autorais:

Formatos disponíveis

Análise de

Chapter 3 Regressão Múltipla

“Explica a variável em termo das variáveis ”

Intercepto Parâmetros de inclinação

Mede o efeito da educação explicitamente mantendo a experiência fixa

Salário hora Anos de educação Anos de experiência no mercado de trabalho

Average standardized Per student spending Average family income

• Gasto por aluno provavelmente está correlacionado com a renda

Family consumption Family income Family income squared

• Duas variáveis explicativas: renda e renda ao quadrado

Por quanto o consumo Depende da renda

• O modelo assume uma elasticidade constante entre o salário do

● O que significa regressão “linear”:

● Minimizar a soma dos resíduos quadrados

Minimization will be carried out by computer

By how much does the dependent variable change if the j-th

• O modelo de regressão linear múltipla mantem fixos as outras

● Valores ajustados e resíduos

Fitted or predicted values Residuals

● Propriedades algébricas da regressão OLS

● Pode-se mostrar que o coeficiente estimado de uma variável

● Por que esse procedimento funciona?

● Decomposição da variação total

Observe que o R-quadrado só pode

● Expressão alternativa do R-quadrado

Pena média em condenações anteriores

● Interpretação: R-quadrado aumenta apenas ligeiramente

● Observação geral sobre R-quadrado

● Hipótese RLM.1 (Linear nos parâmetros)

● Hipótese RLM.2 (Amostragem aleatória)

Os dados são uma amostra aleatória

Cada ponto de dados, portanto, segue a equação da população

● Hipótese RLM.3 (Sem colinearidade perfeita)

“Na amostra (e, portanto, na população), nenhuma

● Observações sobre RLM.3

● Exemplo de colinearidade perfeita: relações entre regressores

● Hipótese RLM.4 (Média condicional zero)

• Em um modelo de regressão múltipla, a suposição de média

● Exemplo: nota média nos testes

Se avginc não fosse incluído na regressão, acabaria no termo de erro; então

● Teorema 3.1 (Inexistência de viés do MQO)

• A inexistência de viés é uma propriedade da média em amostras

Sem problemas porque . = 0 na população

No entanto, incluir variáveis irrelevantes pode aumentar a variância amostral.

● Omitindo variáveis relevantes: o caso simples

Modelo verdadeiro (contém x1 e x2)

Modelo estimado (x2 omitido)

Se y é regredido Se y é regredido termo de erro

● Conclusão: Todos os coeficientes estimados serão viesados

Ambos serão positivos

O retorno à educação será superestimado porque . Vai parecer que as

● Quando não há viés de variável omitida?

Modelo verdadeiro (contém x1, x2, e

Modelo estimado (x3 omitido)

• Não é possível fazer declarações gerais sobre a direção do viés

● Exemplo: omitindo habilidade em uma equação salarial

Se exper é aproximadamente não correlacionado com educ e abil, então a

● Hipótese RLM.5 (Homocedasticidade)

Essa suposição também pode ser

Variância do termo de erro

Variação total da amostra em R-quadrado de uma regressão da variável explicativa

● 2) A variação total da variável explicativa

Regrida em todas as outras variáveis independentes (incluindo