Introducción

El Modelo de Regresión Poblacional

Análisis de Regresión Lineal

Clase 1
Econometrı́a I

José Luis Lima R.

08 de Marzo de 2011

José Luis Lima R. Clase 1 Econometrı́a I

 Introducción
El Modelo de Regresión Poblacional
Análisis de Regresión Lineal

Contenidos

1 Introducción

2 El Modelo de Regresión Poblacional

Función de regresión poblacional (FRP)

3 Análisis de Regresión Lineal

El modelo de Regresión Lineal
Función de regresión muestral
Propiedades de un Estimador
Conceptos útiles de Teorı́a Asintótica

José Luis Lima R. Clase 1 Econometrı́a I

 Introducción
El Modelo de Regresión Poblacional
Análisis de Regresión Lineal

Introducción
Existen varias preguntas en Economı́a, programas públicos y en la
empresa, para la toma de decisiones, cuya respuesta requiere un
análisis de tipo cuantitativo. Por ejemplo:
1 ¿Cuál es el efecto en las ventas de mi empresa de la
introducción de un nuevo producto o competidor al mercado?
2 ¿Cuál es el efecto en el rendimiento académico de los alumnos
de las escuelas públicas de reducir el número de alumnos por
cada aula?
3 ¿Cuál será el nivel de inventarios que necesito tener el
próximo semestre si las ventas aumentan en un 20 %?
4 ¿Cuál será la demanda por servicios de telefonı́a fija en los
próximos cuatro años si los precios relativos aumentan en un
5 % y el ingreso real disminuye en un 3 %?
José Luis Lima R. Clase 1 Econometrı́a I
 Introducción
El Modelo de Regresión Poblacional
Análisis de Regresión Lineal

Introducción
Las dos primeras preguntas tienen que ver con estimar el
efecto causal de una variable sobre otra.
En cambio que las dos últimas preguntas están relacionadas con
proyectar o predecir en el tiempo una variable de interés ante
cambios en otras variables explicativas.

José Luis Lima R. Clase 1 Econometrı́a I

 Introducción
El Modelo de Regresión Poblacional
Análisis de Regresión Lineal

Introducción
Las dos primeras preguntas tienen que ver con estimar el
efecto causal de una variable sobre otra.
En cambio que las dos últimas preguntas están relacionadas con
proyectar o predecir en el tiempo una variable de interés ante
cambios en otras variables explicativas.
El Análisis de Regresión es un instrumento que nos permite, bajo
ciertas condiciones, darle respuesta a estas preguntas. El objetivo
de este curso será aprender a utilizar el Modelo de Regresión
Lineal para responder esas preguntas.

José Luis Lima R. Clase 1 Econometrı́a I

 Introducción
El Modelo de Regresión Poblacional
Análisis de Regresión Lineal

Introducción
Las dos primeras preguntas tienen que ver con estimar el
efecto causal de una variable sobre otra.
En cambio que las dos últimas preguntas están relacionadas con
proyectar o predecir en el tiempo una variable de interés ante
cambios en otras variables explicativas.
El Análisis de Regresión es un instrumento que nos permite, bajo
ciertas condiciones, darle respuesta a estas preguntas. El objetivo
de este curso será aprender a utilizar el Modelo de Regresión
Lineal para responder esas preguntas.
El primer uso del Modelo de Regresión Lineal para responder
preguntas de tipo causal del que se tenga registro, fue en un
estudio para explicar la pobreza en Inglaterra, realizado por U. Yule
en 1899 (publicado en el Journal of the Royal Statistical Society).
José Luis Lima R. Clase 1 Econometrı́a I
 Introducción
El Modelo de Regresión Poblacional Función de regresión poblacional (FRP)
Análisis de Regresión Lineal

El modelo de regresión poblacional

La regresión es un elemento fundamental en la Econometrı́a,
corresponde a un estudio de dependencia entre una variable
dependiente Y y una o más variables explicativas X (es decir, es
una matriz). El análisis de regresión tiene como objeto estimar y/o
predecir el promedio poblacional de la variable dependiente para
valores dados de la(s) variable(s) explicativa(s), es decir, E (Yi /Xi )

José Luis Lima R. Clase 1 Econometrı́a I

 Introducción
El Modelo de Regresión Poblacional Función de regresión poblacional (FRP)
Análisis de Regresión Lineal

El modelo de regresión poblacional

La regresión es un elemento fundamental en la Econometrı́a,
corresponde a un estudio de dependencia entre una variable
dependiente Y y una o más variables explicativas X (es decir, es
una matriz). El análisis de regresión tiene como objeto estimar y/o
predecir el promedio poblacional de la variable dependiente para
valores dados de la(s) variable(s) explicativa(s), es decir, E (Yi /Xi )

Teorema de la Propiedad de Descomposición de la Función

de Regresión Poblacional (FRP):

Yi = E [Yi /Xi ] + ui

José Luis Lima R. Clase 1 Econometrı́a I

 Introducción
El Modelo de Regresión Poblacional Función de regresión poblacional (FRP)
Análisis de Regresión Lineal

El modelo de regresión poblacional

La regresión es un elemento fundamental en la Econometrı́a,
corresponde a un estudio de dependencia entre una variable
dependiente Y y una o más variables explicativas X (es decir, es
una matriz). El análisis de regresión tiene como objeto estimar y/o
predecir el promedio poblacional de la variable dependiente para
valores dados de la(s) variable(s) explicativa(s), es decir, E (Yi /Xi )

Teorema de la Propiedad de Descomposición de la Función

de Regresión Poblacional (FRP):

Yi = E [Yi /Xi ] + ui
La variable Yi es la variable dependiente y es una variable aleatoria.
La variable Xi es la variable independiente o explicativa y ui resume
los otros factores que pueden afectar a Yi y también es aleatoria.
José Luis Lima R. Clase 1 Econometrı́a I
 Introducción
El Modelo de Regresión Poblacional Función de regresión poblacional (FRP)
Análisis de Regresión Lineal

El modelo de regresión poblacional

Yi = E [Yi /Xi ] + ui
La primera parte de la ecuación: E [Yi /Xi ] es la Función de
Regresión Poblacional (FRP). El error aleatorio ui tiene la
propiedad de que E (ui /Xi ) = 0 (probarlo). Asimismo, si h(Xi ) es
cualquier función de Xi , entonces también es cierto que
E (h(Xi )ui ) = 0 (probarlo utilizando la siguiente propiedad:
E (f (Y )Z ) = EY (f (Y )E (Z /Y )))
Definición: La Función de Regresión Poblacional es simplemente
el lugar geométrico de las medias condicionales de la variable
dependiente para valores dados de la(s) variable(s) explicativa(s).

José Luis Lima R. Clase 1 Econometrı́a I

 Introducción
El Modelo de Regresión Poblacional Función de regresión poblacional (FRP)
Análisis de Regresión Lineal

El modelo de regresión poblacional

José Luis Lima R. Clase 1 Econometrı́a I

 Introducción
El Modelo de Regresión Poblacional Función de regresión poblacional (FRP)
Análisis de Regresión Lineal

El modelo de regresión poblacional

De lo anterior es claro que la media condicional E (Yi |Xi ) es

función de Xi , donde Xi es un valor dado de X:

E (Yi |Xi ) = f (Xi ) (1)

Qué forma tiene f(·) es una pregunta empı́rica, aunque muchas

veces la teorı́a nos puede ayudar bastante.
De lo anterior también queda claro que, debido a que ui es una
variable aleatoria (con E (ui /Xi )=0), Yi también es aleatorio. Lo
que se observa en la data es una de las posibles realizaciones de Y
para cada valor Xi . De ésto se desprende que, para cada valor Xi ,
existe una distribución de probabilidad para Yi centrada en
E (Yi /Xi )

José Luis Lima R. Clase 1 Econometrı́a I

 Introducción
El Modelo de Regresión Poblacional Función de regresión poblacional (FRP)
Análisis de Regresión Lineal

El modelo de regresión poblacional

José Luis Lima R. Clase 1 Econometrı́a I

 Introducción
El Modelo de Regresión Poblacional Función de regresión poblacional (FRP)
Análisis de Regresión Lineal

El modelo de regresión poblacional

Teorema de la Propiedad de Predicción de la FRP

Sea m(Xi ) cualquier función de Xi . La FRP es la solución al
siguiente problema:

mı́n E [(Yi − m(Xi ))2 ]

m(Xi )

José Luis Lima R. Clase 1 Econometrı́a I

 Introducción
El Modelo de Regresión Poblacional Función de regresión poblacional (FRP)
Análisis de Regresión Lineal

El modelo de regresión poblacional

Teorema de la Propiedad de Predicción de la FRP

Sea m(Xi ) cualquier función de Xi . La FRP es la solución al
siguiente problema:

mı́n E [(Yi − m(Xi ))2 ]

m(Xi )

Teorema ANOVA

V (Yi ) = VX (E (Yi /Xi )) + EX (V (Yi /Xi ))

donde EX (V (Yi /Xi )) = EX (E (ui2 /Xi )) = E (ui2 )

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Modelo de Regresión Lineal

Como vimos anteriormente E (Yi /Xi ) es una función de Xi que

puede a priori tener cualquier forma.
En este curso vamos a asumir que E (Yi /Xi ) es una función lineal:

E (Yi /Xi ) = Xi0 β = β0 + β1 X1i + β2 X2i + . . . + βk Xki

Existen varias razones por las cuáles este supuesto puede resultar
razonable.

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Modelo de Regresión Lineal

Primera Razón: Si Y y X se distribuyen de manera conjunta en

forma normal, E (Y /X ) efectivamente es lineal. Este es el supuesto
que usó Galton al realizar el primer análisis de regresión en 1876.

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Modelo de Regresión Lineal

Primera Razón: Si Y y X se distribuyen de manera conjunta en

forma normal, E (Y /X ) efectivamente es lineal. Este es el supuesto
que usó Galton al realizar el primer análisis de regresión en 1876.

Segunda Razón (Teorema del Mejor Predictor Lineal): La

función Xi0 β es el mejor predictor (con el menor Error Cuadrático
Medio) de Yi , para valores dados de Xi , en la clase de funciones
lineales de X.
Es decir, β resuelve el siguiente problema:

mı́n E [(Yi − Xi0 b)2 ]

b

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Modelo de Regresión Lineal

La condición de primer orden de este problema establece que:

E [Xi (Yi − Xi0 b)] = 0

Por lo que la solución es β = E (Xi Xi0 )−1 E (Xi Yi ).

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Modelo de Regresión Lineal

La condición de primer orden de este problema establece que:

E [Xi (Yi − Xi0 b)] = 0

Por lo que la solución es β = E (Xi Xi0 )−1 E (Xi Yi ).

Tercera Razón (Teorema de la aproximación lineal al FPR):

La función Xi0 β provee la mejor aproximación lineal (la de menor
Error Cuadrático Medio) a la FPR.
Es decir, β también resuelve el siguiente problema:

mı́n E [(E (Yi /Xi ) − Xi0 b)2 ]

b

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Modelo de Regresión Lineal

Cuarta Razón (Teorı́a): En algunos casos, la teorı́a nos puede

indicar si la forma en que se relacionan Y y X es lineal.
Por ejemplo, si tratamos de estimar una función de producción tipo
Cobb-Douglas (como es común en modelos de crecimiento),
sabemos que podemos expresar la relación entre producción e
insumos de la siguiente manera:

ln(Q) = αln(K ) + (1 − α)ln(L)

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Función de regresión muestral

En la mayorı́a de los fenómenos económicos a estudiar, no

disponemos de las observaciones totales de la población (censo),
como hemos supuesto hasta ahora.

Por esta razón, en la mayorı́a de las aplicaciones no podremos

conocer el verdadero valor de E (Yi /Xi ) o, en el modelo lineal, el
valor de β. Ambos están definidos a nivel de la población.

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Función de regresión muestral

En la práctica se tiene alcance nada más que a una muestra de los

valores de Y que se corresponden a unos valores de X. En este caso
tenemos que estimar la función de regresión poblacional en base a
información muestral.

Como contraparte muestral la función de regresión muestral

puede escribirse como:

Ŷi = Xi0 β̂ = βˆ0 + βˆ1 X1i + . . . + βˆk Xki (2)

donde Ŷi es el estimador de E (Y |Xi ), y β̂ es el estimador del

vector de parámetros β.

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Función de regresión muestral

Por ejemplo, suponga que tenemos 2 muestras de una misma
población con una variable dependiente y una variable explicativa
(además de la constante).
Tabla 1. Muestra aleatoria Tabla 2. Muestra aleatoria
de la población en tabla 2. de la población en tabla 2.
Y X Y X
70 80 55 80
65 100 88 100
90 120 90 120
95 140 80 140
110 160 118 160
115 180 120 180
120 200 145 200
140 220 135 220
155 240 145 240
150 260 175 260

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Función de regresión muestral

Muestras distintas originan distintos estimadores para β0 y β1 .

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Función de regresión muestral

Al igual que para el caso poblacional, podemos descomponer el

valor de Yi como la suma de un componente sistemático,
representado por la función de regresión muestral, y un
componente de error muestral:

Yi = β̂0 + β̂1 Xi + ûi (3)

En la figura 5 podemos notar que para todo Xi a la derecha del

punto A, Ŷi sobreestima E (Yi |Xi ). De igual manera, para cualquier
punto a la izquierda de A, Ŷi subestima E (Yi |Xi ).

Esta sobreestimación y subestimación del modelo poblacional es

inevitable debido a que solo contamos con parte de la información
de la población para estimar.
José Luis Lima R. Clase 1 Econometrı́a I
 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Función de regresión muestral

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Función de regresión muestral

Entonces, el objetivo del Análisis de Regresión Lineal es estimar la

Función de regresión poblacional:

β1 + β2 Xi (4)

con base en la Función de regresión muestral:

β̂1 + β̂2 Xi (5)

tomando como fundamento la siguiente pregunta:

¿Cómo se puede construir la función de regresión muestral
para β̂1 y β̂2 que este lo más cerca de los valores verdaderos
(poblacionales) de β1 y β2 ?

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Propiedades de un Estimador

Un estimador, siendo función de la muestra, es una variable

aleatoria y tiene su propia distribución de probabilidad.

Algunas propiedades deseables para los estimadores son las

siguientes:
1. INSESGADO: Se denomina sesgo a la diferencia entre el valor
esperado del estimador y su verdadero valor:E (β̂) − β. De esta
forma, se dice que β̂ es un estimador insesgado si E (β̂) = β.
2. EFICIENTE: El estimador es eficiente o de mı́nima varianza si
no hay ningún otro estimador insesgado que tenga una varianza
menor que β̂. En general se trata de utilizar estimadores de
varianza pequeña, pues de este modo la estimación es más precisa.

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Propiedades de un Estimador

El Error Cuadrático Medio (ECM) es una caracterı́stica de los

estimadores que mezcla los conceptos de eficiencia e
insesgamiento. El ECM de β̂ se define como:

ECM(β̂) = E [(β̂ − β)2 ]

Lo que se puede expresar equivalentemente de la siguiente manera:

ECM(β̂) = Var (β̂) + [Sesgo(β̂)]2

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Propiedades de un Estimador

3. CONSISTENTE: El estimador β̂ es consistente si al aumentar

el tamaño de la muestra su valor converge en probabilidad (en el
p
limite) al verdadero valor del parámetro β̂ → β.

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Propiedades de un Estimador

3. CONSISTENTE: El estimador β̂ es consistente si al aumentar

el tamaño de la muestra su valor converge en probabilidad (en el
p
limite) al verdadero valor del parámetro β̂ → β.
Formalmente, si N es el tamaño de la muestra, el lı́mite de la
probabilidad se define como

∀ε > 0, lı́m Pr [|β̂ − β| < ε] = 1

N→∞

Esto se denota plim β̂ = β.

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Propiedades de un Estimador

3. CONSISTENTE: El estimador β̂ es consistente si al aumentar

el tamaño de la muestra su valor converge en probabilidad (en el
p
limite) al verdadero valor del parámetro β̂ → β.
Formalmente, si N es el tamaño de la muestra, el lı́mite de la
probabilidad se define como

∀ε > 0, lı́m Pr [|β̂ − β| < ε] = 1

N→∞

Esto se denota plim β̂ = β. Dos reglas útiles al respecto son:

X

plimX
plim Y = plimY
plim (X · Y )=plimX · plimY
En la próxima sección veremos como estimar β0 y β1 .

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Algunos conceptos útiles de Teorı́a Asintótica

Ley de Grandes Números: En muestras aleatorias, los momentos

muestrales convergen en probabilidad a los momentos
p
poblacionales. Por ejemplo, X → E (X ).

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Algunos conceptos útiles de Teorı́a Asintótica

Ley de Grandes Números: En muestras aleatorias, los momentos

muestrales convergen en probabilidad a los momentos
p
poblacionales. Por ejemplo, X → E (X ).

Teorema Central del Lı́mite: En muestras aleatorias

suficientemente grandes, los momentos muestrales debidamente
normalizados se distribuyen aproximadamente como una Normal.
√ d
Por ejemplo, N[X − E (X )] → N(0, V (X ))

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Algunos conceptos útiles de Teorı́a Asintótica

Teorema de Slutsky: Suponga que tiene una variable aN que

converge a una distribución asintótica dada y otra variable bN que
converge en probabilidad a b. Entonces aN + bN tiene la misma
distribución asintótica que aN + b. También aN ḃN tiene la misma
distribución asintótica que aN ḃ.

José Luis Lima R. Clase 1 Econometrı́a I

 El modelo de Regresión Lineal
Introducción
Función de regresión muestral
El Modelo de Regresión Poblacional
Propiedades de un Estimador
Análisis de Regresión Lineal
Conceptos útiles de Teorı́a Asintótica

Algunos conceptos útiles de Teorı́a Asintótica

Teorema de Slutsky: Suponga que tiene una variable aN que

converge a una distribución asintótica dada y otra variable bN que
converge en probabilidad a b. Entonces aN + bN tiene la misma
distribución asintótica que aN + b. También aN ḃN tiene la misma
distribución asintótica que aN ḃ.

Teorema del Mapeo Continuo: Si h(bN ) es una función contı́nua

de bN y plim bN = b, entonces plim h(bN ) = h(b). Es decir, la
continuidad de las funciones es una propiedad que se preserva en el
lı́mite.

José Luis Lima R. Clase 1 Econometrı́a I