Estadística

Regresión Lineal Simple

Ing. Sandra González

II termino, 2018
 Introducción a la regresión Lineal Simple

 En base a los siguientes datos :

X 1 2 3 4 5 6
Y 4,8 7,3 8,4 11 13,1 15,2

 Realice un diagrama de dispersión de los datos

Regresion Lineal Simple
En el modelo de regresión lineal simple, dado dos variables es:

Y=b0 + b1x+ e 𝜀 ~𝑁(0, 𝜎 2 ) cov 𝜀𝑖 , 𝜀𝑗 = 0 i≠ 𝑗

Y (dependiente)
X (independiente, explicativa, predictora)
 Regresion Lineal Simple
El modelo condicional:
𝐸 𝑦𝑖 𝑋 = 𝑥𝑖 = 𝐵0 + 𝐵1 𝑥𝑖

𝜀𝑖 ~𝑁(0, 𝜎 2 ) cov 𝜀𝑖 , 𝜀𝑗 = 0 i≠ 𝑗

• 𝐸 𝑦𝑖 𝑋 = 𝑥𝑖 es también denominado: Función de respuesta o parte sistemática del

modelo

• Los valores de 𝐵0 , 𝐵1 son desconocidos pero estadísticamente estimables

• El modelo a estimar es: 𝑦ෝ𝑖 =𝐵

෢𝑜 + 𝐵
෢1 𝑥𝑖 donde 𝑒𝑖 = 𝑦𝑖 − 𝑦ෝ𝑖

𝜀𝑖 ~𝑁(0, 𝜎 2 ) cov 𝜀𝑖 , 𝜀𝑗 = 0 i≠ 𝑗
 Supuestos del modelo
 Linealidad

 E(𝜀𝑖 )=0 - Homogeneidad

 V(𝜀𝑖 )= 𝜎 2 (constante), este supuesto hace que el modelo sea considerado como
homocedástico.

 cov 𝜀𝑖 , 𝜀𝑗 = 0 i≠ 𝑗 Independencia lineal de los errores

 Normalidad de los errores

 Regresión lineal simple
1. Linealidad
 Regresión lineal simple
2. Homocedasticidad

Var (𝑒𝑖 ) = 𝜎 2 i=1,….,n

Regresión lineal simple

3. Homogeneidad
Los errores tienen valor esperado nulo : 𝐸 𝑒𝑖 = 0

Esto significa que el ajuste que se va ha hacer está centrado en los datos.

4. Independencia
Los errores son variables aleatorias independientes.
 Regresión lineal simple

5. Normalidad

• Los errores tienen una distribución normal 𝜀𝑖 ~𝑁(0, 𝜎 2 ) . Es decir,

Se distribuyen siguiendo una campana de Gauss.

Esta suposición es perfectamente razonable en virtud del teorema de limite

central.

• Como consecuencia :
𝑦𝑖 ~ 𝑁(𝐵0 + 𝐵1 𝑥𝑖 , 𝜎 2 )

• Observación: Bajo la hipótesis de la normalidad, la incorrelación y la

independencia de los errores son equivalentes.
 Estimación de parámetros
 Recta de mínimos cuadrados

La recta de regresión poblacional es: 𝒀𝒊 = 𝜷𝟎 + 𝜷𝟏 𝑿𝒊

La recta de mínimos cuadrados es: ෡𝟎 + 𝜷
෡𝒊 = 𝜷
𝒀 ෡ 𝟏 𝑿𝒊

෡ 𝟏 son los estimadores de 𝜷𝟎 y 𝜷𝟏

෡𝟎 , 𝜷
𝜷
෡ 𝒊 se denomina error/residual.
𝒆𝒊 = 𝒀𝒊 − 𝒀
Criterio de mínimos cuadrados es minimizar el error/residual
 Estimación por el método de Mínimos
Cuadrados Ordinarios
El modelo lineal de regresión se construye utilizando la técnica de estimación de
Mínimos Cuadrados Ordinarios

Buscar 𝜷 ෡ 𝟏 de tal manera que se minimice la cantidad σ𝑛𝑖=1 𝑒𝑖2

෡𝟎 , 𝜷

Se comprueba que para lograr dicho resultado basta con elegir:

𝑆𝑥𝑦
෡
𝜷𝟏 = ෡ 𝟎 =𝑦−
𝜷 ത 𝜷෡ 𝟏 𝑥ҧ
𝑆𝑥𝑥
 Sumas cuadráticas
 Existen tres sumas cuadráticas importantes en un modelo de regresión
 Suma Cuadrática del Error (SCE) mide la variabilidad de los valores observados
alrededor de la recta cuya ecuación es Ŷi = b0 + b1Xi
n n 2

SCE =  ei2 = ( yi − yˆ i )
i =1 i =1

 Suma Cuadrática Total (SCT) mide la variabilidad de la respuesta

2

( )
n
SCT =  yi − y
i =1

 Suma Cuadrática de Regresión (SCR)

2

( )
n
SCR =  yˆi − y
i =1
Prueba Global del modelo
Tabla Anova
 Coeficiente de Determinación

𝑆𝐶𝑅
𝑅2 =
𝑆𝐶𝑇

0 ≤ 𝑅2 ≤ 1

𝑅2 indica la proporción de variabilidad de Y, explicada a través del modelo por las variables
de explicación; o si trabajamos con la potencia de explicación del modelo 𝑅2 x(100%), se
cambia el valor de proporción a porcentaje

• Un valor cercano a cero indica que no se capto casi nada de la variación total de Y,
• Un valor cercano a uno señala que casi 100% de la variabilidad fue captada
• Lo que interesa de un modelo es que capte la mayor variación, entonces es preferible que
sea cercano a 1
 Ejemplo 1:
 En base a los siguientes datos.

X 1 2 3 4 5 6
Y 4,8 7,3 8,4 11 13,1 15,2

 Determine los estimadores de Mínimos cuadrados para un modelo de

Regresión Lineal Simple.
 Escriba la ecuación de regresión lineal simple que mejor modele los datos
 Estime el valor de y para x=1,5
 Estime el valor de y para x=5
Prueba Global del modelo de Regresión
Prueba de
Hipotesis para 𝛽1
𝐻𝑜 : 𝛽1 = 0
vs
𝐻1 : 𝛽1 ≠ 0

Con (1-𝛼) 100% de confianza rechace 𝐻𝑜 en favor de 𝐻1 si el estadístico de

prueba

𝑀𝐶𝑅
𝐹𝑜 = > 𝐹(𝛼,𝑝−1,𝑛−𝑝)
𝑀𝐶𝐸

Para regresión lineal simple p=2 y n la cantidad de datos de la muestra.

Ejemplo 2:
 En base a los siguientes datos.

X 1 2 3 4 5 6
Y 4,8 7,3 8,4 11 13,1 15,2

 Realice la prueba global del modelo

Tabla F
 Relacion entre el coeficiente de correlacion (𝑟𝑥𝑦 ) y el
coeficiente de determinacion (𝑅2 )

 Se puede probar que en Regresión Lineal Simple la relación entre el

coeficiente de correlación de X e Y y el coeficiente de determinación de
este modelo, viene dado por:

𝑟𝑥𝑦 = ± 𝑅2

Téngase en cuenta que el coeficiente de correlación si puede ser negativo,

debiendo escogerse su signo como positivo, si la relación entre la variable
de explicación y la variable ha ser explicada es creciente. Negativo si tal
relación es decreciente.