El modelo de regresin lineal

El modelo lineal relaciona la variable dependiente Y con K variables explcitas

X_k (k = 1,...K), o cualquier transformacin de stas que generen un
hiperplano de parmetros \beta_k desconocidos:

(2) Y = \sum \beta_k X_k + \varepsilon

donde \varepsilon es la perturbacin aleatoria que recoge todos aquellos

factores de la realidad no controlables u observables y que por tanto se
asocian con el azar, y es la que confiere al modelo su carcter estocstico. En
el caso ms sencillo, con una sola variable explcita, el hiperplano es una
recta:

(3) Y = \beta_1 + \beta_2 X_2 + \varepsilon

El problema de la regresin consiste en elegir unos valores determinados

para los parmetros desconocidos \beta_k, de modo que la ecuacin quede
completamente especificada. Para ello se necesita un conjunto de
observaciones. En una observacin i-sima (i= 1,... I) cualquiera, se registra
el comportamiento simultneo de la variable dependiente y las variables
explcitas (las perturbaciones aleatorias se suponen no observables).

(4) Y_i = \sum \beta_k X_{ki} + \varepsilon_i

Los valores escogidos como estimadores de los parmetros \hat{\beta_k},

son los coeficientes de regresin sin que se pueda garantizar que coincida n
con parmetros reales del proceso generador. Por tanto, en

(5) Y_i = \sum \hat{\beta_k} X_{ki} + \hat{\varepsilon_i}

Los valores \hat{\varepsilon_i} son por su parte estimaciones o errores de la

perturbacin aleatoria.

Regresin lineal simple. Tiene como objeto estudiar cmo los cambios en
una variable, no aleatoria, afectan a una variable aleatoria, en el caso de
existir una relacin funcional entre ambas variables que puede ser
establecida por una expresin lineal, es decir, su representacin grfica es
una lnea recta. Cuando la relacin lineal concierne al valor medio o
esperado de la variable aleatoria, estamos ante un modelo de regresin lineal
simple. La respuesta aleatoria al valor x de la variable controlada se designa
por Yx y, segn lo establecido, se tendr
regresin lineal. Permite determinar el grado de dependencia de las series
de valores X e Y, prediciendo el valor y estimado que se obtendra para un
valor x que no est en la distribucin.
correlacon momento de indice
En estadstica, el coeficiente de correlacin de Pearson es una medida de la
relacin lineal entre dos variables aleatorias cuantitativas. A diferencia de la
covarianza, la correlacin de Pearson es independiente de la escala de
medida de las variables.

De manera menos formal, podemos definir el coeficiente de correlacin de

Pearson como un ndice que puede utilizarse para medir el grado de relacin
de dos variables siempre y cuando ambas sean cuantitativas.
En el caso de que se est estudiando dos variables aleatorias x e y sobre una
poblacin; el coeficiente de correlacin de Pearson se simboliza con la letra
\rho_{x,y}, siendo la expresin que nos permite calcularlo:

\rho_{X,Y}={\sigma_{XY} \over \sigma_X \sigma_Y} ={E[(X-\mu_X)

(Y-\mu_Y)] \over \sigma_X\sigma_Y},

Donde:

\sigma_{XY} es la covarianza de (X,Y)

\sigma_{X} es la desviacin tpica de la variable X
\sigma_{Y} es la desviacin tpica de la variable Y

De manera anloga podemos calcular este coeficiente sobre un estadstico

muestral, denotado como r_{xy} a:

r_{xy}=\frac{\sum x_iy_i-n \bar{x} \bar{y}}{n s_x s_y}=\frac{n\sum

x_iy_i-\sum x_i\sum y_i} {\sqrt{n\sum x_i^2-(\sum x_i)^2}~\sqrt{n\sum
y_i^2-(\sum y_i)^2}}.
crrelacion cordinal de sperman
En estadstica, el coeficiente de correlacin de Spearman, (rho) es una
medida de la correlacin (la asociacin o interdependencia) entre dos
variables aleatorias continuas. Para calcular , los datos son ordenados y
reemplazados por su respectivo orden.

El estadstico viene dado por la expresin:

\rho = 1- {\frac {6 \sum D^2}{N(N^2 - 1)}}

donde D es la diferencia entre los correspondientes estadsticos de orden de

x - y. N es el nmero de parejas.

Se tiene que considerar la existencia de datos idnticos a la hora de

ordenarlos, aunque si stos son pocos, se puede ignorar tal circunstancia

Para muestras mayores de 20 observaciones, podemos utilizar la siguiente

aproximacin a la distribucin t de Student

t = \frac{\rho}{\sqrt{(1-\rho^2)/(n-2)}}

La interpretacin de coeficiente de Spearman es igual que la del coeficiente

de correlacin de Pearson. Oscila entre -1 y +1, indicndonos asociaciones
negativas o positivas respectivamente, 0 cero, significa no correlacin pero
no independencia. La tau de Kendall es un coeficiente de correlacin por
rangos, inversiones entre dos ordenaciones de una distribucin normal
bivariante.

Mnimos cuadrados
Mnimos cuadrados es una tcnica de anlisis numrico enmarcada dentro de

la optimizacin matemtica, en la que, dados un conjunto de pares

ordenados: variable independiente, variable dependiente, y una familia de
funciones, se intenta encontrar la funcin continua, dentro de dicha familia,
que mejor se aproxime a los datos (un "mejor ajuste"), de acuerdo con el
criterio de mnimo error cuadrtico.

En su forma ms simple, intenta minimizar la suma de cuadrados de las

diferencias en las ordenadas (llamadas residuos) entre los puntos generados
por la funcin elegida y los correspondientes valores en los datos.
Especficamente, se llama mnimos cuadrados promedio (LMS) cuando el
nmero de datos medidos es 1 y se usa el mtodo de descenso por gradiente
para minimizar el residuo cuadrado. Se puede demostrar que LMS minimiza
el residuo cuadrado esperado, con el mnimo de operaciones (por iteracin),
pero requiere un gran nmero de iteraciones para converger.

Desde un punto de vista estadstico, un requisito implcito para que funcione

el mtodo de mnimos cuadrados es que los errores de cada medida estn
distribuidos de forma aleatoria. El teorema de Gauss-Mrkov prueba que los
estimadores mnimos cuadrticos carecen de sesgo y que el muestreo de
datos no tiene que ajustarse, por ejemplo, a una distribucin normal. Tambin
es importante que los datos a procesar estn bien escogidos, para que
permitan visibilidad en las variables que han de ser resueltas (para dar ms
peso a un dato en particular, vase mnimos cuadrados ponderados).

La tcnica de mnimos cuadrados se usa comnmente en el ajuste de curvas.

Muchos otros problemas de optimizacin pueden expresarse tambin en
forma de mnimos cuadrados, minimizando la energa o maximizando la
entropa.