Regresion lineal. Para una serie de datos (x1,y1) , (x2,y2),...

, (xn,yn), queremos encontrar la funcion que mejor describa el comportamiento de los datos. Funcion lineal. Para un set de datos, queremos encontrar la linea recta que mejor describa la mayoria de los datos. y =a + a 1 x Para calcular los !alores de las constantes a y a1, !amos a calcular el error residual, i.e. e i= y i f ( x i )= y i a a1 x i Proponemos la funcion costo Q= [ e i ]2
i =1 n

"i minimi#amos el !alor de $ obtenemos los !alores de a y a1 que nos generan la mejor linea recta que describe los datos, esto es% n Q = 2 ( y i a a1 x i ) a i =1 n Q =2 ( y i a a1 x i ) x i a1 i =1 &xpandiendo los terminos, queda como
n n n

y i a a 1 x i =
i =1 n i=1 i =1 n i =1 n

y i x i a
i= 1 n

x i a 1 x 2 i=
i= 1

como los !alores de xi y yi son conocidos, podemos rearreglar las ecuaciones na + a 1 x i= yi

n i=1 n i =1 n n

x i+ a1 x 2 i = y i xi
i =1 i= 1 i=1

'o que es un sistemas de 2 ecns lineales con 2 incognitas. ((utoestudio) )omo se e!alua si la regresion es buena* Regresion de una combinacion lineal de funciones. (+ora, para un set de datos experimentales (xi,yi) i,1,2,...,n queremos ajustar una funcion de la forma G ( x )= a g o ( x )+ a1 g 1( x )+ ... + am g m ( x ) Por lo que a+ora el la funcion costo tiene la forma Q= [ y iG ( x i )]2
i= 1 n

"i minimi#amos la funcion costo $, calculando las deri!adas parciales con respecto de cada parametro, tenemos

Q =2 [ y iG ( x i )] g ( xi )= a i= 1 n Q =2 [ y iG ( x i )] g 1 ( x i )= a1 i= 1 n Q =2 [ y iG ( x i )] g m ( x i)= am i= 1 &n forma matricial, resulta en el sistema de ecuaciones%

[
&jemplo.

g
i= 1

( xi )

g
i= 1

( x i) g 1 ( x i )

g ( x i) g m ( x i )
i= 1 n

a n n 2 g 1 ( xi ) g m ( x i) a 1 = g ( x i) g 1 ( x i ) g 1( x i) i= 1 i= 1 i= 1 a m n n n 2 g ( x ) g ( x ) g ( x ) g ( x ) g ( x ) i m i 1 i m i m i
i =1 i=1 i =1

][ ]
n

[]

yi g
i=1 n i=1 n

( xi )

yi g1 ( xi )

i =1

yi g m ( x i )

$ue se resuel!e como un sistema de ecuaciones lineales. 'a regresion polinomial es un caso especial de la regresion de una combinacion lineal de funciones, donde g (x),1, g1(x),x, -, gm(x),xm. ((utoestudio) )omo podemos aplicar esta regresion lineal si tenemos mas de una !ariable independiente.

Regresion no lineal. (+ora queremos ajustar una funcion no lineal a nuestro set de datos experimentales, e.g. y= f ( x , b) donde b son los parametros a determinar. .tili#ando el error residual, podemos definir nuestra funcion costo $ como Q= [ y i f ( x i , b )]2 =' =( Y iY )' ( Y i Y )
i= 1 n

donde =[ e 1 e 2 ... e n] ' , /i es un !ector con los !alores experimentales de y, y / es un !ector con la funcion f(x,b) e!aluada en la correspondiente yi, i.e. Y i =[ y 1 y 2 ... y n ] ' Y =[ f ( x 1 , b ) f ( x 2 , b ) ... f ( x n , b )] ' 'a funcion costo $ tiene que ser minimi#ada para encontrar el set de parametros b que mejor represente los datos experimentales con la funcion f(x,b). Para este fin , podemos utili#ar alguno de los metodos !istos anteriormente, como 0escenso mas rapido y 1auss23e4ton (3e4ton2Rap+son). 5etodo del 0escenso mas rapido. "i calculamos el gradiente de la funcion $, este nos dara la direccion que minimi#a la funcion. Q b =k b donde 6 es un parametro para controlar la con!ergencia. Por lo tanto, a partir de un !alor inicial propuesto para los parametros b, podemos calcular su nue!o !alor como b ( j + 1 )= b ( j )+ b ( j ) b =267 ' ( Y iY ) donde la matri# jacobiana tiene la siguiente forma

( )

f ( x 1 , b ( j )) b1 f ( x 2 , b ( j )) J ( b ( j ))= b1 f ( x n , b ( j )) b1

f ( x 1 , b ( j )) f ( x 1 , b ( j )) b2 bm f ( x 2 , b ( j )) f ( x 2 , b ( j )) b2 bm f ( x n , b ( j )) f ( x n , b ( j )) b2 bm

5etodo de 1auss23e4ton "i expandimos la funcion no lineal en series de 8aylor +asta el termino lineal, resulta en Y ( x , b ( j )) Y ( x , b )=Y ( x , b ( j )+ b ( j ))=Y ( x , b ( j ))+ b =Y ( x , b ( j ))+ J ( x , b ( j )) b b "i sustituimos la funcion lineali#ada en la funcion costo, $ queda como% Q = ( Y i Y J b )' ( Y i Y J b ) minimi#ando la funcion $, tenemos que el cambio en los parametros esta dado por b ( j + 1 )= b ( j )+ b b =( J ( x , b ( j )) ' J ( x , b ( j )))1 J ( x , b ( j )) ' ( Y iY ( x , b ( j )))

((utoestudio) 5etodo de 3e4ton y la !ariante del metodo de 5arquardt de 0escenso mas rapido con 3e4ton. &jemplo.