Escolar Documentos
Profissional Documentos
Cultura Documentos
on de Sistemas
Sesi
on 5: M
etodos param
etricos,
Regresi
on lneal y Mnimos Cuadr
ados
Dr. Efran Alcorta Garca
26 de Febrero 2015
Identificaci
on de Sistemas
Sesion 6: Metodos parametricos, Regresi
on lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 1
Contenido
Ejemplos de Regresi
on Lineal
Estimado de mnimos cuadrados
Analisis
Interpretacion
El mejor estimado sin sesgo
Ejemplos de mnimos cuadrados
Ejemplos.
SIGUIENTE SESION:
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 2
Contenido
Ejemplos de Regresi
on Lineal
Estimado de mnimos cuadrados
Analisis
Interpretacion
El mejor estimado sin sesgo
Ejemplos de mnimos cuadrados
Ejemplos.
SIGUIENTE SESION:
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 3
Obtenci
on de Modelo de regresi
on lineal
Ejercicio:
Considerar un sistema lineal en espacio de estado representado
por:
1.5
0.75
1
3.50
3 2 x(t)
y(t) =
x(t)
x(t) +
3
1
u(t)
Obtener la representaci
on en forma de regresor.
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 4
Obtenci
on de Modelo de regresi
on lineal
Soluci
on:
Lo primero que se requiere es obtener la representaci
on del sistema
en forma canonica de observador. Para esto se requiere primero
definir la transformaci
on:
C
CA
Q=
..
CAn1
T = (W Q)1
a1 a2
a2
. a3
W
=
.
1 ...
an1 1
1
0
...
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 5
Obtenci
on de Modelo de regresi
on lineal
para nuestro sistema resulta que: |sI A| = s2 + 5s + 6.
Q=
3
2
2.5 9.25
; W =
5 1
1 0
; T =
222.75
223.75
0.75
22.75
12.5
22.75
Aplicando la transformaci
on al sistema:
Aobs = T 1AT =
Cobs = CT =
0 6
1 5
0 1
; Bobs = T 1B =
38.25
11
xobs(t) = T 1x(t).
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 6
Obtenci
on de Modelo de regresi
on lineal
El sistema en forma canonica observador resulta:
0 6
xobs(t) +
1 5
0 1 xobs(t)
y(t) =
x obs(t) =
38.25
11
u(t)
Considerando para los polos del regresor los valores {4, 5},
de tal forma que (s + 4)(s + 5) = s2 + 9s + 20, con lo que se
selecciona L1 = 20 y L2 = 9 y el sistema anterior se puede
re-escribir:
0 20
xobs(t) +
1 9
0 1 xobs(t)
y(t) =
x obs(t) =
38.25
11
u(t) +
20 6
95
y(t)
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 7
Obtenci
on de Modelo de regresi
on lineal
de donde:
1(t) =
2(t) =
1(t) =
2(t) =
0 20
1 9
0 20
1 9
0 20
1 9
0 20
1 9
1(t) +
2(t) +
1(t) +
2(t) +
1
0
0
1
1
0
0
1
u(t)
u(t)
y(t)
y(t)
38.25
11
0 1
1(t) 2(t) 1(t) 2(t)
y(t) =
14
|
{z
}
(t)
4
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 8
Obtenci
on de Modelo de regresi
on lineal
Utilizando la transformacion que relaciona 1 con 2 y al mismo
tiempo 1 con 2, la forma de regresor resulta en:
0 20
0
2(t) =
2(t) +
u(t)
1 9
1
0
0 20
y(t)
2(t) +
2(t) =
1
1 9
38.25
11
0 1
T12(t) 2(t) T12(t) 2(t)
y(t) =
14
|
{z
}
(t)
4
con T1 cumpliendo (sI F )1
1
0
= T1(sI F )1
0
1
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 9
Obtenci
on de Modelo de regresi
on lineal
0 20
s
20
donde F =
, y (sI F ) =
;
1 9
1
s
+
9
1
s + 9 20
(sI F )1 = 2
; y la ecuacion para
1
s
s + 9s + 20
T1 satisface:
s+9
20
T111 T112 s2 + 9s + 20
s2 + 9s + 20
= T
;
s
1
121 T122
s2 + 9s + 20
s2 + 9s + 20
de donde resulta:
s + 9 = T111 (20) + T112 s
1 = T121 (20) + T122 s
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 10
Obtenci
on de Modelo de regresi
on lineal
de donde resulta que:
20T111
T112
20T121
T122
= 9 T111 =
9
20
= 1
= 1 T121 =
1
20
= 0
de donde:
9
20
T1 =
1
20
1 0.45 1
= 0.05 0
0
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 11
Obtenci
on de Modelo de regresi
on lineal
c ):
Implementaci
on (MatLab
Requerimientos:
Un archivo (opcional) con los
datos generales del sistema y
parametros requeridos.
Archivo de datos:
mreg_datos.m
% Datos del problema de ejemplo
% Sistema de la presentacin
% 26 de febrero 2015
%
A
B
C
Sistema Original
= [-1.5 0.75;-1 -3.5];
= [3; -1];
= [-3 2];
Secuencia
de
comandos
requeridos para resolver la
ecuacion diferencial.
%
Q
W
T
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 12
Obtenci
on de Modelo de regresi
on lineal
% Polos del filtro
L1 = -20;
L2 = -9;
% Transformacion T1
T1 = [-0.45 1;-0.05 0];
% Condicion inicial
x0 = [1;-1];
xobs0 = [0;0];
% Tiempo de simulacion
t0 = 0;
tf = 15;
% Matrices del filtro
AF = [0 -20;1 -9];
BF = [0;1];
CF = [0 1];
Usar Simulink
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 13
Obtenci
on de Modelo de regresi
on lineal
Observaciones:
El modelo de regresion lineal obtenido presenta los parametros
matematicos asociados al sistema. Es importante destacar que
el n
umero de parametros asociados al modelo original es mayor
al que finalmente se tiene en el modelo de regresi
on.
En general la relacion entre parametros fsicos y parametros
matematicos es nolineal y pudiera representar un problema
difcil de resolver.
La obtenci
on para la forma de regresor en sistemas discretos en
espacio de estado es semejante a la del tiempo continuo. El
u
nico cambio requerido es en la selecci
on de los polos del filtro.
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 14
Contenido
on Lineal
Ejemplos de Regresi
Estimado de mnimos cuadrados
Analisis
Interpretacion
El mejor estimado sin sesgo
Ejemplos de mnimos cuadrados
Ejemplos.
SIGUIENTE SESION:
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 15
Problema de regresi
on lineal: Mnimos Cuadr
ados
Encontrar un estimado de a partir de las mediciones y(1),
(1), ... , y(N ), (N ):
Soluci
on:
y(1) = T (1)
y(2) = T (2)
..
y(N ) = T (N )
entonces
Y =
con Y N , N n.
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 16
Regresi
on lineal
Si se selecciona N = n y resulta no singular, entonces se
puede obtener una solucion exacta al problema de estimar
mediante la inversa de .
Debido a ruido, perturbaciones, falta de modelado, etc. los
datos utilizados deben de ser mas que los estrictamente
necesarios N > n.
Con esto el problema queda sobre
parametrizado y la solucion no es u
nica. Para encontrar una
solucion se procede a definir la ecuacion del error (llamada
tambien residuo):
= y(t) (t)
con
(1)
= ..
(N )
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 17
min = V () = Y Y Y ( ) Y
2
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 18
Comentarios
La matriz T es por construccion no negativa semidefinida.
Si T es singular, lo anterior no se puede aplicar.
dV ()
0=
= Y T + T (T )
d
lo cual puede escribirse como
(T ) = T Y
La solucion de minimos cuadrados tambien se conoce en
algebra lineal como pseudo inversa.
La solucion tambien puede escribise como
"N
#1 " N
#
X
X
=
(t)T (t)
(t)y(t)
t=1
t=1
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 19
Interpretaci
on
Si se denotan las columnas de por los vectores 1, ..., n,
donde cada vector pertenece a n. El problema es encontrar una
combinaci
on lineal de las columndas de de tal forma que Y sea
aproximado tan bien como sea posible. La mejor aproximacion
esta dada por la proyecci
on ortogonal de Y en el espacio vectorial
definido por las columnas de :
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 20
Ejemplo de aplicaci
on de Mnimos Cuadr
ados
Considerar que nuestro sistema esta dado por
y(t) = b
Lo cual significa que estimaremos el valor de una constante a
partir de un conjunto de mediciones ruidosas. Con
1
(t) = 1; = b; = ..
1
nuestro estimado resulta
1
= [y(1) + + y(N )]
N
Es decir, el estimado de mnimos cuadrados es simplemente la
media aritmetica de las mediciones.
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 21
An
alisis del estimado de mnimos cuadrados
Suponiendo que los datos satisfacen
y(t) = T (t)0 + e(t)
donde 0 es el vector de parametros reales. Suponer que e(t) es
una variable estocastica de media 0 y varianza 2 . Esta ecuacion
puede re-escribirse como:
Y = 0 + e
Para encontrar la solucion considerar el siguiente procedimiento:
T Y = T 0 + T e
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 22
An
alisis del estimado de mnimos cuadrados
Para despejar 0 se pre-multiplica por la inversa del producto T
(bajo el supuesto de que este producto es regular):
1
1 T
T
e(t)
y(t) = 0 +
T
y resulta:
1 T
y(t)
0
T
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 23
An
alisis del estimado de mnimos cuadrados
Lema
Considerar el estimado = (T )1T Y y suponer que los datos
corresponden a la ecuacion de arriba, entonces:
1. es un estimado sin sesgo de 0
=
2. La matriz de covarianza de esta dada por cov()
2(T )1
3. Un estimado sin sesgo de 2 esta dado por
2V ()
s =
N n
2
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 24
Prueba
(1) El estimado esta dado por
= (T )1T {0 + e} = 0 + (T )1 T e
y entonces
E = 0 + (T )1T Ee = 0
(2)
E( 0)( 0)T
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 25
Contenido
on Lineal
Ejemplos de Regresi
Estimado de mnimos cuadrados
Analisis
Interpretacion
El mejor estimado sin sesgo
Ejemplos de mnimos cuadrados
Ejemplos.
SIGUIENTE SESION:
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 26
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 27
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 28
Ejemplo
Considerar que nuestro sistema esta dado por
Ee2(t) = 2t
y(t) = b + e(t)
Con
1
(t) = .. ;
1
R=
= PN
1
j=1 2
j
21
0
22
...
2N
0
N
X
1
y(i)
2
i=1 i
Contenido
P. 29
Contenido
on Lineal
Ejemplos de Regresi
Estimado de mnimos cuadrados
Analisis
Interpretacion
El mejor estimado sin sesgo
Ejemplos de mnimos cuadrados
Ejemplos.
SIGUIENTE SESION:
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 30
1.5
0.75
1
3.50
3 2 x(t)
y(t) =
x(t)
x(t) +
3
1
u(t)
Contenido
P. 31
0
1
0
1
u(t)
y(t)
1
2
0 1
T12(t) 2(t) T12(t) 2(t)
y(t) =
|
{z
} 3
h
i
(t)= 1 (t) 2(t) 3(t) 4(t)
4
T1 =
0.45 1
0.05 0
nominal
38.25
11
14
4
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 32
u(t1 )
y(t1 )
u(t2 )
y(t2 )
;
U
=
Y =
..
..
.
.
u(tN )
y(tN )
1 (t1 )
2)
; = 1 (t
..
.
1 (tN )
2 (t1 )
2 (t2 )
..
.
2 (tN )
3 (t1 )
3 (t2 )
..
.
3 (tN )
4 (t1 )
4 (t2 )
..
.
4 (tN )
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 33
T Y
= T
1 T
T
Y
=
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015
Contenido
P. 34
Pr
oxima sesi
on
Mas Ejemplos
Identificacion de Sistemas
Sesion 6: Metodos parametricos, Regresion lneal y Mnimos Cuadrados
26 de Febrero 2015