Apresentacao

Aproximacao de Funcoes, Metodo dos Mnimos
Quadrados
Jhonatan Andres Aguirre Manco
Matem
atica Computacional
12 de Maio, 2015
Jhonatan A. A. M.
12 de Maio, 2015
Mnimos Quadrados. . .
1 / 32
Aproximacao de Funcoes, Metodo dos Mnimos Quadrados

Aproximacao de Funcoes
Porque aproximar?
Facilitar c
alculos
Representar dados.
Que Familia de funcoes escolher?

Polin
omicas, Harm
onicas
Comportamento aproximado
f (x) =
m
X
ak gk (x)
k=0
Resduo r (x)
r (x) = f (x) g (x) = Mnimo possivel.
Metodo dos mnimos quadrados

r (x) =
r 2 (x)
x
Jhonatan A. A. M.
12 de Maio, 2015
2 / 32
formulacao, dominio discreto

M(a0 , a1 ...am ) =
n
X
n
X
(r (xi )) =
(f (xi ) g (xi ))2
2
i=1
i=1
com
f (x) =
m
X
ak gk (x)
k=0
Jhonatan A. A. M.
12 de Maio, 2015
3 / 32
Formulacao, Dominio Discreto

M(a0 , a1 ...am ) =
n
n
X
X
(r (xi ))2 =
(f (xi ) g (xi ))2
i=1
i=1
n
X
=
[f (xi ) a0 g0 a1 g1 (xi )... am gm (xi )]2
i=1
Minimizar M(a)
M(a0 , a1 ...am )
=0
al
Jhonatan A. A. M.
12 de Maio, 2015
4 / 32

M(a0 , a1 ...am ) =
n
n
X
X
(r (xi ))2 =
(f (xi ) g (xi ))2
i=1
i=1
n
X
[f (xi ) a0 g0 a1 g1 (xi )... am gm (xi )]2
=
i=1
Minimizar M(a)
n
X
M(a0 , a1 ...am )
=2
[f (xi ) a0 g0 ... am gm (xi )](gl (xi )) = 0
al
i=1
0l m
Sistema de m+1 equac

oes com m+1 incognitas
Jhonatan A. A. M.
12 de Maio, 2015
5 / 32

M(a0 , a1 ...am ) =
n
X
(r (xi ))2
i=1
Minimizar M(a)
n
X
a0 g0 (xi )gl (xi ) +
i=1
n
X
a1 g1 (xi )gl (xi )..
i=1
n
X
i=1
am gm (xi )gl (xi ) =
n
X
f (xi )gl (xi )
i=1

Jhonatan A. A. M.
12 de Maio, 2015
6 / 32

n
X
M(a0 , a1 ...am ) =
(r (xi ))2
i=1
Minimizar M(a)
n
X
a0 g0 (xi )gl (xi ) +
i=1
n
X
a1 g1 (xi )gl (xi )..
n
X
am gm (xi )gl (xi ) =
i=1
i=1
n
X
f (xi )gl (xi )
i=1
Usando a definicao do produto escalar

< g0 gl >=
n
X
a0 g0 (xi )gl (xi )
i=1

Jhonatan A. A. M.
12 de Maio, 2015
7 / 32

n
X
M(a0 , a1 ...am ) =
(r (xi ))2
i=1
Minimizar M(a)

< g0 |f >
a0
< g0 |g0 > < g0 |g1 > ... < g0 |gm >
< g1 |f >
a1
< g1 |g0 > < g1 |g1 > ... < g1 |gm >
=
.
.
.
.
.

< gm |f >
am
< gm |g0 > < gm |g1 > ... < gm |gm >
Sistema Normal
oes com m+1 inc
ognitas, simetrico
Jhonatan A. A. M.
12 de Maio, 2015
8 / 32
Formulacao, Dominio Contnuo

Z
xf
M(y ) =
xf
(r (x)) dx =
xi
(f (x) a0 g0 (x)...am gm (x))2
xi
Minimizar M(a)
M(y )
== 2
al
Jhonatan A. A. M.
xf
(f (x)
xi
12 de Maio, 2015
m
X
ak gk (x))(gl (x))dx
k=0
9 / 32

Formulacao, Dominio Contnuo
Z
xf
M(y ) =
(r (x))2 dx =
xi
xf
(f (x) a0 g0 (x)...am gm (x))2
xi
Minimizar M(a)
M(y )
== 2
al
xf
(f (x)
xi
m
X
ak gk (x))(gl (x))dx
k=0
Usando a definicao do produto escalar

Z
xf
< fg >=
f (x)g (x)dx
xi

Jhonatan A. A. M.
12 de Maio, 2015
10 / 32

Z
xf
M(y ) =
(r (xi ))2
xi
Minimizar M(y)
<
g
|g
>
<
g
|g
>
...
<
g
|g
>
<
g
|f
>
a
0
0
0
1
0
m
0
0
< g1 |g0 > < g1 |g1 > ... < g1 |gm >
< g1 |f >
a1
=
.
.
.
.
.
< gm |g0 > < gm |g1 > ... < gm |gm >
am
< gm |f >
Sistema Normal
oes com m+1 inc
ognitas, simetrico
Jhonatan A. A. M.
12 de Maio, 2015
11 / 32
Exemplo, Regresao Linear
x
f(x)
0
1
1.5
1.57
3
2
4.5
4.3
6
7
Polinomio de grau 1
g (x) = ag0 + bg1 = a + bx
g0 = 1
g1 = x
Funcao a Minimizar
M(a, b) =
m
X
r (xi ) =
i=1
Jhonatan A. A. M.
12 de Maio, 2015
m
X
(f (xi ) a bxi )2
i=1
12 / 32

x
f(x)
0
1
1.5
1.57
3
2
4.5
4.3
6
7
Polinomio de grau 1
g (x) = ag0 + bg1 = a + bx
g0 = 1
g1 = x
Minimizar M(a, b)

< g0 |g0 > < g0 |g1 > ... < g0 |gm >
a0
< g0 |f >
a1
< g1 |f >
< g1 |g0 > < g1 |g1 > ... < g1 |gm >
=
.
.
.
.
.
< gm |g0 > < gm |g1 > ... < gm |gm >
am
< gm |f >
Jhonatan A. A. M.
12 de Maio, 2015
13 / 32
x
f(x)
0
1
1.5
1.57
3
2
4.5
4.3
6
7
Polinomios
g (x) = ag0 + bg1 = a + bx
g0 = 1
g1 = x
Minimizar M(a, b)

Jhonatan A. A. M.

< 1|1 > < 1|x >
a
< 1|f (x) >
=
< 1|x > < x|x >
b
< x|f (x) >
12 de Maio, 2015
14 / 32

x
f(x)
0
1
1.5
1.57
3
2
4.5
4.3
6
7
Polinomios
g (x) = ag0 + bg1 = a + bx
g0 = 1
g1 = x
Minimizar M(a, b)

a=
Jhonatan A. A. M.
1
5
5 10
10 30
b=
12 de Maio, 2015

a
10
=
b
31
11
10
1 11
g (x) = + x
5 10
15 / 32
Caso especial, Polinomios Ortogonais
Produto interno
< gk |gl >= 0
Minimizar M(y )

< g0 |g0 > < g0 |g1 > ... < g0 |gm >
a0
< g0 |f >
< g1 |g0 > < g1 |g1 > ... < g1 |gm >
a1
< g1 |f >
=
.
.
.
.
.
< gm |g0 > < gm |g1 > ... < gm |gm >
am
< gm |f >
Jhonatan A. A. M.
12 de Maio, 2015
16 / 32

Produto interno
gk |gl >= 0
Minimizar M(y )
< g0 |f >
a0
< g0 |g0 >
0
...
0
< g1 |f >
a1
0
< g1 |g1 > ...
0
=
.
.
.
.
.
< gm |f >
am
0
0
... < gm |gm >
ak =
Jhonatan A. A. M.
< gk |f >
< gk |gk >
12 de Maio, 2015
0k m
17 / 32
Polinomios Ortogonais
Qualquer Polinomio q de grado m, pode ser escrito como CL dos
(m + 1) primeiros Polinomios ortogonais P1 , P2 ...Pm
q(x) =
m
X
bk Pk (x)
k=0
Agora, multiplicando por Pk

< q|pk >= bk < Pk |Pk >
Jhonatan A. A. M.
12 de Maio, 2015
18 / 32

Polinomios Ortogonais, Relacao de recorrencia para encontrar
Polinomios Ortogonais
Pk (x) = (x k )Pk1 k Pk2
(1)
Onde o coeficiente do termo mais altao grau de cada Polinomio Pk

e 1
Onde k e k sao obtidos pelo produto escalar de (1) com

Pk1 e Pk2
k =
< xPk1 |Pk1 >

Pk1 |Pk1
k =
< xPk1 |Pk2 >

Pk2 |Pk2
Sempre e quando sejam conhecidos os 2 primeiros Polinomios, sendo

P1 (x) = 0 e P0 = 1
Jhonatan A. A. M.
12 de Maio, 2015
19 / 32
Exemplo, Polinomios Ortogonais
Construir Tres Primeiros Polinimonios Ortogonais usando:

(1)
Com P1 (x) = 0 e P0 = 1
Jhonatan A. A. M.
12 de Maio, 2015
20 / 32

Construir Tres Primeiros Polinimonios Ortogonais em [0,1]
usando:
Com P1 (x) = 0 e P0 = 1
P1
P1 (x) = (x 1 )P0 k P1
R1
xdx
1
< xP0 |P0 >
< x|1 >
=
1 =
=
= R0 1
< P0 |P0 >
1|1
2
0 dx
k =
Jhonatan A. A. M.
< xPk1 |Pk2 >

=0
< Pk2 |Pk2 >
12 de Maio, 2015
ja que P1 = 0.
21 / 32

Construir Tres Primeiros Polinimonios Ortogonais em [0,1]
usando:
Com P1 (x) = 0 e P0 = 1
P2
P2 (x) = (x 2 )P1 2 P0
1 =
< x|(x 12 ) >

< xP1 |P1 >
1
=
=
1
1
< P1 |P1 >
2
< (x 2 ))|(x 2 )) >
k =
Jhonatan A. A. M.
< (x(x 12 )|1) >

< xP1 |P0 >
1
=
=
< P0 |P0 >
< 1|1 >
12
12 de Maio, 2015
22 / 32
Aproximar f (x) = e x em [0,1] usando os 3 Primeros

Polinomios ortogonais definidos por:
P0 = 1
Jhonatan A. A. M.
P1 = x
12 de Maio, 2015
1
2
P2 = x 2 x +
1
6
23 / 32

P0 = 1
P1 = x
1
2
P2 = x 2 x +
1
6
Lembrando
g (x) =
m
X
ak gk (x) =
k=0
m
X
ak x k
k=0
Se < gk |gl >= 0

ak =
Jhonatan A. A. M.
< gk |f >
< gk |gk >
12 de Maio, 2015
0k m
24 / 32

P0 = 1
P1 = x
1
2
P2 = x 2 x +
1
6
Lembrando
g (x) =
m
X
k=0
ak gk (x) =
m
X
ak x k
k=0
Se < gk |gl >= 0

a0 =
Jhonatan A. A. M.
< 1|e x >

=e 1
< 1|1 >
12 de Maio, 2015
25 / 32

P1 = x
P0 = 1
1
2
P2 = x 2 x +
1
6
Lembrando
g (x) =
m
X
k=0
ak gk (x) =
m
X
ak x k
k=0
Se < gk |gl >= 0

a1 =
Jhonatan A. A. M.
< x 21 |e x >
= 6(3 e)
< x 12 |x 21 |1 >
12 de Maio, 2015
26 / 32

P0 = 1
P1 = x
1
2
P2 = x 2 x +
1
6
Lembrando
g (x) =
m
X
k=0
ak gk (x) =
m
X
ak x k
k=0
Se < gk |gl >= 0

a2 =
Jhonatan A. A. M.
< x 2 x + 61 |e x >
= 30(7e 19)
< x 2 x + 16 |x 2 x + 61 >
12 de Maio, 2015
27 / 32

P0 = 1
P1 = x
1
2
P2 = x 2 x +
1
6
Lembrando
g (x) =
m
X
k=0
ak gk (x) =
m
X
ak x k
k=0
Se < gk |gl >= 0

1
1
g (x) = (e 1) + 6(3 e)(x ) + 30(7e 19)(x 2 x + )
1
6
Jhonatan A. A. M.
12 de Maio, 2015
28 / 32
Caso Particular, Analise Harmonica

Quando f (x) e perodica e continua
m
X
g (x) = a0
(ak coskx + bk senkx)
k=1
< gk (x)|gl (x) >=
R c+2
c
gk (x)gl (x)dx = 0, uma vez que:
1, cosx, cos2x, cos3x...cosnx

senx, sen2x, sen3x...sennx
Sao func
oes Ortogonais
Se < gk |gk >= 0

a0 =
ak =
Jhonatan A. A. M.
1
2
< f |coskx >

< coskx|coskx >
12 de Maio, 2015
c+2
f (x)dx
c
bk =
< f |senkx >

< senkx|senkx >
29 / 32
Casso Particular, Analise Harmonica

Quando f (x) e perodica e discreta, com 2N pontos equidistantes.
g (x) = a0 +
m
X
[ak cosk
k=1
< gk (x)|gl (x) >=
P2N
i=1
i + bk senk i]
N
N
gk (xi )gl (xi )dx = 0 sobre xi =
i
N
1, cosx, cos2x, cos3x...cos(N 1x), cosNx

senx, sen2x, sen3x...sen((N 1)x)
Sao func
oes Ortogonais
Se < gk |gl >= 0

2N
1 X
a0 =
f (xi )dx
N
i=1
ak =
Jhonatan A. A. M.
< f |coskx >

< coskx|coskx >
12 de Maio, 2015
bk =
< f |senkx >

< senkx|senkx >
30 / 32
Exemplo, Analise Harmonica Discreto

x
f(x)
1
3
2
5
3
7
4
6
g (x) = a0 + a1 cosx + b1 senx
Se < gk |gl >= 0

a0 =
2N
1 X
f (xi )dx
N
i=1
2N
< f |coskx >
1 X
=
f (xi )cos[k i]
ak =
< coskx|coskx >
N
N
i=1
bk =
2N
< f |senkx >
1 X
=
f (xi )sen[k i]
< senkx|senkx >
N
N
i=1
Jhonatan A. A. M.
12 de Maio, 2015
31 / 32
Exemplo, Analise Harmonica Discreto

x
f(x)
1
3
2
5
3
7
4
6
g (x) = a0 + a1 cosx + b1 senx
Se < gk |gk >= 0

2N
a0 =
1X
21
f (xi )dx =
4
4
i=1
a1 =
b1 =
1
N
2N
X
i=1
f (xi )cos[k
2
3
4
1
i] = [3cos +5cos +7cos +6cos ] =
N
2
2
2
2
2
2
2N
1 X
2
3
4
f (xi )sen[k i] = [3sen +5sen +7sen +6sen ] = 2
N
N
2
2
2
2
2
i=1
Jhonatan A. A. M.
12 de Maio, 2015
32 / 32

Apresentacao

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Apresentacao

Enviado por

Direitos autorais:

Formatos disponíveis

Aproximacao de Funcoes, Metodo dos Mnimos

Aproximacao de Funcoes, Metodo dos Mnimos Quadrados

Que Familia de funcoes escolher?

Metodo dos mnimos quadrados

Aproximacao de Funcoes, Metodo dos Mnimos Quadrados

formulacao, dominio discreto

Aproximacao de Funcoes, Metodo dos Mnimos Quadrados

Formulacao, Dominio Discreto

Aproximacao de Funcoes, Metodo dos Mnimos Quadrados

Sistema de m+1 equac

Aproximacao de Funcoes, Metodo dos Mnimos Quadrados

Formulacao, Dominio Discreto

a0 g0 (xi )gl (xi ) +

a1 g1 (xi )gl (xi )..

am gm (xi )gl (xi ) =

f (xi )gl (xi )

Sistema de m+1 equac

Aproximacao de Funcoes, Metodo dos Mnimos Quadrados

a0 g0 (xi )gl (xi ) +

a1 g1 (xi )gl (xi )..

am gm (xi )gl (xi ) =

f (xi )gl (xi )

Usando a definicao do produto escalar

a0 g0 (xi )gl (xi )

Sistema de m+1 equac

Aproximacao de Funcoes, Metodo dos Mnimos Quadrados

Aproximacao de Funcoes, Metodo dos Mnimos Quadrados

Formulacao, Dominio Contnuo

(f (x) a0 g0 (x)...am gm (x))2

Aproximacao de Funcoes, Metodo dos Mnimos Quadrados

(f (x) a0 g0 (x)...am gm (x))2

Usando a definicao do produto escalar

Sistema de m+1 equac

Aproximacao de Funcoes, Metodo dos Mnimos Quadrados

Exemplo, Regresao Linear

Exemplo, Regresao Linear

Exemplo, Regresao Linear

Exemplo, Regresao Linear

Caso especial, Polinomios Ortogonais

Caso especial, Polinomios Ortogonais

Caso especial, Polinomios Ortogonais

Agora, multiplicando por Pk

Caso especial, Polinomios Ortogonais

Onde o coeficiente do termo mais altao grau de cada Polinomio Pk

Onde k e k sao obtidos pelo produto escalar de (1) com

< xPk1 |Pk1 >

< xPk1 |Pk2 >

Sempre e quando sejam conhecidos os 2 primeiros Polinomios, sendo

Exemplo, Polinomios Ortogonais

Construir Tres Primeiros Polinimonios Ortogonais usando:

Exemplo, Polinomios Ortogonais

< xPk1 |Pk2 >

Exemplo, Polinomios Ortogonais

< x|(x 12 ) >

< (x(x 12 )|1) >

Exemplo, Polinomios Ortogonais

Aproximar f (x) = e x em [0,1] usando os 3 Primeros

Exemplo, Polinomios Ortogonais

Se < gk |gl >= 0

Exemplo, Polinomios Ortogonais

Se < gk |gl >= 0

< 1|e x >

Exemplo, Polinomios Ortogonais