MAP 3121 - Métodos Numéricos e Aplicações

Método dos Mínimos Quadrados

Sistemas sobredeterminados - Aula II

Depto. Matemática Aplicada

Instituto de Matemática e Estatística
Universidade de São Paulo
São Paulo - SP

marcone@ime.usp.br Métodos Numéricos e Aplicações

Recordação

Seja F um espaço vetorial com produto interno h·, ·i e G um subespaço de

dimensão finita gerada pelos vetores g0 , ...., gm .

Problema
Para f ∈ F dado determine o vetor g ∈ G tal que o erro quadrático

E (f , g) = hf − g, f − gi

seja o menor possível.

O vetor g será tal que f − g é

ortogonal a G.

marcone@ime.usp.br Métodos Numéricos e Aplicações

Recordação

Seja F um espaço vetorial com produto interno h·, ·i e G um subespaço de

dimensão finita gerada pelos vetores g0 , ...., gm .

Problema
Para f ∈ F dado determine o vetor g ∈ G tal que o erro quadrático

E (f , g) = hf − g, f − gi

seja o menor possível.

Solução (Sistema Normal)

Vimos que f − g é ortogonal a G quando g = a0 g0 + ... + am gm satisfaz

hg0 , g0 i . . . hg0 , gm i hg0 , f i

    
a0
.. .. .. . ..
  ..  =  .
     
 . . . .
hgm , g0 i . . . hgm , gm i am hgm , f i

marcone@ime.usp.br Métodos Numéricos e Aplicações

Problemas sobredeterminados

Exemplo
As posições de um cometa em coordenadas polares estão disponíveis na tabela

r 2.70 2.00 1.61 1.20 1.02

.
θ 48 67 83 108 126

Calcule e e p através da expressãoa

p
r= .
1 − e cos (θ)
a
Lei de Kepler

marcone@ime.usp.br Métodos Numéricos e Aplicações

Problemas sobredeterminados

Como fazer?
Note que p + r cos (θ) e = r. Assim, os dados da tabela

r 2.70 2.00 1.61 1.20 1.02

θ 48 67 83 108 126

nos levam ao sistema sobredeterminadoa abaixo:

   
1 2.70 cos (48) 2.70
 1 2.00 cos (67)     2.00 
 1 1.61 cos (83)  p
   
= 1.61 .

 1 1.20 cos (108) 
 e  
 1.20 
1 1.02 cos (126) 1.02
a
Número de equações é maior que o número de incógnitas.

Um sistema sobredeterminado normalmente não tem solução. Nesse caso

procuramos um vetor que melhor desempenha o papel de solução para esse
sistema via MMQ.

marcone@ime.usp.br Métodos Numéricos e Aplicações

Problemas sobredeterminados

Quando xT = (x1 , ..., xn ) é solução do sistema linear

    
a11 . . . a1n x1 y1
 . .. ..   ..  =  .. 
 .. . .  .   . 
am1 . . . amn xn ym
temos que
       
a11 a12 a1n y1
x1  ...  + x2  ...  + ... + xn  ...  =  .. 
      
. 
am1 am2 amn ym

e assim, o vetor yT = (y1 , ..., ym ) pode ser escrito como combinação linear das
colunas Aj = (a1j , ..., amj ) da matriz A = (aij ) com 1 ≤ i ≤ m e 1 ≤ j ≤ n.

marcone@ime.usp.br Métodos Numéricos e Aplicações

Problemas sobredeterminados

Quando m > n, o sistema em geral não tem solução, e podemos procurar

xT = (x1 , ..., xn ) tal que o vetor Ax esteja o ‘mais perto possível’ de y

       
a11 a12 a1n y1
x1  ...  + x2  ...  + ... + xn  ...  ≈  ... 
       

am1 am2 amn ym

Neste caso vamos minimizar a distância entre y e o subespaço gerado

pelas colunas de A na norma Euclidiana do Rm P
(o produto interno neste caso é o produto escalar usual hx, yi = mi=1 xi yi ).

marcone@ime.usp.br Métodos Numéricos e Aplicações

Problemas sobredeterminados

Mais precisamente
Usamos o método de mínimos quadrados escrevendo

f = (y1 , ..., ym ) , g1 = (a11 , ..., am1 ) , ..., gn = (a1n , ..., amn ) .

Determinamos
g = x1 g1 + ... + xn gn
que melhor aproxime f minimizando
 2
Xm  Xn 
 
hf − g, f − gi = yi −
 aij xj
 .

i=1  j=1 

Nas notações anteriores F = Rm , G = [g1 , g2 , ..., gn ] ⊂ Rm e

m
X
hx, yi = xi yi , ∀x, y ∈ Rm .
i=1

marcone@ime.usp.br Métodos Numéricos e Aplicações

Problemas sobredeterminados

Assim temos que resolver o seguinte sistema normal

hg1 , g1 i . . . hg1 , gn i hg1 , f i

    
x1
.. .. ..  .   ..
  ..  =  .
 
 . . . .
hgn , g1 i . . . hgn , gn i xn hgn , f i

Agora observamos que

hgl , gk i = h(a1l , ..., aml ) , (a1k , ..., amk )i = hAl , Ak i = AT A lk

hgl , f i = h(a1l , ..., aml ) , (y1 , ..., ym )i = hAl , yi = AT y l .

Concluímos que
AT Ax = AT y ⇒ x = (AT A)−1 AT y
se a matriz AT A for invertível.

Finalmente observamos que AT A é invertível se e só se as colunas da matriz A

são linearmente independentes.

marcone@ime.usp.br Métodos Numéricos e Aplicações

Voltando ao exemplo

Exemplo
As posições de um cometa em coordenadas polares estão disponíveis na tabela

r 2.70 2.00 1.61 1.20 1.02

.
θ 48 67 83 108 126
p
Calcule e e p através da expressãoa r = 1−e cos(θ)
.
a
Lei de Kepler

Para tanto temos que considerar o seguinte sistema sobredeterminado:

   
1 2.70 cos (48) 2.70
 1 2.00 cos (67)     2.00 
 1 1.61 cos (83)  p
   
=  1.61  .


 1 1.20 cos (108) 
 e  1.20 
1 1.02 cos (126) 1.02

marcone@ime.usp.br Métodos Numéricos e Aplicações

Voltando ao exemplo

Daí pelo MMQ devemos resolver

1 1.80665
 
  1 0.78146  
1 1 1 1 1 p
 1 0.19620
 
1.80665 0.78146 0.19620 −0.37082 −0.59954  e
 1 −0.37082 
1 −0.59954
2.70
 
   2.00
1 1 1 1 1

=  1.61
 
1.80665 0.78146 0.19620 −0.37082 −0.59954  1.20


1.02
que nos dá
    
5 1.8139631864414927 p 8.53
=
1.8139631864414927 4.410132358007594 e 5.7002422

Logo a solução é
p = 1.45405702 e e = 0.69445451.

marcone@ime.usp.br Métodos Numéricos e Aplicações

Regressão linear

Finalmente observamos que a regressão linear é um caso

particular de sistemas sobredeterminados.

Exemplo
Determine a equação da reta y = ax + b que melhor ajusta a função abaixo
utilizando o MMQa
x 0 1 2 3 4
f (x) 0 1 1 4 4
a
Note que este exemplo foi apresentado na última aula.

Neste caso temos que resolver o seguinte sistema sobredeterminado:

   
1 0 0
 1 1    1 
 1 2  b
   
  a =  1 .

 1 3   4 
1 4 4

marcone@ime.usp.br Métodos Numéricos e Aplicações

Regressão linear
Aplicando o método obtemos
1 0 0
   
  1 1     1 
1 1 1 1 1 b 1 1 1 1 1
 1 2 =  1 
   
0 1 2 3 4  1
 a 0 1 2 3 4
3   4 
1 4 4
que nos dá o seguinte sistema
    
5 10 b 10
=
10 30 a 31

cuja solução é: (b, a) = (−1/5, 11/10). 

1 2 3 4

Figura: Gráfico da função g(x) = −1/5 + (11/10)x.

marcone@ime.usp.br Métodos Numéricos e Aplicações