Escolar Documentos
Profissional Documentos
Cultura Documentos
http://astro.if.ufrgs.br/minq/minq.htm
Mnimos Quadrados
Em 1809, Carl Friedrich Gauss (1777-1855) publicou um artigo no Werke, 4, 1-93, demonstrando que a melhor maneira de determinar um parmetro desconhecido de uma equao de condies minimizando a soma dos quadrados dos resduos, mais tarde chamado de Mnimos Quadrados por Adrien-Marie Legendre (1752-1833). Em abril de 1810, Pierre-Simon Laplace (1749-1827) apresenta no memoir da Academia de Paris, ["Mmoire sur les approximations des formules qui sont fonctions de trs-grands nombres, et sur leur application aux probabilits (suite)". Mmoires l'Institut 1809 (1810), 353-415, 559-565. Oeuvres 12 p.301-345, p.349-353] a generalizao a problemas com vrios parmetros desconhecidos. Um programa de mnimos quadrados sempre comea com a minimizao da soma:
(1)
onde chamamos de y oi = valores observados de y y i = valores calculados de y ou seja, mnimos quadrados implica em minimizar os quadrados dos resduos.
Por que este critrio considerado um bom critrio e no simplismente minimizar os resduos ou o cubo dos resduos? A resposta formal que os mnimos quadrados so corretos se os resduos tiverem uma distribuio gaussiana (normal).
1 de 16
18-06-2009 18:41
Minimos Quadrados
http://astro.if.ufrgs.br/minq/minq.htm
Distribuio gaussiana (normal) para uma varivel x, com mdia m e desvio padro s. simples notar que se minimizarmos os resduos diretamente, um grande resduo negativo pode ser anulado por um grande resduo positivo, enquanto que com o quadrado minimizamos os mdulos das diferenas. Suponhamos que temos um conjunto de dados y com uma distribuio normal:
P(y) =
exp
y-
onde P(y) = probabilidade de obter o valor y y = quantidade a ser observada = valor mdio de y = desvio padro de y Por exemplo, a probabilidade de se encontrar uma medida entre a probabilidade de se encontrar uma medida entre -1,5 a probabilidade de se encontrar uma medida entre -2 a probabilidade de se encontrar uma medida entre -2,5 a probabilidade de se encontrar uma medida entre e+ de 68,3%, de 86,6%, de 95,4%, de 98,76%,
e +1,5 e +2 e +2,5 e +3
de 99,74%.
Suponhamos que medimos o valor de y vrias vezes, obtendo uma srie de valores {y i}. A probabilidade de observar este conjunto dada por
y 1, y 2, y 3,..., y N
exp
y1 -
exp
y2 -
...
...
exp
yN -
2 de 16
18-06-2009 18:41
Minimos Quadrados
http://astro.if.ufrgs.br/minq/minq.htm
exp
yi -
, o valor mdio. O melhor valor ser aquele que maximiza a probabilidade de obtido colocando a derivada da probabilidade como nula:
y 1, y 2, y 3,..., y N
=0
Ou seja
exp
yi -
=0
exp
yi -
yi -
=0
yi -
=0
ou na nossa notao
S=
yi -
0=
yi -
-2
yi -
3 de 16
18-06-2009 18:41
Minimos Quadrados
http://astro.if.ufrgs.br/minq/minq.htm
yi -
yi
yi
que a mdia simples, como queramos. O prximo passo simplesmente reconhecer que y pode ser uma funo, por exemplo: yi = a + b xi de modo que
S=
y oi - a - b x oi
-2
y oi - a - b x oi
=0
- 2x io
y oi - a - b x oi
=0
ou as duas condies:
y io - Na - b
x io = 0
x ioy io - a
x io - b
x io
=0
4 de 16
18-06-2009 18:41
Minimos Quadrados
http://astro.if.ufrgs.br/minq/minq.htm
xi
[x]
1=N
[1]
Estas equaes so chamadas de equaes normais. Elas podem ser resolvidas com a matriz inversa:
S=
y io - exp
xi
e quando minimizamos S:
0=
y io - exp
xi
-exp
xi
- xi
ou seja
5 de 16
18-06-2009 18:41
Minimos Quadrados
http://astro.if.ufrgs.br/minq/minq.htm
0=
y iox iexp
xi
x iexp
-2
xi
Esta equao no pode ser resolvida usando-se lgebra linear. Precisamos utilizar tcnicas diferentes. A tcnica mais empregada e, de fato, a tcnica que se utiliza quando chamamos de mnimos quadrados no lineares, a linearizao do problema. A idia, aplicada ao problema acima, : y = exp(x)
, chamado
, e definimos:
= Definindo
x)
y = y0 +
y = exp
- x exp
Agora y linear em
y oi - y i
que se torna
y oi - y 0, i -
que minimizando
0=
-2
y oi - y 0, i -
6 de 16
18-06-2009 18:41
Minimos Quadrados
http://astro.if.ufrgs.br/minq/minq.htm
0=
y oi
- y 0, i
0=
yo
y0
: = +
no o melhor valor de
. Isto
a soluo do problema linearizado e no do problema real. Portanto, precisamos iterar, isto , utilizar este como um novo e obter um novo valor revisado.
Formulao Geral
Se a funo y for uma funo de k parmetros que queremos ajustar: yi = y colocamos x i, a1, a2,..., ak
ai
ai, 0.
yi = y
a1 +
a2 + ...
7 de 16
18-06-2009 18:41
Minimos Quadrados
http://astro.if.ufrgs.br/minq/minq.htm
+ ... +
ak
notando que as derivadas so calculadas para todos an = an, 0. Chamando y i, 0 = y e x i, a1, 0, a2, 0,..., ak, 0
aj =
aj
podemos escrever
y i = y i, 0 +
aj
y oi - y i
y oi - y i, 0 -
aj
am :
0=
y oi - y i, 0 -
aj
0=
y oi - y i, 0
aj
0=
yo - y0
aj
8 de 16
18-06-2009 18:41
Minimos Quadrados
Ou, em notao matricial
http://astro.if.ufrgs.br/minq/minq.htm
Esta equao matricial pode agora ser revolvida por lgebra matricial para encontrar as correes
am .
z = z calculado - z observado Agora suponhamos que z seja uma funo de duas variveis x e y, z = z(x, y). Podemos expandir por srie de Taylor [Brook Taylor (1685-1731), Methodus incrementorum directa et inversa (1715)]:
z=
x+
+2
y+
+2
9 de 16
18-06-2009 18:41
Minimos Quadrados
http://astro.if.ufrgs.br/minq/minq.htm
y)2
de modo que
+2
E como obtemos
Matrix Covariana
Definimos a matriz covariana como
COV =
De modo que, se a equao normal matricial que usamos para achar os coeficientes escrita como
onde
onde
Desta maneira muito fcil calcular as incertezas nos parmetros, pois somente precisamos multiplar a matriz inversa que usamos para obter os valores dos parmetros, por , obtendo a matriz covariana.
Mas o que fazemos se a funo a ser fitada no analtica, como por exemplo, um espectro resultante de um modelo de atmosferas? Er-Ho Zhang, Edward L. Robinson e R. Edward Nather (1986, Astrophysical Journal, 305, 740) demonstraram que no caso medirmos vrios parmetros simultaneamente, onde a mudana de alguns pode gerar mudanas significativas, enquanto que a mudana de outros parmetros gera pequenas diferenas e, ainda, que os parmetros no so independentes, isto , esto correlacionados, precisamos maximizar a probabilidade (likelihood) de que os parmetros x 1,..., x k sejam medidos pelos valores
10 de 16
18-06-2009 18:41
Minimos Quadrados
x 1o,..., x k o, definindo incertezas = x io - x i,
http://astro.if.ufrgs.br/minq/minq.htm
f(
,...,
)=
exp
+ ... +
Se medimos os valores I oi, por exemplo, o espectro, e calculamos I i com os parmetros x 1,..., x k , se assumirmos que a distribuio = = ... = = W), obtemos de erros normal e que todas as varianas so iguais (
de modo que, se
o valor mnimo de
e, portanto,
(2)
, fixando o
valor do parmetro x i para o valor que minimizou fixo, obtendo um novo parmetros.
. Com a equao (2) podemos ento estimar o valor de sua incerteza, e repetir o processo para os outros
com
11 de 16
18-06-2009 18:41
Minimos Quadrados
http://astro.if.ufrgs.br/minq/minq.htm
de modo que
(1)
onde n o nmero de pontos, k o nmero de parmetros fitados, e o +1 porque um dos parmetros foi mantido fixo, reduzindo o nmero de graus de liberdade. A distribuio de probabilidades para k graus de liberdade dada por
12 de 16
18-06-2009 18:41
Minimos Quadrados
http://astro.if.ufrgs.br/minq/minq.htm
Sabemos que o teorema do limite central garante que a distribuio gaussiana para grandes valores de k. Esta aproximao boa para k>30.
Estimativa Robusta
O grande problema do mtodo de mnimos quadrados a grande influncia de pontos com resduo muito grande, os outliers. Para se reduzir a influncia destes resduos muito grandes, pode-se minimizar funes que no crescem to rapidamente quanto S2, como por exemplo, mimizando a funo discrepncia, definida como:
Probabilidade
A funo normal, centrada em x=0 e com largura em 1/e em x=1 e x=-1, definida como
13 de 16
18-06-2009 18:41
Minimos Quadrados
http://astro.if.ufrgs.br/minq/minq.htm
, e de largura
14 de 16
18-06-2009 18:41
Minimos Quadrados
http://astro.if.ufrgs.br/minq/minq.htm
Distribuio Binominal
Seja um problema que s admite duas solues, como ao jogarmos uma moeda. Chamemos de b(k;n,p) a probabilidade que n tentativas com probabilidade intrnseca de sucesso p, e q=1-p a probabilidade intrnseca de insucesso, resulte em k sucessos e n-k insucessos. Esta probabilidade dada pela distribuio binominal
Distribuio gaussiana (normal) para duas variveis no correlacionadas. Para duas variveis correlacionadas, x 1 medida a partir de 1 e x 2 medida a partir de 2:
onde
15 de 16
18-06-2009 18:41
Minimos Quadrados
http://astro.if.ufrgs.br/minq/minq.htm
Variana da mdia Pesos nas medidas Clculo de Distribuio Normal Outras Distribuies No Excel, mnimos quadrados lineares so fitados em Tools-Data Analysis-Regression. Se este pacote no estiver instalado, ele pode ser adicionado com Tools-Add Ins-Analysis Tool Pack e Solver. O OpenOffice Calc tambm pode ser usado. Com uma subrotina em Fortran de inverso de matrizes, se pode facilmente implementar um algoritmo de mnimos quadrados. Volta: Astronomia e Astrofisica Kepler de Souza Oliveira Filho Modificada em 16 abril 2007
16 de 16
18-06-2009 18:41