Aula-Sqp Wellington Impa

Programao Quadrtica Sequencial ca a
Mtodos Computacionais de Otimizao e ca
Welington Oliveira
Instituto Nacional de Matemtica Pura e Aplicada - IMPA a Doutorado
Rio, Novembro de 2012
Welington Oliveira (Instituto Nacional de Matemtica Pura ePrograma- o Quadrtica Sequencial a Aplicadac IMPA Doutorado) a a
1 / 18
Sumrio a
Consideraes Gerais co
Problemas com restries de igualdade co
Problemas com restries mistas co
2 / 18
Consideraoes Gerais c
Programao quadrtica sequencial ca a

Sequential Quadratic Programming - SQP
SQP Consiste em resolver um problema (P) de otimizao no-linear (com restries ca a co mistas) atravs de resolues de subproblemas mais simples, que aproximam o e co problema (P). Bem...
3 / 18

SQP Consiste em resolver um problema (P) de otimizao no-linear (com restries ca a co mistas) atravs de resolues de subproblemas mais simples, que aproximam o e co problema (P). Bem... At agora, basicamente todos os mtodos que estudamos aproximam o problema e e de interesse por uma sequncia de subproblemas mais simples! Por exemplo: e Mtodos de penalizao e ca Mtodos de barreira e Mtodos da Lagragiana aumentada e
3 / 18

SQP Consiste em resolver um problema (P) de otimizao no-linear (com restries ca a co mistas) atravs de resolues de subproblemas mais simples, que aproximam o e co problema (P). Bem... At agora, basicamente todos os mtodos que estudamos aproximam o problema e e de interesse por uma sequncia de subproblemas mais simples! Por exemplo: e Mtodos de penalizao e ca Mtodos de barreira e Mtodos da Lagragiana aumentada e A diferena... c E que mtodos SQP resolvem uma sequncia de problemas quadrticos, que so e e a a fceis de serem resolvidos! a
Rio, Novembro de 2012 3 / 18

Em cada iterao, um problema quadrtico (QP) aproxima o problema original. ca a Por que usar mtodos SPQ? e Um QP bem constru pode ser uma boa aproximao do problema original do ca QPs so fceis de serem resolvidos (custo computacional no muito maior a a a e do que resolver um programa linear) SQP pode ser pensado como uma generalizao natural do mtodo de ca e Newton Possui boas propriedades de convergncia (taxa linear ou at mesmo e e quadrtica). a
4 / 18

Em cada iterao, um problema quadrtico (QP) aproxima o problema original. ca a Por que usar mtodos SPQ? e Um QP bem constru pode ser uma boa aproximao do problema original do ca QPs so fceis de serem resolvidos (custo computacional no muito maior a a a e do que resolver um programa linear) SQP pode ser pensado como uma generalizao natural do mtodo de ca e Newton Possui boas propriedades de convergncia (taxa linear ou at mesmo e e quadrtica). a Mtodos SQP so considerados entre os mais ecientes mtodos de e a e otimizao de uso geral. ca Para resolver problemas sem estrutura especial, com frequncia so escolhidos e a mtodos desta classe. e
SQP para problemas com restrioes de igualdade c

Considere o problema (P ) onde D = {x Rn : h(x) = 0} = f : Rn R, h : Rn Rl so duas vezes diferenciveis. a a min f (x) s.a x D Rn ,
5 / 18

Considere o problema (P ) onde D = {x Rn : h(x) = 0} = f : Rn R, h : Rn Rl so duas vezes diferenciveis. a a Dado xk Rn , aproxima-se (P) em torno de xk por um QP: (QP ) min f (xk ) + f (xk ), x xk + 1 Hk (x xk ), x xk 2 s.a xk Dk , min f (x) s.a x D Rn ,
onde Hk Rnn uma matriz simtrica, e e e Dk = {x Rn : h(xk ) + h (xk )(x xk ) = 0} .
5 / 18
O prximo iterado xk+1 um ponto estacionrio do problema o e a (QP ) min f (xk ) + f (xk ), x xk + 1 Hk (x xk ), x xk 2 s.a xk Dk .
Ou alternativamente,
6 / 18
O prximo iterado xk+1 um ponto estacionrio do problema o e a (QP ) min f (xk ) + f (xk ), x xk + 1 Hk (x xk ), x xk 2 s.a xk Dk .
Ou alternativamente, dk arg min f (xk ), d + e xk+1 = xk + dk . 1 Hk d, d 2 s.a h (xk )d = h(xk ) .
6 / 18

A primeira tentativa na escolha da matriz Hk para o (QP) Hk = f (xk ). e No entanto, esta escolha no das melhores. a e
Hk = f (xk ) considera informaoes de segunda ordem somente de f c No seria interessante utilizar informaoes de segunda ordem de h? a c
7 / 18

Hk = f (xk ) considera informaoes de segunda ordem somente de f c No seria interessante utilizar informaoes de segunda ordem de h? Sim! Mas a c onde? Nas restries? co
7 / 18

Hk = f (xk ) considera informaoes de segunda ordem somente de f c No seria interessante utilizar informaoes de segunda ordem de h? Sim! Mas a c onde? Nas restries? co Considerar informaoes de segunda de h nas restrioes resultaria em c c subproblemas com funo objetivo e restries no lineares! Dif ca co a cil!
A ideia considerar informaes de ambas f e h em Hk , para termos e co subproblemas quadrticos a A proposta tomar e Hk = Lxx (xk , k ) , onde L a Lagrangiana de (P) e L(x, ) = f (x) + , h(x) , e Rl uma aproximao do multiplicador de Lagrange . e ca
Welington Oliveira (Instituto Nacional de Matemtica Pura ePrograma- o Quadrtica Sequencial a Aplicadac IMPA Doutorado) a a Rio, Novembro de 2012 7 / 18

Outra motivao da escolha Hk = Lxx (xk , k ) no problema ca (QP ) min f (xk ) + f (xk ), x xk + 1 Hk (x xk ), x xk 2 s.a xk Dk .
vem do Mtodo de Newton para o sistema de Lagrange de (P): e L (x, ) = 0 .
O mtodo de Newton para o sistema de Lagrange... e consiste em resolver o sistema linear Lxx (xk , k )(x xk ) + (h (xk )) ( k ) h (xk )(x xk ) = f (xk ) (h (xk )) k = h(xk )
em relao a (x, ) Rn Rl , com (xk , k ) dados. ca

O mtodo de Newton para o sistema de Lagrange... e consiste em resolver o sistema linear Lxx (xk , k )(x xk ) + (h (xk )) h (xk )(x xk ) em relao a (x, ) Rn Rl , com (xk , k ) dados. ca = f (xk ) = h(xk )
9 / 18
O mtodo de Newton para o sistema de Lagrange... e consiste em resolver o sistema linear Lxx (xk , k )(x xk ) + (h (xk )) h (xk )(x xk ) em relao a (x, ) Rn Rl , com (xk , k ) dados. ca Seja xk+1 um ponto estacionrio de (QP) e y k+1 Rl um multiplicador a associado do (QP): min f (xk ) + f (xk ), x xk + 1 Hk (x xk ), x xk 2 s.a xk Dk , = f (xk ) = h(xk )
com Dk = {x Rn : h(xk ) + h (xk )(x xk ) = 0}. Deste modo, o par (xk+1 , y k+1 ) soluo do e ca
9 / 18
O mtodo de Newton para o sistema de Lagrange... e consiste em resolver o sistema linear Lxx (xk , k )(x xk ) + (h (xk )) h (xk )(x xk ) em relao a (x, ) Rn Rl , com (xk , k ) dados. ca Seja xk+1 um ponto estacionrio de (QP) e y k+1 Rl um multiplicador a associado do (QP): min f (xk ) + f (xk ), x xk + 1 Hk (x xk ), x xk 2 s.a xk Dk , = f (xk ) = h(xk )
com Dk = {x Rn : h(xk ) + h (xk )(x xk ) = 0}. Deste modo, o par (xk+1 , y k+1 ) soluo do e ca Sistema de Lagrange para (QP) f (xk ) + Hk (x xk ) + (h (xk )) y h(xk ) + h (xk )(x xk )
= 0 = 0
O mtodo de Newton para o sistema de Lagrange... e consiste em resolver o sistema linear Lxx (xk , k )(x xk ) + (h (xk )) h (xk )(x xk ) em relao a (x, ) Rn Rl , com (xk , k ) dados. ca Sistema de Lagrange para (QP) f (xk ) + Hk (x xk ) + (h (xk )) y h(xk ) + h (xk )(x xk ) = 0 = 0 = f (xk ) = h(xk )
Comparando estes sistemas, notamos que eles coincidem se Hk = Lxx (xk , k ).
10 / 18
O mtodo de Newton para o sistema de Lagrange... e consiste em resolver o sistema linear Lxx (xk , k )(x xk ) + (h (xk )) h (xk )(x xk ) em relao a (x, ) Rn Rl , com (xk , k ) dados. ca Sistema de Lagrange para (QP) f (xk ) + Hk (x xk ) + (h (xk )) y h(xk ) + h (xk )(x xk ) = 0 = 0 = f (xk ) = h(xk )
Comparando estes sistemas, notamos que eles coincidem se Hk = Lxx (xk , k ). Tomando Hk = Lxx (xk , k ) podemos ento esperar convergncia local rpida sob hipteses naturais! a e a o
10 / 18
Algoritmo
Inicializao: Escolha (x0 , 0 ) Rn Rl e faa k = 0. ca c Simulador: Envie (xk , k ) a um simulador e receba f (xk ), h(xk ), h (xk ) e Lxx (xk , k ). Subproblema: Calcule dk um ponto estacionrio de a min f (xk ), d + 1 L (xk , k )d, d 2 xx s.a h (xk )d = h(xk ) ,
e y k um multiplicador de Lagrange associado. Teste de parada: Se dk Tol , pare. Atualizao: Tome xk+1 = xk + dk e k+1 = y k . ca Ciclo: Faa k = k + 1 e volte ao Simulador. c
11 / 18
Algoritmo - Equivalentemente...
Inicializao: Escolha (x0 , 0 ) Rn Rl e faa k = 0. ca c Simulador: Envie (xk , k ) a um simulador e receba f (xk ), h(xk ), h (xk ) e Lxx (xk , k ). Subproblema: Calcule (dk , y k ) Rn Rl uma soluo do sistema ca Lxx (xk , k )d + (h (xk )) y h (xk )d Teste de parada: Se dk Tol , pare. Atualizao: Tome xk+1 = xk + dk e k+1 = y k . ca Ciclo: Faa k = k + 1 e volte ao Simulador. c = f (xk ) = h(xk )
12 / 18
Comentrios a
O mtodo SQP aplicado ao problema (P) (somente restries de igualdade) e co e o mesmo que aplicar o mtodo de Newton no sistema de Lagrange de (P) e Logo, a convergncia rpida, mas apenas local e e a e
SQP converge localmente a (, ) Rn Rl , um par que resolve o sistema x de Lagrange de (P), com taxa superlinear Se as derivadas segundas de f e h so Lipschitz-cont a nuas numa vizinhana de c x, a convergncia quadrtica e e a
Globalizao do SQP poss ca e vel! Antes de apresent-la, vamos considerar os a problemas com restries mistas. co Resolva o Exerc 4.6.1. cio
13 / 18
SQP para problemas com restrioes mistas c

Considere o problema (P ) onde D = {x Rn : h(x) = 0, g(x) 0} = f : Rn R, h : Rn Rl , g : Rn Rm so duas vezes diferenciveis. a a min f (x) s.a x D Rn ,
14 / 18

Considere o problema (P ) onde D = {x Rn : h(x) = 0, g(x) 0} = f : Rn R, h : Rn Rl , g : Rn Rm so duas vezes diferenciveis. a a Nos problemas de restries de igualdade, as restries foram linearizadas co co Aqui, a estratgia a mesma: e e min f (x) s.a x D Rn ,
14 / 18

Considere o problema (P ) onde D = {x Rn : h(x) = 0, g(x) 0} = f : Rn R, h : Rn Rl , g : Rn Rm so duas vezes diferenciveis. a a Nos problemas de restries de igualdade, as restries foram linearizadas co co Aqui, a estratgia a mesma: e e (QP ) onde Hk Rnn 1 Hk d, d 2 uma matriz simtrica e e e min f (xk ), d + s.a d Dk , min f (x) s.a x D Rn ,
Dk = {d Rn : h(xk ) + h (xk )d = 0, g(xk ) + g (xk )d 0} .
14 / 18
Algoritmo
Inicializao: Escolha (x0 , 0 , 0 ) Rn Rl Rm e faa k = 0. ca c + Simulador: Envie (xk , k , k ) a um simulador e receba f (xk ), h(xk ), h (xk ), g(xk ), g (xk ) e Hk . Subproblema: Calcule dk um ponto estacionrio de a min f (xk ), d + 1 Hk d, d 2 s.a h(xk ) + h (xk )d = 0 g(xk ) + g (xk )d 0 . e (y k , z k ) Rl Rm multiplicadores de Lagrange associado. + Teste de parada: Se dk Tol , pare. Atualizao: Tome xk+1 = xk + dk , k+1 = y k e k+1 = z k . ca Ciclo: Faa k = k + 1 e volte ao Simulador. c
15 / 18
Comentrios a
Se Hk = Lxx (xk , k , k ), podemos esperar convergncia local rpida, onde e a L(x, , ) = f (x) + , h(x) + , g(x) . Se Dk = e Hk denida positiva, ento o subproblema (QP) tem um e a unico ponto estacionrio, que a unica soluo a e ca Para Hk denida acima e sob hipteses naturais (tais como CSO2 para (P)), o no poss assegurar que Hk seja denida positiva, mesmo para xk a e vel prximo de x, e k , k prximos de , o o Por isso, a existncia de pontos estacionrio de (QP) no direta, e precisa e a a e ser provada como parte da anlise do Algoritmo a Mesmo quando tal ponto estacionrio existe, ele pode no ser unico a a A anlise local supem que dk tem norma m a o nima Na prtica, esta considerao ignorada. a ca e
16 / 18
Convergncia local do SQP e

Teorema Sejam f, h e g duas vezes diferencivel numa vizinhana de x Rn , com derivada a c cont nuas neste ponto. Seja x um ponto estacionrio de (P) que satisfaz CQR-LI, a e o trio (, , ) satisfaz CSO2 para (P). Suponhamos a condio de x ca complementariedade estrita i > 0 i I() = {i : gi () = 0} . x x Ento para qualquer ponto inicial (x0 , 0 , 0 ) sucientemente prximo de (, , ) a o x k k k k o Algoritmo, denido com Hk = Lxx (x , , ) e d um ponto estacionrio de a (QP) com m nima norma, est bem denido. A sequncia gerada converge a a e (, , ). A taxa de convergncia superlinear. Mais ainda, se as derivadas x e e segunda de f, h e g forem Lipschitz-continuas numa vizinhana de x, ento a c a convergncia quadrtica. e e a
17 / 18
Contato: B wlo@impa.br welington.athost.net
18 / 18

Aula-Sqp Wellington Impa

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Aula-Sqp Wellington Impa

Enviado por

Direitos autorais:

Formatos disponíveis

Programao Quadrtica Sequencial ca a

Mtodos Computacionais de Otimizao e ca

Rio, Novembro de 2012

Rio, Novembro de 2012

Problemas com restries de igualdade co

Problemas com restries mistas co

Rio, Novembro de 2012

Programao quadrtica sequencial ca a

Rio, Novembro de 2012

Programao quadrtica sequencial ca a

Rio, Novembro de 2012

Programao quadrtica sequencial ca a

Programao quadrtica sequencial ca a

Rio, Novembro de 2012

Programao quadrtica sequencial ca a

Problemas com restries de igualdade co

SQP para problemas com restrioes de igualdade c

Rio, Novembro de 2012

Problemas com restries de igualdade co

SQP para problemas com restrioes de igualdade c

onde Hk Rnn uma matriz simtrica, e e e Dk = {x Rn : h(xk ) + h (xk )(x xk ) = 0} .

Rio, Novembro de 2012

Problemas com restries de igualdade co

SQP para problemas com restrioes de igualdade c

Rio, Novembro de 2012

Problemas com restries de igualdade co

SQP para problemas com restrioes de igualdade c

Ou alternativamente, dk arg min f (xk ), d + e xk+1 = xk + dk . 1 Hk d, d 2 s.a h (xk )d = h(xk ) .

Rio, Novembro de 2012

Problemas com restries de igualdade co

SQP para problemas com restrioes de igualdade c

Rio, Novembro de 2012

Problemas com restries de igualdade co

SQP para problemas com restrioes de igualdade c

Rio, Novembro de 2012

Problemas com restries de igualdade co

SQP para problemas com restrioes de igualdade c

Problemas com restries de igualdade co

SQP para problemas com restrioes de igualdade c

vem do Mtodo de Newton para o sistema de Lagrange de (P): e L (x, ) = 0 .

em relao a (x, ) Rn Rl , com (xk , k ) dados. ca

Problemas com restries de igualdade co

Rio, Novembro de 2012

Problemas com restries de igualdade co

Rio, Novembro de 2012

Problemas com restries de igualdade co

Problemas com restries de igualdade co

Comparando estes sistemas, notamos que eles coincidem se Hk = Lxx (xk , k ).

Rio, Novembro de 2012

Problemas com restries de igualdade co

Rio, Novembro de 2012

Problemas com restries de igualdade co

Rio, Novembro de 2012

Problemas com restries de igualdade co

Rio, Novembro de 2012

Problemas com restries de igualdade co

Rio, Novembro de 2012

Problemas com restries mistas co

SQP para problemas com restrioes mistas c

Rio, Novembro de 2012

Problemas com restries mistas co

SQP para problemas com restrioes mistas c

Rio, Novembro de 2012