EEL 5102-47: Mtodos Numricos de Otimizao I

Teoria de Otimizao
com Restries
Prof.: Erlon Cristian Finardi, D. Eng.
erlon.finardi@ufsc.br

Laboratrio de Planejamento de Sistemas de Energia Eltrica

Centro Tecnolgico Departamento de Engenharia Eltrica
Tel. +55 (48) 3721.9731/9933 Fax +55 (48) 3721.7538
Homepage: htto://www.labplan.ufsc.br

Formulao Geral
minn f (x )
x

ci (x ) 0, i
sujeito a:
ci (x ) 0, i I

f e ci so funes suaves definidas em um subconjunto que

pertence ao n
f a funo objetivo, enquanto ci, i so as restries de
igualdade e ci, i I so as restries de desigualdade
Abaixo definido um conjunto vivel que contm todos os
pontos x que atendem as restries

{x | ci (x ) 0, i ; ci (x ) 0, i I }

Deste modo possvel escrever o problema acima na forma

compacta
min f (x )
x

Caracterizando as Solues

Encontrar o mnimo global uma tarefa rdua em

problemas irrestritos
Adio das restries pode excluir muitos mnimos locais
e facilitar a busca pelo global
Contudo, as restries tambm podem tornar essa tarefa
mais complicada
As restries podem produzir um grande nmero de
solues que no formam um conjunto fechado
Embora, no caso geral, as restries alterem a soluo,
em alguns casos elas no tem efeito na determinao de
um mnimo

Vrios Mnimos Locais

min2 f (x ) x
x

sujeito a: x

2
2

2
2

infinitas
solues

Regio Vivel

contornos
de f(x)

Sem a restrio um
problema quadrtico
estritamente convexo
com um nico
minimizador em x =
0
Com a restrio, x
tal ||x||2 = 1 resolve o
problema existindo,
portanto, infinitos
mnimos globais

Vrios Mnimos Locais

min2 f (x ) (x 2 100)2 0,01x12
x

sujeito a: x 2 cos x1 0

Regio Vivel

vrios mnimos
locais

contornos
de f(x)

Sem a restrio o
nico minimizador
em x = (0,-100)
Com a restrio,
vetor (x1,x2)=(k,-1)
tal que k=1, 3,
5,... resolve o
problema

nico Minimizador
contornos
de f(x)
mnimo
global
irrestrito

min2 f (x ) (x 1 1,5)2 (x 2 1,5)2

x

x1 x 2 2 0

sujeito a: x1 0
x 0

mnimo
global
restrito

Se a primeira restrio
for ignorada, o ponto
timo (1,5 1,5)T e
f(x) = 0
O ponto timo restrito
(1,1)T e f(x) = 0,5

Regio Vivel

Restries No Interferem
na Soluo do Problema
contornos
de f(x)
mnimo
global
irrestrito

min2 f (x ) (x1 0,5)2 (x 2 0,5)2

x

x1 x 2 2 0

sujeito a: x1 0
x 0

mnimo
global
restrito

O ponto timo deste

problema pode ser
obtido ignorando-se
todas as restries do
problema
x=(0,5;0,5)T e f(x) =0

Regio Vivel

Definindo Solues Locais

Simples extenses do caso irrestrito, exceto que agora

deve-se levar em considerao os pontos viveis na
vizinhana de x

Um vetor x uma soluo local se x e existe uma

vizinhana V de x tal que f(x) f(x ) para x V

Um vetor x uma soluo local estrita (soluo local forte)

se x e existe uma vizinhana V de x tal que f(x) > f(x )
para todo x V com x x

Problemas Somente com Restries

de Igualdade

Consideraes Iniciais

Introduzir os princpios bsicos que caracterizam as

solues dos problemas com restries de igualdade

Formulao

minn f (x )
x

sujeito a: ci (x ) 0
ie I=

Uma restrio no linear

Uma restrio linear

10

Uma Restrio No Linear

min x1 x 2
s.a: x12 x 22 2 0
c1 ( xd )

c1 ( xa )

= {1} e I =

De qualquer ponto em ,
tal que x x , possvel
realizar um movimento
vivel enquanto f
decrementada

Em x os gradientes da
restrio e da funo
objetivo so paralelos

Existe um escalar tal

que

f ( x a )

f ( x c )

f (x*)

f ( x b )

x* (1, 1)T
c1 ( x*)

f (x * ) *c1(x * )
11

Caracterizao da Soluo
1) Para manter a viabilidade deve-se respeitar c1(x+d)=0:

0 c1(x d ) c1(x ) c1(x )T d c1(x )T d

2) De forma anloga, para uma direo de descida produzir
T
um decrscimo em f ento: 0 f (x d ) f (x ) f (x ) d

Se existe um d que satisfaz 1) e 2) ento possvel ter melhorias

Em consequncia, a condio necessria de otimalidade que no

exista nenhuma direo d que satisfaa 1) e 2) simultaneamente

Com base no exemplo, tem-se que tal direo no pode existir

se f(x) e c1(x) forem paralelos

A condio f(x)=c1(x) no suficiente para encontrar a

soluo tima. No exemplo, essa condio atendida para o
ponto x=(1,1)T ponto de mximo, em que =0,5
12

Uma Restrio Linear

Condio necessria
atendida para um nico
valor de = 3,46

Em problemas com
restries de igualdade no
possvel colocar como
condio adicional que
> 0!

O ponto encontrado um
(nico) mnimo global

f (x*)
x * (2,02 1,73)T

c1 ( x*)

min 3x 12 4x 22
s.a: 3,5x 1 4x 2 14 0

13

Funo Lagrangiana

Problema restrito analisado sob ponto de vista de um

problema irrestrito

Sendo a funo Lagrangeana definida por: L(x, ) f (x ) c1(x )

O ponto estacionrio calculado da seguinte maneira:

x L(x , ) 0 x f (x ) xc1(x )

L(x , ) 0 c1(x )

possvel buscar a soluo de um problema com restries de

igualdade calculando os pontos estacionrios da funo
Lagrangiana

14

Problemas com Restries de

Desigualdade Somente

Consideraes Iniciais

Introduzir os princpios bsicos que caracterizam as

solues dos problemas com restries de desigualdade

Formulao
minn f (x )
x

sujeito a: ci (x ) 0

iI

Em um ponto vivel x a isima restrio de

desigualdade, tal que i I, dita estar ativa se
ci(x) = 0 e inativa se ci(x) > 0
16

Uma Restrio No Linear

O vetor gradiente da
restrio, nos pontos onde
a mesma est ativa,
sempre aponta para o
interior da regio vivel

A condio f(x)=c1(x)
atendida nos pontos

min x1 x 2
s.a: x12 x 22 2 0

f ( x a )

c1 ( xd )

c1 ( xa )
f ( x c )

c1 ( x*)

x* (1, 1)T

f ( x b )

x = (1,1) T com = 0,5

x =(1,1)T com = 0,5

f ( x*)

Regio Invivel

Porm, o sinal de um
importante parmetro
para encontrar uma
soluo
17

Caracterizao da Soluo
1) Para manter a viabilidade deve-se respeitar:

0 c1(x d ) c1(x ) c1(x )T d c1(x ) c1(x )T d 0

2) Direo de descida: f (x )T d 0

Para encontrar d que satisfaz 1) e 2) simultaneamente

necessrio analisar dois casos:

x um ponto tal que c1(x) > 0. Neste caso d atende 1), dado que
seja suficientemente pequeno. A nica situao onde no possvel
atender 1) e 2) com f(x)=0

x um ponto tal que c1(x) = 0. Assim 1) e 2) tornam-se f(x)Td < 0

e c1(x)Td 0. A nica situao onde essas duas regies no tem
nenhum ponto em comum quando f(x) e c1(x) apontam na
mesma direo, isto , quando:

f (x ) c1(x ), com 0.
18

Duas Restries
min x1 x 2
s.a: x x 2 0
2
1

2
2

ci(x*)Td 0, i =1,2,
so satisfeitas com d no
quadrante definido por
c1(x*) e c2(x*)

Vetores neste quadrante

atendem a f(x*)Td 0

Regio Invivel

x2 0

2 2
1
0
f (x *) , c1(x *) , c2(x *)
1
1
0
c2 ( x*)

f ( x*)
c1 ( x*)

x* ( 2 ,0)T

c2 ( xa )

c1 ( xa )

f ( x a )

1
* 2 2

19

No Linearidade Acentuada
(1)

(2)

min x1 x2

min x1 x2

s.a: x12 x22 2 0

s.a: (x12 x22 2)2 0

Os dois problemas possuem o ponto timo em x= (1,1)T

Em (2) tem-se que c1(x) = 0 para todos pontos viveis e

f(x)=c1(x) no pode ser assegurado

Definio: Dado um ponto x* e um conjunto A(x*), diz-se

que as restries esto qualificadas se {ci(x), i A(x*)} so
linearmente independentes

Se a condio acima for verificada, nenhum dos elementos de

{ci(x), i A(x*)} nulo. Ainda, permite expressar as
condies de otimalidade para um problema de programao
no linear qualquer
20

Condies de Otimalidade de
Primeira Ordem

Condies Necessrias de
Primeira Ordem

Seja x* um mnimo local e que as restries ativas

em x* esto qualificadas. Assim, existe um vetor *,
i I , tal que as seguintes condies so
satisfeitas em (x*, *)
xL(x*, *) = 0

ci(x*) = 0

ci(x*) 0

iI

*i 0

iI

*i ci(x*) = 0

iI

Condies de Karush-Kuhn-Tucker (KKT)

22

Condies de KKT - Ilustrao

c3 (x)

c1 ( x )

Regio Vivel

c 4 ( x)

c 2 ( x)

1
x * (1,0) f (x *) 1 , c1(x *)

2

3
1

min f (x )= x 1 x 2
2
8

c1(x ) : 1 x 1 x 2 0
c (x ) : 1 x x 0
2
1
2

s.a:
c3 (x ) : 1 x 1 x 2 0

c
(
x
)
:
1

0
4
1
2

1
1 , c2 (x *)

1
1 *

3
4

0 0
4

23

Condies de Otimalidade de
Segunda Ordem

Introduo...

(1)

Condies de KKT indicam como as derivadas primeiras

de f(x) e das restries ativas esto relacionadas em x*

Quando as condies de KKT so verificadas, um

movimento de qualquer vetor w F 1 faz com que
wTf(x*)>0 ou wTf(x*)=0, onde

dT ci (x *) 0,
i
F1 d | 0, T
d ci (x *) 0, i A(x *) I

Para direes w F 1 tal que wTf(x*)=0, no possvel

determinar da informao de primeira ordem se um
movimento nesta direo ir incrementar ou diminuir a
funo objetivo

25

Introduo...

(2)

Dado F 1 e algum multiplicador de Lagrange * que satisfaz

as condies de KKT, define-se um subconjunto F 2(*) de
F 1 por

ci (x *)T w 0,
i ,

w F2 (*) ci (x *)T w 0, i A(x *) I com i* 0,

c (x *)T w 0, i A(x *) I com * 0.
i
i

Portanto, F 2(*) contm direes de F 1 que no informam,

com base nas derivadas primeira, se f(x*) ir aumentar ou
diminuir

26

Condies Necessrias

Envolvem as derivadas de segunda ordem: se x* uma

soluo local, ento a curvatura da funo Lagrangiana
nas direes de F 2(*) devem ser no negativas

Teorema: Seja x* uma soluo local e que os

gradientes das restries ativas sejam linearmente
independentes. Seja * um vetor de multiplicadores de
Lagrange tal que as condies de KKT so verificadas
e seja F 2(*) conforme definido anteriormente. Ento,

w Txx L(x *, *)w 0,

para w F2 (*).
27

Condies Suficientes

So condies em f e ci que asseguram que x* uma

soluo local em oposio s condies necessrias que
assumem que x* uma soluo e deduzem propriedades
em f e ci

Teorema: Suponha que para x* vivel n existe um

vetor *, i I , tal que as condies de KKT so
satisfeitas. Suponha tambm que

w Txx L(x *, *)w 0,

para w F2 (*), w 0.

Ento x* um mnimo local

28

Exemplo 1
min f (x ) x 1 x 2 s.a: c1(x ) 2 x 12 x 22 0
L(x , ) x 1 x 2 (2 x 12 x 22 )

fcil verificar que as condies de KKT so satisfeitas

em x* =(1,1)T com *=1/2. A hessiana de L(x*,*)
*

0 1 0
*
*
1
xx L(x , 1 )

*
0
1
0
2

Essa matriz Definida Positiva para qualquer w 0, e

portanto, certamente satisfaz as condies do teorema
mostrado no slide anterior

Assim x* uma soluo estrita do PNL de fato, uma

soluo global dado que o PNL convexo
29

Exemplo 2
min f (x ) x 1 x 2 s.a: c1(x ) x 12 x 22 2 0
L(x , ) x 1 x 2 (x 12 x 22 2)

Condies de KKT so satisfeitas em xa =(1,1)T com

a*= 1/2 e em xb =(1,1)T com b*=1/2. As hessianas so

1 0
xx L(xa , a )
e xx L(xb , b )

0 1

1 0
0 1

xa uma soluo estrita do PNL De fato, uma soluo

global, pois xb no atende as condies de segunda ordem
e no existem outros pontos que atendem as condies de
primeira ordem

Adicionalmente, a regio vivel limitada

30

Exemplo 3...

(1)
0,2( x1 4) 2x1
x L( x , )

2 x2 2 x2

0
0,2 2
xx L( x , )

0
2

Regio Vivel

x* = (1,0) T atende KKT em *

= 0,3
Note que c(x*)=(2,0)T, ento:

wT xx L(x *, *)w
T

0

w2
1, 4w22

min 0,1(x 1 4)2 x 22

s.a: x 12 x 22 1 0

0, 8 0 0
0
1, 4 w2

x* = (1,0) T um mnimo local

31

Exemplo 3...

(2)

x* = (1,0)T um mnimo global? Uma vez que o problema no

convexo deve-se verificar se existem outros pontos que atendem as
condies de 1 e 2 ordem
0,2(x 1 4) 2x 1 0
2
2

x
1 0

1
2

2x 2 2x 2

Condies de KKT x L

De xL=0 (segunda equao) tem-se que =1 ou x2=0. Com x2=0

chega-se ao ponto testado no slide anterior. Com =1 obtm-se da
primeira equao de xL que x1=0,3636 e, aplicando-se na equao
yL tem-se x2 = 0,9315

Portanto dois pontos adicionais atendem as condies de KKT

xa=(0,3636 0,9315)T com =1

xb=(0,3636 -0,9315)T com =1

32

Exemplo 3...

(3)

Considerando xa=(0,3636 0,9315)T com =1, tem-se

0,7273
T
c(xa )

c
(
x
)
w 0 w1 2,5617w2
a

1,8631

wT

xx

L(xa , )w

2,5617w2
w2

2,2 0
0

2,5617w2
w2

14, 4371w22

Portanto, xa no um ponto de mnimo, pois a funo

Lagrangiana tem curvatura negativa

Uma vez que neste problema a curvatura no depende do valor das

variveis primais, ento xb tambm no representa uma soluo local

Embora x* = (1,0)T seja um mnimo local, a f(x) no limitada

inferiormente na regio vivel e, portanto, no existe soluo global
33

Exemplo 4...
3
max2 f (x )
(x 1 1)2 2x 22
x
4
s.a : c1(x ) : x 1 2x 22 4 0

c2 (x ) : x 1 5

(1)
3
(x 1 1)2
x
4
s.a : c1(x ) : x 1 2x 22 4

min2 f (x )

c2 (x ) : x 1

2x 22
0

c1(x )

c2 (x )
34

Exemplo 4...

Somente c1(x) ativa

x L

4x 2

1)

1
4x 2

1,5x 1 1,5 0

(1)

4x 2 4x 2 0

(2)

x 1 2x 22 4 0

(3)

De (2) tem-se x2 = 0 ou = 1.
Com x2 = 0, pode-se obter por (3) x1 = 4. Note que c2(x) > 0. De (1)
tem-se que = 4,5. Assim, x = (4,0)T atende KKT
Considerando x = (4,0)T e = 4,5 as condies de segunda ordem so

1,5(x 1

(2)

4 0

w1
w2

0,

w2

1, 5

0 0

14 w2

0, 14w22 0

Assim, x = (4,0)T um ponto de mnimo local estrito

35

Exemplo 4...

...continuando...
x L

(3)

1,5(x 1

1)

4x 2

1
4x 2

1,5x 1 1,5 0

(1)

4x 2 4x 2 0

(2)

x 1 2x 22 4 0

(3)

Com = 1, pode-se obter por (1) que x1 = 5/3. Note que c2(x) > 0.
De (3) tem-se que x2 = 1,0801.
Considerando x = (5/3 1,0801) T e = 1 as condies de segunda

ordem so
1

4,32

w1
w2

0,

4,32w2

w2

1,5 0
0

4,32w2
w2

0,

28w22 0

Assim, x = (5/3 1,0801) T no um ponto de mnimo local estrito

36

Exemplo 4...

Considerando x = (5/3 1,0801)T e = 1

(4)

4,32

w1
w2

0,

4,32w2

w2

1,5 0 4,32w2
0

w2

0,

28w22 0

Assim, x = (5/3 1,0801)T no um ponto de mnimo local estrito

x* = (4,0)T um mnimo global?

Embora seja o nico ponto de KKT que atende a segunda ordem, devese verificar se o valor de f(x) na regio vivel limitada inferiormente
Note que f(x*) = 6,75. Pode-se fixar x1 = 4 em c1(x). Assim x2 = 2 e
f(4,2) = 14,75 < f(x*)
Portanto, x* no um mnimo global
37

OBRIGADO!
Prof. Erlon Cristian Finardi
erlon.finardi@ufsc.br