D

R
A
F
T
Universidade Federal de Minas Gerais
Escola de Engenharia
Departamento de Engenharia Eletrica
Notas de Aula de Otimizacao
Jaime A. Ramrez
Felipe Campelo
Frederico G. Guimaraes
Lucas S. Batista
Ricardo H. C. Takahashi
Abril de 2013
D
R
A
F
T
.
D
R
A
F
T
Sumario
Sumario i
Lista de Figuras i
2 Condicoes de Otimalidade 1
2.1 Introducao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
2.2 Caracteriza cao de Funcoes . . . . . . . . . . . . . . . . . . . . . . . . 2
2.2.1 Funcao e Funcional . . . . . . . . . . . . . . . . . . . . . . . . 2
2.2.2 Superfcie de Nvel e Regi ao Subnvel . . . . . . . . . . . . . . 3
2.2.3 Unimodalidade e Multimodalidade . . . . . . . . . . . . . . . 5
2.2.4 Bacias de Atracao . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2.5 Continuidade e Diferenciabilidade . . . . . . . . . . . . . . . . 7
2.2.6 Convexidade, Quasi-Convexidade e Nao Convexidade . . . . . 8
2.2.7 Mnimo Local e Mnimo Global . . . . . . . . . . . . . . . . . 11
2.3 Problema Exemplo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.3.1 Solucoes Gracas . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4 Condicoes Analticas: Problemas Irrestritos . . . . . . . . . . . . . . . 15
2.4.1 Condicoes de Primeira Ordem . . . . . . . . . . . . . . . . . . 17
2.4.2 Condicoes de Segunda Ordem . . . . . . . . . . . . . . . . . . 18
2.5 Condicoes Analticas: Problemas com Restri cao de Desigualdade . . . 20
2.5.1 Condicoes de Primeira Ordem . . . . . . . . . . . . . . . . . . 21
2.5.2 Condicoes de Segunda Ordem . . . . . . . . . . . . . . . . . . 23
2.6 Condicoes Analticas: Problemas com Restri cao de Igualdade . . . . . 24
2.6.1 Condicoes de Primeira Ordem . . . . . . . . . . . . . . . . . . 25
2.6.2 Interpreta cao Geometrica dos Multiplicadores de Lagrange . . 26
2.7 O Problema Geral de Otimiza cao . . . . . . . . . . . . . . . . . . . . 27
2.7.1 Condicoes de Karush-Kuhn-Tucker . . . . . . . . . . . . . . . 29
2.8 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
i
D
R
A
F
T
ii SUM

ARIO
D
R
A
F
T
Lista de Figuras
2.1 Superfcie que representa o gr aco da funcao quadr atica (2.5). . . . . 3
2.2 Graco ilustrando uma regi ao sub-nvel R(f, ) - regi ao hachurada -
da funcao quadr atica. Indica-se, tambem, v arias curvas de nvel, i.e.
curvas para as quais a funcao quadr atica possui um mesmo valor .
Destaca-se a curva de nvel = 50. . . . . . . . . . . . . . . . . . . . 4
2.3 Valor de para o qual a regi ao de subnvel e conexa. . . . . . . . . . 5
2.4 Valor de para o qual a regi ao de subnvel e desconexa. . . . . . . . 6
2.5 Representa cao: (a) Conjunto convexo, (b) Conjunto nao convexo . . . 9
2.6 Ilustracao gr aca do problema exemplo. . . . . . . . . . . . . . . . . 12
2.7 Solucao gr aca do problema exemplo irrestrito. . . . . . . . . . . . 13
2.8 Solucao gr aca do problema exemplo restri cao de desigualdade. . . 14
2.9 Solucao gr aca do problema exemplo restri cao de igualdade. . . . . 15
2.10 Solucao gr aca do problema exemplo restri cao de igualdade e desi-
gualdade. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.11 Solucao gr aca 3D do problema irrestrito. . . . . . . . . . . . . . . . 17
2.12 Solucao analtica do caso geral. . . . . . . . . . . . . . . . . . . . . . 30
iii
D
R
A
F
T
iv LISTA DE FIGURAS
D
R
A
F
T
Captulo 2
Condi coes de Otimalidade
2.1 Introducao
No captulo anterior, vimos, de maneira intuitiva a deni cao de funcao objetivo
e funcoes de restri cao de igualdade e desigualdade, e as diferentes estrategias e
princpios que podem ser utilizados para resolver problemas de otimizacao. Abordou-
se tambem as diferentes caractersticas que as funcoes objetivo e de restri cao podem
assumir e a implicacao dessas caractersticas na possvel estrategia a ser utilizada
na solucao do problema de otimizacao.
Neste captulo discutiremos a caracterizacao da funcao objetivo, das funcoes de
restri cao, e as condi coes de otimalidade que nos auxiliar ao encontrar a solucao para
o problema de otimizacao denido matematicamente como:
xxx

= arg min
xxx
f(xxx)
sujeito a:
_
_
_
g
i
(xxx) 0, i = 1, . . . , p
h
j
(xxx) = 0, j = 1, . . . , q
(2.1)
sendo que xxx R
n
, f() : R
n
R
1
, g
i
() : R
n
R
p
e h
j
() : R
n
R
q
.
A escolha de tecnicas adequadas para tratar o problema denido em (2.1) de-
pende da natureza das funcoes f(xxx), g
i
(xxx), h
j
(xxx). Nao ha uma tecnica de otimizacao
que seja universal, no sentido de ser a melhor tecnica para otimizar quaisquer
funcoes, e a escolha das tecnicas, frequentemente, basea-se em informacoes sobre
o problema em questao.
Para nos orientar nessa caracterizacao, apresentaremos os seguintes pontos, re-
lacionadas com a questao de o que sao as solucoes do problema (2.1):
1. Dado o funcional f() o que sao os pontos de mnimo desse funcional, ou seja,
o que sao as solucoes do problema de otimizacao?
2. O que sao os pontos de mnimo local desse funcional, se sao dadas tambem as
restri coes g
i
(xxx) 0 e h
j
(xxx) = 0 ?
3. Dado um ponto xxx R
n
, que tipo de testes podem ser realizados para deter-
minar se esse ponto e ou nao um ponto de mnimo de f(), nos dois casos
1
D
R
A
F
T
2 Notas de Aula de Otimizac ao
anteriores?
Respostas a essas questoes serao fornecidas tanto no sentido local (mnimos
locais) quanto global (mnimos globais).
Antes porem de deduzir as condi coes de otimalidade do problema (2.1), e ne-
cess ario agregar alguma informacao que seja util para se decidir como proceder para
encontrar tais solucoes. Algumas caracterizacoes uteis, denidas neste captulo, sao:
1. Funcao, funcional, continuidade e diferenciabilidade;
2. Curvas de nvel, superfcie de nvel, regi ao subnvel;
3. Convexidade, quasi-convexidade, e nao convexidade;
4. Unimodalidade e multimodalidade.
Cada uma dessas informacoes a respeito da funcao, se estiver disponvel, permite
a agrega cao de um certo tipo de informacao de carater global que auxilia o processo
de otimizacao.
A deducao das condi coes de otimimalidade serao utilizadas para a compreensao
e concep cao dos algoritmos que utilizam a estrategia de dire cao de busca para a
solucao de problemas de otimizacao. Leitura complementar pode ser encontrada
em [1]- [2].
2.2 Caracterizacao de Func oes
2.2.1 Funcao e Funcional
Funcao
Uma funcao e uma rela cao que associa de maneira unica membros de um conjunto A
com membros de um conjunto B. Em termos mais formais, uma funcao do conjunto
A para o conjunto B e um objeto f tal que todo elemento a que pertence ao
conjunto A e associado de maneira unica com o objeto f(a) que pertence ao conjunto
B, f(a) B. Em termos matem aticos:
Denicao 2.1 (Funcao) Sejam A e B dois conjuntos com membros a
i
, . . . , a
m
e
b
i
, . . . , b
n
, respectivamente. Uma fun cao f que associa de maneira unica membros
de A em B e denida como:
f : A B (2.2)

Funcional
Um funcional e uma funcao que retorna um unico valor, i.e. um n umero escalar.
Em termos matem aticos:
Denicao 2.2 (Funcional) Se f() e um funcional entao:
f : R
n
R
1
(2.3)

D
R
A
F
T
Condic oes de Otimalidade 3
2.2.2 Superfcie de Nvel e Regiao Subnvel
A caracterizacao de funcoes adotada neste captulo se fundamenta nos conceitos de
superfcie de nvel e de regiao subnvel.
Superfcie de Nvel
Denicao 2.3 (Superfcie de Nvel) Seja f() : C R
n
R. A superfcie de
nvel S(f, ), associada ao nvel , e denida como:
S(f, ) = {xxx C | f(xxx) = } (2.4)

O conceito e deni cao de superfcie de nvel pode ser ilustrado usando uma
funcao quadr atica. Para esse m, vamos utilizar a seguinte funcao:
f(xxx) = (xxx xxx
0
)

Q(xxx xxx
0
)
Q =
_
2 0.3
0.3 1
_
xxx
0
=
_
1
1
_
(2.5)
que esta ilustrada na Fig. 2.1.
10
5
0
5
10 10
5
0
5
10
0
50
100
150
200
250
300
350
400
450
x2
x1
z
Figura 2.1: Superfcie que representa o gr aco da funcao quadr atica (2.5).
As curvas de nvel estao representadas no plano x
1
x
2
na Fig. 2.1. Cada curva
contem os pontos que possuem o mesmo valor de funcao.
D
R
A
F
T
4 Notas de Aula de Otimizac ao
Regiao Sub-Nvel
Denicao 2.4 (Regiao Sub-Nvel) Seja f() : C R
n
R. A regiao de sub-
nvel R(f, ), associada ao nvel , e denida como:
R(f, ) = {xxx C | f(xxx) } (2.6)

O conceito de regi ao de sub-nvel para a funcao quadr atica (2.5) esta ilustrado
na Fig. 2.2 a seguir.
Figura 2.2: Graco ilustrando uma regi ao sub-nvel R(f, ) - regi ao hachurada - da
funcao quadr atica. Indica-se, tambem, v arias curvas de nvel, i.e. curvas para as
quais a funcao quadr atica possui um mesmo valor . Destaca-se a curva de nvel
= 50.
Normalmente S(f, ) corresponde a uma fronteira de R(f, ), embora seja possvel
escolher de forma que isso nao ocorra. Claramente e v alida uma rela cao de or-
denacao das regi oes de sub-nvel de uma funcao.
Proposicao 2.1 Seja f() : C R
n
R. As regioes de sub-nvel dessa fun cao
obedecem a:
R(f,
1
) R(f,
2
)
1
>
2
(2.7)

Pode-se pensar os problemas de otimizacao como sendo equivalentes a um pro-

blema de determinar pontos que estejam sucessivamente no interior de regi oes de
sub-nvel cada vez menores (de menor valor de ). Em linhas gerais, se constroem
D
R
A
F
T
Condic oes de Otimalidade 5
0 1 2 3 4 5 6 7 8
40
20
0
20
40
60
80
100
120
140
x
f
(
x
)
= 10
R(f, )
Figura 2.3: Valor de para o qual a regi ao de subnvel e conexa.
algoritmos que produzem tais sequencias de pontos. Consequentemente, produz-se
uma contracao do conjunto denido pelas regi oes de sub-nvel, sendo a solucao
atingida quando a regi ao de sub-nvel se degenerar no ponto de otimo.
As regi oes de sub-nvel, analisadas sob o ponto de vista topol ogico, denem uma
categorizacao importante para as funcoes.
2.2.3 Unimodalidade e Multimodalidade
Denicao 2.5 (Funcao Unimodal) Seja f() : C R
n
R. Diz-se que f() e
unimodal se R(f, ) e conexo para todo R. Diz-se ainda que f() e estritamente
unimodal se, alem disso, R(f, ) e um conjunto compacto para todo R.
Por simetria, dene-se ainda:
Denicao 2.6 (Funcao Multimodal) Seja f() : C R
n
R. Diz-se que f()
e multimodal se existe R tal que R(f, ) nao e conexo.
As Figs. 2.3 e 2.4 mostram respectivamente uma regi ao de subnvel conexa e
uma regi ao de subnvel desconexa. Para esta funcao existe um valor de para o
qual R(f, ) nao e um conjunto conexo, caracterizando uma funcao multimodal.
Nota 2.1 Note-se que uma func ao unimodal pode possuir m ultiplos mnimos, desde que
o conjunto deste seja conexo, e uma func ao estritamente unimodal tambem pode possuir
m ultiplos mnimos, desde que o conjunto destes seja conexo compacto. O primeiro caso
ocorre, por exemplo, para a func ao
f(xxx) =
_
x
1
x
2

_
1 0
0 0
_ _
x
1
x
2
_
(2.8)
D
R
A
F
T
6 Notas de Aula de Otimizac ao
0 1 2 3 4 5 6 7 8
40
20
0
20
40
60
80
100
120
140
x
f
(
x
)
= +10
Figura 2.4: Valor de para o qual a regi ao de subnvel e desconexa.
para a qual todos os pontos que pertencem ao eixo x
1
= 0 (esses pontos formam um
conjunto conexo mas n ao compacto) constituem mnimos. Essa observac ao revela uma
diferenca fundamental das no c oes de func ao unimodal e func ao multimodal aqui denidas
em rela c ao `as usualmente encontradas na literatura. Os autores acreditam que no formato
apresentado neste texto essas denic oes ganham maior funcionalidade para articularem a
teoria de otimizac ao.

2.2.4 Bacias de Atra cao

Ao redor de mnimos locais, sempre haver a regi oes nas quais a funcao se comportar a
de maneira unimodal. Tais regi oes sao denidas como bacias de atracao associadas
a tais mnimos. Para estabelecer essa deni cao, e necessario denir preliminarmente
a regiao conexa de sub-nvel.
Denicao 2.7 (Regiao Conexa de Sub-Nvel) Seja f() : C R
n
R, seja a
regiao de sub-nvel R(f, ), associada ao nvel , e seja um ponto xxx
0
R(f, ). A
regiao conexa de sub-nvel R(f, , xxx
0
) e denida como o maior subconjunto conexo
de R(f, ) que contem xxx
0
.
Agora e possvel denir bacia de atracao.
Denicao 2.8 (Bacia de Atracao) Seja f() : C R
n
R, e seja xxx

C
um mnimo local de f(). A bacia de atracao de xxx

e denida como a maior regiao

conexa de sub-nvel associada a xxx

, sendo

o nvel correspondente, tal que a fun cao

restrita a essa regiao
f() : R
c
(f,

, xxx

) R (2.9)
D
R
A
F
T
Condic oes de Otimalidade 7
e unimodal. A bacia de atracao e dita estrita se nessa regiao a fun cao e estritamente
unimodal.
2.2.5 Continuidade e Diferenciabilidade
Suposicoes de continuidade e de diferenciabilidade das funcoes sao importantes na
deni cao de alguns metodos de otimizacao. De maneira intuitiva, uma funcao
contnua e aquela para a qual uma pequena variacao na entrada gera uma pequena
variacao no resultado da funcao, isto e, a funcao nao possui saltos. Uma deni cao
formal e dada a seguir.
Denicao 2.9 (Funcao contnua) Uma fun cao f() : C R
n
R e contnua se
xxx
0
C:
1. f(xxx
0
) e denido;
2. lim
xxxxxx
0
f(xxx) = f(xxx
0
).

Denicao 2.10 (Funcao diferenciavel) Uma fun cao f() : C R

n
R e dife-
renciavel se xxx
0
C existe o vetor gradiente:
f(xxx) =
_
f
x
1
f
x
2

f
xn
_
(2.10)

Essas suposicoes nos permitem extrair propriedades interessantes a respeito de

suas superfcies de nvel e bacias de atracao.
Proposicao 2.2 Seja f() : C R
n
R. Se f() e contnua no domnio C, entao
dist(S(f,
1
), S(f,
2
)) > 0 (
1
,
2
) | |
1

2
| > 0 (2.11)
sendo dist(, ) a fun cao distancia.
Corolario 2.1 Superfcies de nvel de fun coes contnuas nao se tocam nem se cru-
zam.
Proposicao 2.3 Seja f() : C R
n
R. Se f() e diferenciavel no domnio
C, entao toda superfcie de nvel S(f, ) e suave, sendo o hiperplano tangente `a
superfcie em cada ponto perpendicular ao gradiente da fun cao no ponto.
A hipotese de diferenciabilidade de uma funcao permite elaborar estrategias
de otimizacao baseadas no fato de que o gradiente de um funcao (que, no caso de
funcoes diferenciaveis, e sempre bem denido) indica quais sao as dire coes do espaco
para as quais, partindo-se de um ponto, ocorre localmente a diminuicao da funcao.
Isso equivale `a determina cao das dire coes para as quais se caminha para regi oes
de sub-nvel inferiores. A proposicao a seguir formaliza esse fato, que deriva da
proposicao anterior.
D
R
A
F
T
8 Notas de Aula de Otimizac ao
Proposicao 2.4 Seja f() : C R
n
R uma fun cao diferenciavel no domnio C,
seja xxx
0
um ponto pertencente `a superfcie de nvel S(f, ), e seja f(xxx
0
) o gradiente
de f() no ponto xxx
0
. Seja ainda um vetor ddd R
n
. Ent ao, se
ddd f(xxx
0
) < 0 (2.12)
entao existe > 0 tal que:
f(xxx
0
+ ddd) < f(xxx
0
) (2.13)

Dizemos que ddd e uma dire cao minimizante de f() no ponto xxx
0
.
Por m, o subgradiente e uma generaliza cao do vetor gradiente para o caso de
funcoes nao diferenciaveis.
Denicao 2.11 (Subgradiente) Seja f() : R
n
R. Um funcional linear f
sb
e
um subgradiente de f() no ponto xxx
0
se:
f(xxx) f(xxx
0
) + f
sb
(xxx xxx
0
) , xxx (2.14)

Por exemplo, seja a funcao f(x) = |x|. A derivada desta funcao e:

f

(x) =
_
1, x > 0
1, x < 0
(2.15)
No ponto x = 0 a derivada nao e denida, entretanto pode-se denir o subgra-
diente como qualquer n umero real no intervalo [1, 1].
A Fig. ? ilustra o conceito de subgradiente para uma funcao de duas variaveis.
Qualquer vetor no cone formado pelos vetores vvv
1
e vvv
2
e um subgradiente de f() no
ponto xxx
0
, em que o vetor gradiente nao e denido.
2.2.6 Convexidade, Quasi-Convexidade e Nao Convexidade
Conjunto Convexo
Denicao 2.12 (Conjunto Convexo) Diz-se que um conjunto C R
n
e convexo
se para quaisquer vetores xxx, yyy C,
xxx + (1 )yyy C (2.16)
para todo [0, 1].
Em outras palavras, um conjunto C e dito convexo se todos os pontos do seg-
mento de reta que une dois pontos quaisquer de C tambem pertencem a C. Isso
esta ilustrado na Fig. 2.5.
Outro tipo de informacao que pode ser util em processos de otimizacao diz
respeito `a convexidade das funcoes.
D
R
A
F
T
Condic oes de Otimalidade 9
Figura 2.5: Representa cao: (a) Conjunto convexo, (b) Conjunto nao convexo
Funcao Convexa
Denicao 2.13 (Funcao Convexa) Diz-se que uma fun cao f() : C R
n
R
denida sobre um conjunto convexo C e convexa se para quaisquer xxx, yyy C,
f (xxx + (1 )yyy) f(xxx) + (1 )f(yyy) (2.17)
para todo [0, 1]. Se para quaisquer xxx, yyy C, sendo xxx = yyy e 0 < < 1, a
desigualdade e estrita, entao f() e estritamente convexa.
Analogamente, f() e (estritamente) concava se f() for (estritamente) convexa.
Proposicao 2.5 (Caracterizacoes de Funcoes Convexas) Seja f() uma fun cao
duas vezes diferenciavel, sobre um conjunto convexo C R
n
. Entao sao equivalentes
as armativas a seguir:
i. f (xxx + (1 )yyy) f(xxx) + (1 )f(yyy) [0, 1]
ii. f(yyy) f(xxx) +f(xxx)

(yyy xxx) xxx, yyy C

iii. H(xxx) 0 xxx C
sendo f(xxx) o vetor gradiente no ponto xxx e H(xxx) a matriz Hessiana
1
no ponto xxx.

Como no caso de conjuntos convexos, e possvel obter func oes convexas a partir de
combinacoes convexas.
Proposicao 2.6 (Combinacoes Convexas) Sejam f
i
() : C
i
R
n
R fun coes
convexas denidas sobre conjuntos convexos C
i
, i = 1, . . . , m. Entao:
1
A matriz Hessiana e obtida a partir da derivada segunda de f() em relac ao a xxx.
D
R
A
F
T
10 Notas de Aula de Otimizac ao
i. f
i
() e convexa sobre C
i
, 0
ii.
m

i=1

i
f
i
() e convexa sobre
m

i=1
C
i
para
i
0 , i = 1, . . . , m

Proposicao 2.7 Seja f() : C R

n
R uma fun cao convexa sobre C convexo.
Entao a regiao de sub-nvel R(f, ) e convexa para todo R.
A recproca nao e verdadeira.
A convexidade de R(f, ) dene um novo tipo de funcao, as funcoes quasi-
convexas.
Denicao 2.14 (Funcao Quasi-Convexa) Seja f() : C R
n
R uma fun cao
tal que suas regioes de sub-nvel R(f, ) sao convexas para todo R. Neste caso,
diz-se que f() e quasi-convexa no domnio C.
Proposicao 2.8 Se f() : C R
n
R e uma fun cao quasi-convexa, entao:
f (xxx + (1 )yyy) max {f(xxx), f(yyy)} xxx, yyy C , [0, 1] (2.18)

Outro resultado envolvendo conjuntos e funcoes convexas pode ser obtido a partir
da deni cao de Epgrafo:
Denicao 2.15 (Epgrafo) O epgrafo de uma fun cao f() : C R
n
R e
denido como:
[f, C] = {(xxx, ) R
n
R : xxx C , f(xxx) } (2.19)

Proposicao 2.9 Uma fun cao f() : C R

n
R denida sobre C convexo e
convexa se, e somente se, [f, C] e um conjunto convexo.
Como todo conjunto convexo, o epgrafo de uma funcao convexa admite hiperplanos
suporte em qualquer ponto de sua fronteira.
A convexidade de funcoes pode ser relacionada com as regi oes de sub-nvel,
superfcies de nvel e bacias de atracao.
Proposicao 2.10 Todas as regioes de sub-nvel de uma fun cao convexa num domnio
convexo sao conjuntos convexos.
Proposicao 2.11 Uma fun cao convexa em um domnio convexo possui uma unica
bacia de atracao, a qual e um conjunto convexo.
D
R
A
F
T
Condic oes de Otimalidade 11
Proposicao 2.12 Seja uma fun cao convexa f() : C R
n
R, seja um ponto
qualquer xxx
0
R
n
, e seja s(xxx
0
) R
n
um vetor subgradiente da fun cao no ponto.
Entao a regiao de sub-nvel que possui o ponto xxx
0
em sua fronteira esta contida no
semi-espaco fechado negativo denido pelo vetor subgradiente no ponto xxx
0
, ou seja:
E
s
= {xxx R
n
| (xxx xxx
0
) s(xxx
0
) 0}
R(f, f(xxx
0
)) E
s
(2.20)

2.2.7 Mnimo Local e Mnimo Global

Introduzimos o conceito de mnimo local como o ponto xxx

, para o qual qualquer

vetor xxx na vizinhanca de xxx

implica em f(xxx

) f(xxx). Matematicamente:
Denicao 2.16 (Mnimo Local) Seja f() : C R
n
R. Um ponto xxx

e um
mnimo local de f() sobre C se existe > 0 tal que
f(xxx

) f(xxx) , xxx V (xxx

, ) C (2.21)
onde V (xxx

, ) {xxx : xxx xxx

}. O ponto xxx

C e um mnimo local estrito se

vale a desigualdade estrita.
Naturalmente, o conjunto C e o subconjunto do espaco R
n
denido pelas res-
tricoes:
C {xxx R
n
| g
i
(xxx) 0 ; i = 1, . . . , p ; h
j
(xxx) = 0 ; j = 1, . . . , q} (2.22)

E possvel, a partir desta deni cao, construir a deni cao de mnimo global do
funcional. Se for possvel escolher > 0 tal que V (xxx

, ) C = C, entao xxx

e um
mnimo global de f() sobre C. O mnimo global e ainda estrito se a desigualdade
for satisfeita de modo estrito.
2.3 Problema Exemplo
Consideremos o problema:
xxx

= arg min
xxx
f(xxx) = (x
1
3)
2
+ 2(x
2
3)
2
sujeito a:
_

_
g
1
(xxx) : 3x
1
+ 2x
2
12
h
1
(xxx) : x
1
+ x
2
= 5
0 x
1
6; 0 x
2
6
(2.23)
que representa a minimizacao de uma funcao de duas variaveis f(x
1
, x
2
), sujeita a
uma restri cao de desigualdade g
1
(xxx) e outra de igualdade h
1
(xxx). Em geral, como viu-
se no captulo anterior, problemas pr aticos podem ter mais do que uma restri cao
D
R
A
F
T
12 Notas de Aula de Otimizac ao
de igualdade e desigualdade. Entretanto, para facilitar a analise, consideraremos
apenas g
1
() e h
1
(). Por ser uma funcao de apenas duas variaveis, f(x
1
, x
2
) pode
ser representada no plano (x
1
x
2
) atraves de curvas de nvel, conforme indicado
na Figura 2.6. As duas restri coes, g
1
() e h
1
(), estao tambem representadas na
Figura 2.6. O objetivo nesta se cao e explorar conceitos intuitivos e geometricos
para caracterizar o mnimo de (2.23). Este problema exemplo sera utilizado nas
se coes seguintes para deduzir as condi coes necessarias e sucientes de otimizacao.
0.1
0.3
0.5
1
3
5
10
10
20
20
20
20
x1
x
2
Problema Exemplo
0 1 2 3 4 5 6
0
1
2
3
4
5
6
1
g 1
h
Figura 2.6: Ilustracao gr aca do problema exemplo.
2.3.1 Solucoes Gracas
As solucoes gr acas serao apresentadas, separadamente, para tres tipos de pro-
blemas: irrestritos, com restri cao de igualdade, e com restri cao de desigualdade,
seguindo o exemplo denido em (2.23). Em geral, esses tres tipos de problemas,
analisados separadamente ou em conjunto, representam os tipos possveis de pro-
blemas de otimizacao.
Problemas Irrestritos
A partir da equa cao (2.23) pode-se denir o problema irrestrito da seguinte maneira:
xxx

= arg min
xxx
f(xxx) = (x
1
3)
2
+ 2(x
2
3)
2
sujeito a:
_
0 x
1
6; 0 x
2
6
(2.24)
que como o nome sugere, nao possui nenhuma funcao de restri cao imposta a f().
Neste caso, os limites inferiores e superiores de xxx denem a regi ao factvel. Anali-
sando as curvas de nvel da funcao objetivo f(), observa-se por inspecao que o valor
D
R
A
F
T
Condic oes de Otimalidade 13
mnimo ocorre para (x

1
= 3 e x

2
= 3), ja que as curvas de nvel de f() diminuem
de valor a medida que se aproxima desse ponto, conforme indicado na Figura 2.7.
No ponto solucao encontrado por inspecao, constata-se que f(xxx

) = 0, para tanto
basta substituir os valores de x

1
= 3 e x

2
= 3 na equa cao de f().
0.1
0.3
0.5
1
3
5
10
10
20
20
20
20
x1

x
2

Soluo do Problema Irrestrito
0 1 2 3 4 5 6
0
1
2
3
4
5
6
soluo
Figura 2.7: Solucao gr aca do problema exemplo irrestrito.
Restricao de Desigualdade
A partir de (2.25) pode-se denir o problema com restri cao de desigualdade:
xxx

= arg min
xxx
f(xxx) = (x
1
3)
2
+ 2(x
2
3)
2
sujeito a:
_
_
_
g
1
(xxx) : 3x
1
+ 2x
2
12
0 x
1
6; 0 x
2
6
(2.25)
Neste caso, ao incluir a restri cao de desigualdade g
1
() 0, for ca-se que a solucao
do problema (2.25) esteja na regi ao factvel, conforme indicado na Figura 2.8. A
regi ao factvel passa a ser o conjunto dos pontos que satisfaz g
1
() 0 e os limites
superiores e inferiores de x
1
e x
2
. A solucao, em princpio, poderia ser qualquer ponto
(x
1
, x
2
) pertencente a regi ao factvel. Entretanto, por inspecao, pode-se identicar
que o mnimo e o ponto (x

1
, x

2
) denido na curva de nvel de f() que tangencia g
1
().
Observe que no ponto solucao (x

1
, x

2
), f() esta, exatamente, no sentido oposto
de g
1
(). Essa rela cao entre os gradientes e a base para estabelecer as condi coes
de otimalidade de primeira ordem para problemas com restri coes de desigualdade.
Restricao de Igualdade
A partir da equa cao (2.23), pode-se denir o problema com a restri cao de igualdade:
D
R
A
F
T
14 Notas de Aula de Otimizac ao
0.1
0.3
0.844
3
5
10
10
20
20
20
20
x1
x
2
Soluo com a Restrio de Desigualdade
0 1 2 3 4 5 6
0
1
2
3
4
5
6
regio factvel
1
g
f
1
g
Figura 2.8: Solucao gr aca do problema exemplo restri cao de desigualdade.
xxx

= arg min
xxx
f(xxx) = (x
1
3)
2
+ 2(x
2
3)
2
sujeito a:
_
_
_
h
1
(xxx) : x
1
+ x
2
= 5
0 x
1
6; 0 x
2
6
(2.26)
Neste caso, ao incluir a restri cao de igualdade h
1
(), for ca-se que a solucao do pro-
blema (2.26) esteja sobre a reta h
1
(), uma vez que a solucao do problema (2.26)
tem que satisfazer a equa cao de h
1
(). A primeira observacao a ser feita e que ao
reduzir os pontos solucao possveis aos pontos contidos sobre a reta h
1
(), esta-se,
de fato, reduzindo a regi ao factvel. A solucao, em princpio, poderia ser qualquer
ponto (x
1
, x
2
) sobre a reta h
1
(). Entretanto, por inspecao, pode-se identicar que
o mnimo e o ponto (x

1
, x

2
) denido na curva de nvel de f() que tangencia h
1
(),
conforme indicado na Figura 2.9. Observe que nesse ponto f() esta, exatamente,
no sentido oposto de h
1
() (o caso geral requer que os gradientes estejam alinha-
dos). Essa rela cao entre os gradientes e a base para estabelecer as condi coes de
otimalidade de primeira ordem para problemas com restri coes de igualdade.
Restricoes de Desigualdade e Igualdade
O problema com ambas as restri coes e apresentado em (2.27).
D
R
A
F
T
Condic oes de Otimalidade 15
0.1
0.3
0.67
1
3
5
10
10
20
20
20
20
x1
x
2
Soluo com a Restrio de Igualdade
0 1 2 3 4 5 6
0
1
2
3
4
5
6
1
h
f
1
h
Figura 2.9: Solucao gr aca do problema exemplo restri cao de igualdade.
xxx

= arg min
xxx
f(xxx) = (x
1
3)
2
+ 2(x
2
3)
2
sujeito a:
_

_
g
1
(xxx) : 3x
1
+ 2x
2
12
h
1
(xxx) : x
1
+ x
2
= 5
0 x
1
6 0 x
2
6
(2.27)
Este caso e, em princpio, o caso geral que envolve a funcao objetivo e restri coes de
igualdade e desigualdade. A regi ao factvel passa a ser a regi ao que satisfaz simulta-
neamente h
1
() = 0 e g
1
() 0, respeitando-se os limites superiores e inferiores de x
1
e x
2
. Por inspecao, pode-se identicar que o mnimo (x

1
, x

2
) e o ponto de intersecao
entre as curvas h
1
() e g
1
(), uma vez que ambas restri coes tem que ser satisfeitas.
Resolvendo-se o sistema de equa coes formado por h
1
() e g
1
(), obtem-se (x

1
= 2
e x

2
= 3). Nesse ponto f(xxx

) = 1. Observe que neste caso, no ponto solucao, o

somatorio dos gradientes de f(), h
1
() e g
1
() nao se anula automaticamente. Para
que isso aconte ca e necessario que o h
1
() ou o g
1
() tenha o seu sentido invertido,
i.e. seja multiplicado por uma constante com sinal negativo. Veremos nas se coes
seguintes que isso so se verica com h
1
(). Essa rela cao entre os gradientes e a
base para estabelecer as condi coes de otimalidade de primeira ordem para o caso
geral envolvendo problemas com restri coes de igualdade e desigualdade.
2.4 Condic oes Analticas: Problemas Irrestritos
Nesta se cao, apresentaremos as condi coes analticas necessarias e sucientes que
permitem armar se a solucao de um determinado problema de otimizacao e de
D
R
A
F
T
16 Notas de Aula de Otimizac ao
0.1
0.3
0.5
1
3
5
10
10
20
20
20
20
x1
x
2
Soluo Geral do Problema Exemplo
0 1 2 3 4 5 6
0
1
2
3
4
5
6
1
g
1
h
f
1
h
1
g
Figura 2.10: Solucao gr aca do problema exemplo restri cao de igualdade e desi-
gualdade.
fato a solucao otima. Essas condi coes serao utilizadas nos captulos seguintes, como
criterios de parada e convergencia, quando serao estudados os metodos numericos
determinsticos para problemas irrestritos e restritos. Similarmente ` a se cao anterior,
utilizaremos conceitos intuitivos com o auxlio de interpreta cao geometrica para
apresenta cao das condi coes necessarias e sucientes. Por conveniencia, suporemos
que a funcao objetivo f() possui apenas um mnimo e que a solucao encontra-se no
interior da regi ao factvel.
Para facilitar a deducao analtica, utilizaremos como exemplo o mesmo problema
(2.23) da se cao anterior, envolvendo uma funcao objetivo f() de duas variaveis e
apenas uma restri cao de desigualdade g() e outra de igualdade h(). Embora o
problema de otimizacao inclua apenas uma restri cao de desigualdade e outra de
igualdade, a analise que apresentaremos a seguir pode ser generalizada.
O problema irrestrito pode ser denido como:
xxx

= arg min
xxx
f(xxx) = (x
1
3)
2
+ 2(x
2
3)
2
sujeito a:
_
0 x
1
6; 0 x
2
6
(2.28)
Conforme ja observado na se cao anterior, a Figura 2.7 ilustra as curvas de nvel
da equa cao (2.28) no plano x
1
x
2
, ao passo que a Figura 2.11 ilustra o gr aco 3D
da mesma funcao. Um plano tangente ao ponto (x
1
= 3, x
2
= 3) foi desenhado para
real car o ponto de mnimo da funcao. A Figura 2.11 sera utilizada para identicar
as propriedades de f() no ponto de mnimo.
Analisando a Figura 2.11, observa-se que o mnimo ocorre em (x

1
= 3, x

2
= 3),
e nesse ponto f(x
1
, x
2
) = 0. Se os valores de x
1
e ou x
2
variassem de um pequeno
valor, em qualquer dire cao, o valor da funcao f() certamente aumentaria, uma vez
D
R
A
F
T
Condic oes de Otimalidade 17
que xxx

e o ponto mnimo da superfcie convexa que representa a func ao f().

Voltando ao exemplo, representaremos a variacao na vizinhanca do ponto otimo
como xxx, e a variacao do valor otimo da funcao como f(). Por observacao direta
ca evidente que o mnimo deve ser um ponto que satisfaca:
f > 0 , xxx (2.29)
0
2
4
6
0
2
4
6
0
5
10
15
20
25
30
x
1
Problema Irrestrito
x
2
f
(
.
)
Figura 2.11: Solucao gr aca 3D do problema irrestrito.
2.4.1 Condi coes de Primeira Ordem
O conceito desenvolvido em (2.29) pode ser aplicado no limite, isto e, para incre-
mentos innitesimais dx
1
e dx
2
sobre xxx

. A funcao f() pode ser aproximada por

um plano tangente no ponto solucao, por exemplo utilizando os primeiros termos
de uma serie de Taylor. A partir do ponto de mnimo, qualquer variacao no plano
tangente nao mudara o valor da funcao f(), uma vez que o valor da funcao f() e
constante no plano; consequentemente df = 0. Por outro lado, observa-se tambem
que qualquer variacao no plano, a partir do ponto mnimo, implica que dx
1
e dx
2
nao sao zero. Matematicamente, essa variacao pode ser expressa por:
df =
f
x
1
dx
1
+
f
x
2
dx
2
= 0 (2.30)
ou
df =
_
f
x
1
f
x
2
_ _
dx
1
dx
2
_
= 0 (2.31)
A equa cao (2.31) deve ser satisfeita para todos os pontos do plano. Sabendo-se
que dx
1
= 0 e dx
2
= 0, obtem-se consequentemente:
D
R
A
F
T
18 Notas de Aula de Otimizac ao
f
x
1
= 0 ;
f
x
2
= 0 (2.32)
ou, em outras palavras, o gradiente de f() no ponto mnimo deve ser zero. Mate-
maticamente:
f(x

1
, x

2
) = 0 (2.33)
A equa cao (2.33) representa a condi cao necessaria, ou condicao de primeira or-
dem para problemas irrestritos. Essa equa cao e utilizada para identicar as solucoes
possveis de um problema de otimizacao. Considera coes adicionais devem ser im-
postas para assegurar se a solucao encontrada pela condi cao de primeira ordem e
de fato otima, neste caso um mnimo, as quais serao tratadas posteriormente. Por-
tanto, para um problema geral de otimizacao, as condi coes necessarias de primeira
ordem podem ser expressas por:
f(xxx

) = 0 (2.34)
A equa cao (2.34) e utilizada para determinar os valores de xxx

tanto analtica
quanto numericamente.
Proposicao 2.13 (Condicoes Necessarias de 1a Ordem) Seja R
n
e f
uma fun cao diferenciavel sobre . Se xxx

e um mnimo local de f sobre , entao

tem-se que:
f(xxx

) = 0 (2.35)

2.4.2 Condi coes de Segunda Ordem

As condi coes de segunda ordem sao normalmente conhecidas como condicoes su-
cientes. Como o nome sugere, essas condi coes envolvem a derivada segunda da
funcao. As condi coes de segunda ordem sao obtidas atraves da expansao de Taylor
da funcao. Se xxx

e a solucao otima e xxx representa uma variacao no ponto solucao,

a qual resulta em uma variacao em f, entao:
f = f(xxx

+ xxx) f(xxx

) = f(xxx

)
T
xxx +
1
2
xxx
T
H(xxx

)xxx (2.36)
Para avaliarmos (2.36), f deve ser maior do que zero, conforme j a observado
em (2.29). Aplicando as condi coes necessarias de primeira ordem (2.35), o primeiro
termo do lado direito de (2.36) e zero. Isso resulta na seguinte inequacao:
1
2
xxx
T
H(xxx

)xxx > 0 (2.37)

onde H(xxx

) e a matriz Hessiana da funcao f no ponto mnimo xxx

. Para que (2.37)

seja verdadeira, a matrix H(xxx

) deve ser positiva denida. Ha tres maneiras para

determinar se H e positiva denida:
1. Para todos os valores possveis de xxx, xxx
T
H(xxx

)xxx > 0.
D
R
A
F
T
Condic oes de Otimalidade 19
2. Todos os autovalores de H(xxx

) devem ser positivos.

3. Os determinantes de todas as submatrizes que envolvem a diagonal principal
de H(xxx

) devem ser positivos.

Das tres condi coes, apenas as duas ultimas podem ser testadas. Isso e discutido
a seguir. Porem, a ultima condi cao nao e tao trivial para ordens elevadas.
Exemplo
Seja o problema de minimizacao denido por:
xxx

= arg min
xxx
f(xxx) = (x
1
3)
2
+ 2(x
2
3)
2
sujeito a:
_
0 x
1
6; 0 x
2
6
(2.38)
As condi coes necessarias de primeira ordem, equa cao (2.35), requerem:
f()
x
1
= 2(x
1
3) = 0 (2.39)
f()
x
2
= 4(x
2
3) = 0 (2.40)
As equa coes (2.39) e (2.40) podem ser facilmente resolvidas, resultando na
solucao x

1
= 3 e x

2
= 3. No ponto solucao a funcao f() assume o valor f(xxx

) = 0
e nao ha outro ponto na regi ao factvel em que f(xxx) < 0. Com isso, conclui-se
que as condi coes necessarias de primeira ordem foram satisfeitas. Entretanto, se a
funcao objetivo f() fosse mais complexa, com tres ou mais variaveis, e nao fosse
possvel representa-la atraves de curvas de nvel, nao poderiamos a priori, apenas
com base nas condi coes de primeira ordem, armar que o ponto encontrado trata-se
do mnimo da funcao. Anal, o ponto em questao poderia representar o m aximo de
f() ou um ponto de inexao, por exemplo um ponto de sela. Portanto, e necessario
avaliar as condi coes de segunda ordem.
As condi coes de segunda ordem requerem que a matriz Hessiana seja positiva
denida, que neste caso pode ser obtida facilmente:
H =
_
2 0
0 4
_
(2.41)
Examinando-se as tres maneiras para determinar se H e positiva denida, obtem-
se:
1. Nao e possvel testar todos os xxx
2. Calculo dos autovalores de H:

2
1
0
0 4
2

= (2
1
)(4
2
) = 0
D
R
A
F
T
20 Notas de Aula de Otimizac ao
Os autovalores sao
1
= 2,
2
= 4 e a matriz e positiva denida.
3. Calculo dos determinantes de todas as submatrizes que envolvam a diagonal
principal de H:
|2| > 0
_
2 0
0 4
_
= 8 > 0
A matriz e positiva denida.
Com isso, conclui-se que as condi coes de segunda ordem sao satisfeitas e que
x

1
= 3 e x

2
= 3 e de fato o ponto de mnimo da funcao. Apresenta-se a seguir as
condi coes necessarias de segunda ordem para um caso geral.
Proposicao 2.14 (Condicoes Necessarias de 2a Ordem) Seja R
n
e f()
uma fun cao duas vezes diferenciavel sobre . Se xxx

e um mnimo local de f() sobre

, entao tem-se que:
i. f(xxx

) = 0
ii. H(xxx

) > 0

Com esse exemplo, conclui-se a deducao analtica das condi coes necessarias e
sucientes que um ponto deve satisfazer para ser considerado um mnimo de uma
funcao f() sem restri coes. Apresenta-se, a seguir, a proposicao que resume esta
se cao.
Proposicao 2.15 (Otimizacao Irrestrita) Seja f() C
2
e xxx

R
n
. Se forem
simultaneamente satisfeitas:
i. f(xxx

) = 0
ii. H(xxx

) > 0
entao xxx

e um mnimo local estrito de f() sobre R

n
.
2.5 Condic oes Analticas: Problemas com Res-
tricao de Desigualdade
O problema sujeito `a restri cao de desigualdade pode ser denido como:
xxx

= arg min
xxx
f(xxx) = (x
1
3)
2
+ 2(x
2
3)
2
sujeito a:
_
_
_
g
1
(xxx) : 3x
1
+ 2x
2
12
0 x
1
6; 0 x
2
6
(2.42)
D
R
A
F
T
Condic oes de Otimalidade 21
A Figura 2.8, da se cao anterior, ilustra a solucao gr aca para este problema com
restri cao de desigualdade. Pode-se observar que no ponto solucao o vetor gradiente
da funcao objetivo e o da funcao restri cao estao na mesma dire cao e em sentidos
opostos. Examinando outros pontos factveis na Figura 2.8, pode-se armar que essa
rela cao entre f() e g() so e vericada no ponto solucao. Existe, portanto, no
ponto solucao uma rela cao proporcional entre f() e g(). Representanto a cons-
tante de proporcionalidade por
1
, pode-se expressar a rela cao entre os gradientes
por:
f() =
1
g
1
() ou f() +
1
g
1
() = 0 (2.43)
A expressao (2.43) pode ser obtida com criterios mais rigorosos usando o metodo
de multiplicadores de Lagrange.
2.5.1 Condi coes de Primeira Ordem
Metodo de Lagrange
No metodo de Lagrange, o problema original (2.42) e transformado com a introducao
de uma funcao Lagrangeana f(), que consite na funcao objetivo original f() so-
mada a restri cao de desigualdade g
1
() ponderada pelo multiplicador
1
. Todavia, a
restri cao de desigualdade precisa ser tratada como uma restri cao de igualdade; para
que isso possa ser considerado basta somar uma variavel de folga z
2
1
a g
1
().
Entao, um problema composto por uma funcao objetivo f(xxx), de duas variaveis
x
1
e x
2
, e apenas uma funcao de restri cao de desigualdade g
1
(xxx), similar ao problema
original (2.42), poderia ser expresso de maneira generica por:
xxx

= arg min
xxx
f(xxx,
1
, z
2
1
) = f(xxx) +
1
[g
1
(xxx) + z
2
1
]
sujeito a:
_
_
_
g
1
(xxx) + z
2
1
= 0
x
min
1
x
1
x
max
1
e x
min
2
x
2
x
max
2
(2.44)
Considerando o Lagrangeano em (2.44) como uma funcao irrestrita, as condi coes
de primeira ordem tem que ser satisfeitas, ou seja:
f()
x
1
=
f()
x
1
+
1
g
1
()
x
1
= 0 (2.45)
f()
x
2
=
f()
x
2
+
1
g
1
()
x
2
= 0 (2.46)
f()
z
1
= 2
1
z
1
= 0 (2.47)
f()

1
= g
1
() + z
2
1
= 0 (2.48)
que representa um sistema de quatro equa coes e quatro incognitas, x
1
, x
2
,
1
e
z
1
. As equa coes (2.47) e (2.48) podem ser combinadas, basta multiplicar (2.47)
D
R
A
F
T
22 Notas de Aula de Otimizac ao
por z
1
e obtem-se 2
1
z
2
1
= 0. Da expressao (2.48) tem-se que z
2
1
= g
1
(). Assim,
elimina-se a variavel de folga z
1
e obtem-se
1
g
1
() = 0. Entao o sistema de equa coes
(2.45)(2.48) pode ser reduzido e reescrito como:
f()
x
1
=
f()
x
1
+
1
g
1
()
x
1
= 0 (2.49)
f()
x
2
=
f()
x
2
+
1
g
1
()
x
2
= 0 (2.50)

1
g
1
() = 0 (2.51)
Em linhas gerais, as condi coes de primeira ordem para um problema com res-
tricao de desigualdade podem ser resumidas da seguinte maneira:
f() +
1
g
1
() = 0 (2.52)

1
g
1
() = 0 (2.53)
A generaliza cao para p restri coes de desigualdade sera apresentada no nal do
capulo.
Voltando ao problema exemplo e substituindo os valores no sistema de equa coes
(2.49)(2.51), obtem-se:
f()
x
1
= 2x
1
6 + 3
1
= 0 (2.54)
f()
x
2
= 4x
2
12 + 2
1
= 0 (2.55)

1
g
1
() =
1
(3x
1
+ 2x
2
12) = 0 (2.56)
Neste caso, as equa coes (2.54)(2.56) representam um sistema de tres equa coes
simultaneas e tres incognitas, e solucoes nao triviais. Para que a equa cao (2.56)
seja satisfeita e necessario que
1
= 0 ou que g
1
() = 0. O sistema de equa coes
simultaneas (2.54)(2.56) requer que as condi coes no multiplicador
1
e na restri cao
g
1
() sejam satisfeitas simultaneamente. Isso resulta nos seguintes casos:
1. Caso a:
1
= 0 [g
1
< 0]
2. Caso b:
1
= 0 [g
1
= 0]
Observa-se claramente, no caso b, que se
1
= 0, correspondendo a g
1
= 0, entao
a restri cao g
1
() transforma-se em uma igualdade.
O sistema de equa coes (2.54)(2.56) deve ser resolvido considerando-se os casos
a e b. Fica por conta do leitor mostrar que, no exemplo em questao, o caso a leva
a uma solucao inviavel. Para o caso b, obtem-se x

1
= 2.18, x

2
= 2.73 e

1
= 0.55.
Observando a Figura 2.8, solucao geometrica obtida na se cao anterior, nota-se que
a solucao analtica encontrada usando o multiplicador de Lagrange indica que e
D
R
A
F
T
Condic oes de Otimalidade 23
necessario multiplicar o g
1
() por
1
= 0.55 para que o somat orio de f() e
g
1
() seja zero no ponto solucao.
Como no caso irrestrito da se cao anterior, e preciso investigar as condi coes de
segunda ordem, ou condi coes sucientes, para ter seguranca em rela cao ` a solucao
encontrada pelas condi coes necessarias.
2.5.2 Condi coes de Segunda Ordem
No ponto determinado pelas condi coes de primeira ordem, qualquer variacao xxx
implicar a um aumento na funcao f(). Variacoes xxx nao sao arbitrarias. Elas
tem que satisfazer as restri coes de desigualdade no ponto solucao. As condi coes de
segunda ordem requerem que as equa coes seguintes sejam satisfeitas:
f() = f(xxx

+ xxx) f(xxx

) = f(xxx

)
T
xxx +
1
2
xxx
T
[H(xxx

)]xxx > 0 (2.57)

g
1
()
T
xxx = 0 (2.58)
Na equa cao (2.57) o termo [H(xxx

)] representa a matriz Hessiana da funcao La-

grangeana f calculada no ponto solucao. As condi coes de primeira ordem requerem
que f(xxx

) = 0. Considerando um problema com duas variaveis e uma restri c ao de

desigualdade, tem-se:
f() =
1
2
_

2
f()
x
2
1
(x
1
)
2
+ 2

2
f()
x
1
x
2
(x
1
)(x
2
) +

2
f()
x
2
2
(x
2
)
2
_
> 0 (2.59)
rearranjando os termos de (2.59) resulta em:
f() =
1
2
_

2
f()
x
2
1
(
x
1
x
2
)
2
+ 2

2
f()
x
1
x
2
(
x
1
x
2
) +

2
f()
x
2
2
_
(x
2
)
2
> 0 (2.60)
A equa cao (2.58) pode ser expressa por:
x
1
x
2
=
g
1
()/x
2
g
1
()/x
1
(2.61)
Substituindo a equa cao (2.61) na equa cao (2.60) obtem-se:
f() =
1
2
_

2
f()
x
2
1
(
g
1
()/x
2
g
1
()/x
1
)
2
2

2
f()
x
1
x
2
(
g
1
()/x
2
g
1
()/x
1
) +

2
f()
x
2
2
_
(x
2
)
2
> 0
(2.62)
que representa a condi cao de segunda ordem, ou condi cao suciente, que deve ser
satisfeita.
A equa cao (2.62) deve ser avaliada no ponto de mnimo encontrado pela condi cao
de primeira ordem. Para assegurar que f() > 0, deve-se avaliar a express ao entre
colchetes, ja que o termo (x
2
)
2
sera sempre positivo. Para o problema denido em
D
R
A
F
T
24 Notas de Aula de Otimizac ao
(2.42), avaliando (2.62) obtem-se [ ] = 44/9 > 0. Com isso, conclui-se que o ponto
x

1
= 2.18, x

2
= 2.73 e de fato o mnimo do problema.
Cabe destacar que a equa cao (2.62) nao e facil de ser avaliada, particularmente
se o problema de otimizacao for mais complexo, por exemplo envolvendo mais do
que duas variaveis e duas restri coes, ou contendo restri coes quadr aticas ou de or-
dem superior. Do ponto de vista pr atico, como veremos nos captulos seguintes, as
condi coes de segunda ordem nao serao utilizadas nos algoritmos.
Para concluir esta se cao, apresenta-se a seguir a proposicao que resume as
condi coes de primeira e segunda ordem que devem ser satisfeitas para assegurar
a solucao de um problema de otimizacao com restri cao de desigualdade.
Proposicao 2.16 (Otimizacao Restrita Desigualdade) Sejam f() C
2
e
g
i
() C
2
, i = 1, . . . , p, e xxx

tal que g
i
(xxx

) 0, i = 1, . . . , p. Se existem multiplica-
dores
1
,
2
, . . . ,
p
tais que
i.
i
0 , i = 1, . . . , p
ii.
i
g
i
(xxx

) = 0 , i = 1, . . . , p
iii. f(xxx

) +
p

i=1

i
g
i
(xxx

) = 0
iv. H(xxx

) +
p

i=1

i
G
i
(xxx

) > 0 sobre M = {yyy R

n
: g
i
(xxx

yyy = 0 , i I(xxx

)},
I(xxx

) = {i : g
i
(xxx

) = 0 ,
i
> 0}
sao simultaneamente satisfeitos, entao xxx

e um mnimo local estrito de f() sobre

g
i
(xxx) 0 , i = 1, . . . , p.
2.6 Condic oes Analticas: Problemas com Res-
tricao de Igualdade
O problema sujeito `a restri cao de igualdade pode ser denido como:
xxx

= arg min
xxx
f(xxx) = (x
1
3)
2
+ 2(x
2
3)
2
sujeito a:
_
_
_
h
1
(xxx) : x
1
+ x
2
= 5
0 x
1
6; 0 x
2
6
(2.63)
A Figura 2.26, da se cao anterior, ilustra a solucao gr aca para este problema. De
maneira similar ao caso anterior, observa-se que no ponto solucao, o vetor gradiente
da funcao objetivo esta na mesma dire cao e no sentido oposto do vetor gradiente
da funcao restri cao. Examinando outros pontos factveis na Figura 2.26, i.e., outros
pontos sobre a reta h(), uma vez que a restri cao de igualdade tem que ser satisfeita,
pode-se armar que essa rela cao entre f() e h() so e possvel no ponto solucao.
Existe, portanto, no ponto solucao uma rela cao proporcional entre f() e h().
D
R
A
F
T
Condic oes de Otimalidade 25
Representando a constante de proporcionalidade por
1
, pode-se expressar a rela cao
entre os gradientes por:
f() =
1
h
1
() ou f() +
1
h
1
() = 0 (2.64)
Como discutido na se cao anterior, a equa cao (2.64) pode ser obtida, com criterios
matem aticos mais rigorosos, usando o metodo de multiplicadores de Lagrange.
2.6.1 Condi coes de Primeira Ordem
Metodo de Lagrange
Neste caso a funcao Lagrangeana consite na funcao objetivo original f() somada
a restri cao de igualdade h
1
() ponderada pelo multiplicador
1
(para diferenciar
do multiplicador da funcao de desigualdade). Entao, um problema de composto
por uma funcao objetivo f(xxx), de duas variaveis x
1
e x
2
, e apenas uma funcao de
restri cao de igualdade h
1
(xxx), similar ao problema original (2.63), poderia ser expresso
de maneira generica por:
xxx

= arg min
xxx
f(xxx,
1
) = f(xxx) +
1
h
1
(xxx)
sujeito a:
_
_
_
h
1
(xxx) = 0
x
min
1
x
1
x
max
1
e x
min
2
x
2
x
max
2
(2.65)
Considerando o Lagrangeano em (2.65) como uma funcao irrestrita de duas
variaveis, as condi coes de primeira ordem tem que ser satisfeitas, ou seja:
f()
x
1
=
f()
x
1
+
1
h
1
()
x
1
= 0 (2.66)
f()
x
2
=
f()
x
2
+
1
h
1
()
x
2
= 0 (2.67)
f()

1
= h
1
() = 0 (2.68)
As equa coes (2.66)(2.68) expressam as condi coes de primeira ordem, ou condi coes
necessarias, para o problema denido em (2.65). Essas express oes constituem um
sistema de tres equa coes e tres incognitas, x
1
, x
2
e
1
. A equa cao (2.68) representa
a restri cao de igualdade.
Em linhas gerais, as condi coes de primeira ordem para um problema com res-
tricao de igualdade podem ser resumidas da seguinte maneira:
f() +
1
h
1
() = 0 (2.69)
h
1
() = 0 (2.70)
A generaliza cao para q restri coes de igualdade sera apresentada no nal do captulo.
D
R
A
F
T
26 Notas de Aula de Otimizac ao
Substituindo os valores do problema original, obtem-se:
f()
x
1
= 2x
1
6 +
1
= 0 (2.71)
f()
x
2
= 4x
2
12 +
1
= 0 (2.72)
h
1
() = x
1
+ x
2
= 5 (2.73)
As equa coes (2.71)(2.73) representam um sistema de tres equa coes e tres in-
cognitas, cuja solucao resulta em x

1
= 2, 33, x

2
= 2, 67 e

1
= 1, 34. Observando
a Figura 2.9, nota-se que a solucao analtica encontrada usando o multiplicador
de Lagrange coincide com a solucao geometrica obtida na se cao anterior. Como
no caso irrestrito da se cao anterior, e preciso investigar as condi coes de segunda
ordem, ou condi coes sucientes, para ter seguranca em rela cao ` a solucao encontrada
pelas condi coes necessarias. Essa analise e similar a desenvolvida na se cao anterior
(deixada como exerccio para o leitor) e leva a conclusao que a solucao encontrada
e de fato o mnimo do problema.
Antes de concluir a se cao, analisaremos uma interpreta cao geometrica associada
`a introducao dos multiplicadores de Lagrange.
2.6.2 Interpreta cao Geometrica dos Multiplicadores de La-
grange
A interpreta cao geometrica dos multiplicadores de Lagrange indica que, no ponto
solucao, expressa a rela cao da variacao da funcao objetivo em rela cao ` a variacao
da restri cao. Consideremos:
f() = f() +
1
h
1
() (2.74)
Diferenciando obtem-se
df() = df() +
1
dh
1
() (2.75)
que resulta em
df() =
f()
x
1
dx
1
+
f()
x
2
dx
2
+
f()

1
d
1
(2.76)
No ponto solucao, as condi coes de primeira ordem requerem que df() = 0.
Consequentemente,

1
=
df()
dh()
=
f()
h()
(2.77)
A equa cao (2.77) indica claramente, como queria-se demonstrar, que o mul-
tiplicador de Lagrange
1
e a rela cao entre a variacao da funcao objetivo f e a
variacao da funcao restri cao de igualdade h. Essa rela cao nao afeta a determina cao
da solucao otima, tendo, entretanto, um papel importante na discuss ao de analise
de sensibilidade.
D
R
A
F
T
Condic oes de Otimalidade 27
Para concluir esta se cao, apresenta-se a seguir a proposicao que resume as
condi coes de primeira e segunda ordem que devem ser satisfeitas para assegurar
a solucao de um problema de otimizacao com restri coes de igualdade.
Proposicao 2.17 (Otimizacao Restrita Igualdade) Sejam f() C
2
e h
j
()
C
2
, j = 1, . . . , q e xxx

tal que h
j
(xxx

) = 0, j = 1, . . . , q. Se existem multiplicadores

1
,
2
, . . . ,
q
tais que
i. f(xxx

) +
q

j=1

j
h
j
(xxx

) = 0
ii. H(xxx

)+
q

j=1

j
H
j
(xxx

) > 0 sobre M = {yyy R

n
: h
j
(xxx

yyy = 0 , j = 1, . . . , q}
sao simultaneamente satisfeitos, entao xxx

e um mnimo local estrito de f() sujeito

a h
j
(x) = 0, j = 1, . . . , q.
2.7 O Problema Geral de Otimizacao
O problema geral de otimizacao e denido incluindo simultaneamente as restri coes
de desigualdade e igualdade:
xxx

= arg min
xxx
f(xxx) = (x
1
3)
2
+ 2(x
2
3)
2
sujeito a:
_

_
g
1
(xxx) : 3x
1
+ 2x
2
12
h
1
(xxx) : x
1
+ x
2
= 5
0 x
1
6; 0 x
2
6
(2.78)
Usando o metodo de multiplicadores de Lagrange, um problema de otimizacao
similar ao apresentado em (2.78), composto por uma funcao objetivo f(xxx), de duas
variaveis x
1
e x
2
, e apenas uma funcao de restri cao de desigualdade g
1
(xxx) e uma
restri cao de igualdade h
1
(xxx), pode ser expresso de maneira generica por:
xxx

= arg min
xxx
f(xxx,
1
,
1
, z
2
1
) = f(xxx) +
1
[g
1
(xxx) + z
2
1
] +
1
h
1
(xxx)
sujeito a:
_

_
g
1
(xxx) + z
2
1
= 0
h
1
(xxx) = 0
x
min
1
x
1
x
max
1
e x
min
2
x
2
x
max
2
(2.79)
Considerando a funcao Lagrangeana f() como uma funcao irrestrita, as condi coes
de primeira ordem para este caso podem ser obtidas por:
D
R
A
F
T
28 Notas de Aula de Otimizac ao
f()
x
1
=
f()
x
1
+
1
g
1
()
x
1
+
1
h
1
()
x
1
= 0 (2.80)
f()
x
2
=
f()
x
2
+
1
g
1
()
x
2
+
1
h
1
()
x
2
= 0 (2.81)
f()
z
1
= 2
1
z
1
= 0 (2.82)
f()

1
= g
1
() + z
2
1
= 0 (2.83)
f()

1
= h
1
() = 0 (2.84)
que sao uma associacao das subse coes anteriores referentes a discuss ao das condi coes
de primeira ordem para problemas com restri coes de desigualdade e igualdade. Como
discutido no caso do problema com restri coes de desigualdade, as equa coes (2.82) e
(2.83) podem ser combinadas eliminando-se a variavel z
1
. Assim, as equa coes (2.80)
a (2.84) podem ser reduzidas a quatro expressoes:
f()
x
1
=
f()
x
1
+
1
g
1
()
x
1
+
1
h
1
()
x
1
= 0 (2.85)
f()
x
2
=
f()
x
2
+
1
g
1
()
x
2
+
1
h
1
()
x
2
= 0 (2.86)

1
g
1
() = 0 (2.87)
h
1
() = 0 (2.88)
A equa cao (2.87) requer que duas possibilidades sejam testadas:
1. Caso a:
1
= 0 [g
1
< 0]
2. Caso b:
1
= 0 [g
1
= 0]
Assim, as equa coes (2.85)(2.88) correspondem a um sistema de quatro equa coes
e quatro incognitas, x
1
, x
2
,
1
e
1
, e representam as condi coes de primeira ordem
que devem ser satisfeitas para um problema com uma restri cao de desigualdade e
uma restri cao de igualdade.
Em linhas gerais, as condi coes de primeira ordem podem ser resumidas da se-
guinte maneira:
f() +
1
g
1
() +
1
h
1
() = 0 (2.89)

1
g
1
() = 0 (2.90)
D
R
A
F
T
Condic oes de Otimalidade 29
h
1
() = 0 (2.91)
A generaliza cao para p restri coes de desigualdade e q restri coes de igualdade
sera apresentada no nal da se cao.
Voltando ao problema exemplo, as condi coes de primeira ordem resultam em:
f()
x
1
= 2x
1
6 +
1
+ 3
1
= 0 (2.92)
f()
x
2
= 4x
2
12 +
1
+ 2
1
= 0 (2.93)

1
g
1
() =
1
(3x
1
+ 2x
2
12) = 0 (2.94)
f()

1
= x
1
+ x
2
5 = 0 (2.95)
Duas solucoes devem ser examinadas. A primeira, Caso a (
1
= 0 e [g
1
< 0]),
requer a solucao de um sistema de tres equa coes e tres inc ognitas, x
1
, x
2
e
1
, j a
que a equa cao (2.94) e eliminada. A segunda, Caso b (
1
= 0 [g
1
= 0]), e um
sistema de quatro equa coes e quatro incognitas, x
1
, x
2
,
1
e
1
, envolvendo as
equa coes (2.92)(2.95). A solucao do caso a fornece x
1
= 7/3, x
2
= 8/3 e
1
= 4/3,
porem a restri cao de desigualdade e violada, inviabilizando a solucao encontrada.
Resolvendo-se a segunda opcao obtem-se x
1
= 2, x
2
= 3,
1
= 2 e
1
= 4.
A Figura 2.12, a seguir, ilustra a solucao gr aca e analtica do caso geral. Ob-
serve que no ponto solucao (x
1
= 2; x
2
= 3) o somatorio do gradiente da funcao
objetivo e das funcoes de restri cao, ponderadas pelos respectivos multiplicadores de
Lagrange, se anula. Em outras palavras, f() +
1
g
1
() +
1
h
1
() = 0.
2.7.1 Condi coes de Karush-Kuhn-Tucker
Para concluir esta se cao, apresenta-se a seguir a proposicao conhecida como condi coes
de Karush-Kuhn-Tucker, as quais devem ser satisfeitas para assegurar a solucao de
um problema geral de otimizacao.
Proposicao 2.18 (Condicoes Necessarias de Karush-Kuhn-Tucker para Oti-
malidade) Seja xxx

um ponto regular das restricoes do problema de otimiza c ao:

xxx

= arg min
xxx
f(xxx)
sujeito a:
_
_
_
g
i
(xxx) 0, i = 1, . . . , p
h
j
(xxx) = 0, j = 1, . . . , q
(2.96)
sendo que f(), g(), h() C
1
. Para xxx

ser um otimo local do problema, deve existir

um conjunto de multiplicadores de Karush-Kuhn-Tucker

R
p
e

R
q
, com
D
R
A
F
T
30 Notas de Aula de Otimizac ao
0.1
0.3
0.5
1
3
5
10
10
20
20
20
20
x1
x
2
Soluo Geral do Problema Exemplo
0 1 2 3 4 5 6
0
1
2
3
4
5
6
f
1 1
h l
1 1
g b
1
g
1
h
Figura 2.12: Solucao analtica do caso geral.

i
0 tal que:
f(xxx

) +
p

i=1

i
g
i
(xxx

) +
q

j=1

j
h
j
(xxx

) = 0

i
0 e

i
g
i
(xxx

) = 0 i = 1, . . . , p
h
j
(xxx) = 0 j = 1, . . . , q
(2.97)
sendo que xxx R
n
, f() : R
n
R
1
, g
i
() : R
n
R
p
e h
j
() : R
n
R
q
.
D
R
A
F
T
Condic oes de Otimalidade 31
2.8 Exerccios
1. Conceitue um mnimo local, mnimo global e dire coes viaveis [3].
2. Considere a funcao f(x) = xe
2x
. Calcular todos os pontos de mnimo e
m aximo local, e tambem os pontos de inexao. O que pode ser armado
a respeito do ponto de mnimo e m aximo global dessa funcao. Justique
analiticamente a resposta [4].
3. Calcular a derivada primeira e segunda da funcao, denida a seguir, em x = 0
[5]:
f(xxx) = x
4
1
+ x
1
x
2
+ (1 + x
2
)
2
(2.98)
Mostre que H(000) nao e positiva denida. Verique que o mnimo local e
xxx

= (0.6959; 1.3479)
T
.
4. Calcular os pontos estacion arios da funcao [5]:
f(xxx) = 2x
3
1
3x
2
1
6x
1
x
2
(x
1
x
2
1) (2.99)
Quais pontos sao mnimos locais e quais sao m aximos locais?
5. Mostre que a funcao f(xxx) = (x
2
x
2
1
)
2
+x
5
1
possui apenas um ponto estacion ario
que nao e m aximo local ou mnimo local [5].
6. O problema [3]:
minimize f(xxx) = 2x
2
1
+ x
1
x
2
+ x
2
2
+ x
2
x
3
+ x
2
3
6x
1
7x
2
8x
3
+ 9
(2.100)
possui um ponto de mnimo local em xxx

= (6/5, 6/5, 17/5)

T
. Verique se as
condi coes necessarias para um mnimo local sao satisfeistas nesse ponto. Esse
mnimo local e tambem um ponto de mnimo global?
7. O problema [5], [3]:
minimize f(xxx) = 100(x
2
x
2
1
)
2
+ (1 x
1
)
2
sujeito a: g(xxx) : (x
2
1
+ x
2
2
) 2
(2.101)
possui um ponto de mnimo local em xxx

= (1, 1)
T
. Verique se as condi coes
necessarias para um mnimo local sao satisfeistas nesse ponto. Mostre que
H(xxx) e singular se, e somente se, xxx satiszer a condi cao: x
2
x
2
1
= 0.005.
8. Considere o problema [4]:
minimize f(xxx) = x
2
1
+ 2x
2
2
sujeito a: h(xxx) : (x
1
+ x
2
2) = 0
(2.102)
D
R
A
F
T
32 Notas de Aula de Otimizac ao
Encontrar um ponto que satisfaca as condi coes de Karush-Kuhn-Tucker e ve-
ricar se esse ponto e a solucao otima. Resolva o problema novamente substi-
tuindo a funcao objetivo por f(xxx) = x
3
1
+ x
3
2
.
9. Considere o problema [4]:
minimize f(xxx) = x
4
1
+ x
4
2
+ 12x
2
1
+ 6x
2
2
x
1
x
2
x
1
x
2
sujeito a:
_
_
_
g
1
(xxx) : x
1
+ x
2
6
g
2
(xxx) : 2x
1
x
2
3
x
1
0; x
2
0
(2.103)
Escreva as expressoes para as condi coes de Karush-Kuhn-Tucker e mostre que
(x
1
, x
2
) = (3, 3) e o unico ponto solucao.
10. Suponha o problema de uma variavel: max x
2
, com 1 x 2. Mostre que
as condi coes de Karush-Kuhn-Tucker sao satisfeitas nesse problema em x = 1,
x = 0 e x = 2, embora o unico ponto de otimo global seja x = 2.
11. Resolver gracamente os seguintes problemas:
(i)
maximize f(xxx) = x
1
sujeito a:
_
_
_
g
1
(xxx) : (1 x
1
)
3
x
2
0
g
2
(xxx) : x
1
0
g
3
(xxx) : x
2
0
(2.104)
(ii)
minimize f(xxx) = x
2
1
+ 4x
2
2
sujeito a:
_
g
1
(xxx) : x
1
+ x
2
0
g
2
(xxx) : 2x
1
+ x
2
0
(2.105)
(iii)
minimize f(xxx) = x
1
x
2
sujeito a:
_
_
_
h
1
(xxx) : 20x
1
+ 15x
2
30 = 0
g
1
(xxx) : x
2
1
/4 + x
2
2
1 0
0 x
1
3; 0 x
2
3
(2.106)
Para cada um dos gr acos, desenhe as dire coes dos vetores gradiente da funcao
objetivo e das restri coes ativas no ponto otimo. Verique se as condi coes de
Karush-Kuhn-Tucker sao satisfeitas no ponto solucao.
D
R
A
F
T
Referencias Bibliogracas
[1] D. G. Luenberger. Linear and Nonlinear Programming. Addison-Wesley, 2 edi-
tion, 1989.
[2] P. Venkataraman. Applied Optimization with Matlab Programming. John Wiley,
1 edition, 2002.
[3] G.R. Mateus e H.P.L. Luna. Programacao Nao-Linear. V Escola de Computacao,
1 edition, 1986.
[4] M.S. Bazaraa, H.D. Sherali, and C.M. Shetty. Nonlinear Programming: Theory
and Algorithms. John Wiley, 3 edition, 2006.
[5] R. Fletcher. Practical Methods of Optimization. John Wiley, 2 edition, 1987.
33