Você está na página 1de 45

Otimizao

Contedo

1 Capa da Verso Online 1

2 Introduo 2

3 Mtodo de Gradientes Conjugados 3


3.1 Algumas consideraes histricas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
3.2 O mtodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
3.2.1 Exemplos de conjuntos convexos e cncavos . . . . . . . . . . . . . . . . . . . . . . . . . 3
3.3 Esquema do mtodo de descida . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
3.4 Algoritmo de Hestenes-Stiefel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3.4.1 Exemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3.4.2 Implementao em Scilab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3.5 Algoritmo de Fletcher-Reeves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3.6 Algoritmo de Polak-Ribire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3.7 Algoritmo auxiliar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

4 Mtodos de Penalidades 9
4.1 Mtodo de penalidade exterior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
4.1.1 Alguns conceitos da topologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
4.1.2 De volta ao mtodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
4.1.3 Algoritmo de penalidade exterior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
4.1.4 Implementao do algoritmo de penalidade exterior em SciLab . . . . . . . . . . . . . . . 11
4.2 Mtodo de penalidade interior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.2.1 Exemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.2.2 Algoritmo de barreira . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.2.3 Implementao do algoritmo de barreira em SciLab . . . . . . . . . . . . . . . . . . . . . 12

5 Mtodos de Regio de Conana 13


5.1 Breve reviso da busca de Armijo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
5.2 De volta ao mtodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
5.2.1 Algoritmo da regio de conana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
5.2.2 Algoritmo da regio de conana melhorado . . . . . . . . . . . . . . . . . . . . . . . . . 14
5.3 O subproblema quadrtico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

i
ii CONTEDO

6 O Problema de Mnimos Quadrados 15


6.1 O caso linear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
6.1.1 Exemplo de aplicao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
6.2 O caso no linear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
6.2.1 O mtodo de Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
6.2.2 Algoritmo de Gauss-Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
6.2.3 Algoritmo de Levemberg-Marquardt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

7 O Teorema de Karush, Kuhn e Tucker 19


7.1 Cones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
7.2 Caracterizao das direes de descida . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
7.3 O cone vivel linearizado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
7.4 O cone tangente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
7.5 Teorema KKT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

8 Mtodos Duais 22
8.1 Lagrangiana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
8.2 Condies de otimalidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
8.2.1 Caso particular . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
8.2.2 Caso geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
8.3 Uma inequao sobre nmos e supremos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
8.3.1 Exemplo numrico: problema primal e seu dual . . . . . . . . . . . . . . . . . . . . . . . 25
8.4 Ponto de sela . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
8.4.1 Exemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
8.4.2 Anlise do problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
8.5 Resumo do esquema de dualidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
8.5.1 Concluses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
8.6 Uma nota sobre a terminologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

9 Aplicaes dos Mtodos Duais 28


9.1 Aplicao programao linear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
9.1.1 Exemplicando com um problema de programao linear . . . . . . . . . . . . . . . . . . 29
9.2 Aplicao programao quadrtica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
9.2.1 Reviso do mtodo do gradiente projetado . . . . . . . . . . . . . . . . . . . . . . . . . . 30
9.2.2 Exemplicando a projeo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
9.2.3 Exemplo concreto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
9.3 Exerccios resolvidos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

10 Mtodo da Lagrangiana Aumentada 32


10.1 Algoritmo da lagrangiana aumentada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

11 Estilo 35
11.1 Denies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
CONTEDO iii

11.2 Propriedades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
11.3 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
11.4 Demonstraes e resoluo de exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
11.5 Tarefas pendentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

12 ndice Remissivo 36
12.1 A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
12.2 B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
12.3 C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
12.4 D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
12.5 E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
12.6 F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
12.7 G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
12.8 H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
12.9 I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
12.10J . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
12.11K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
12.12L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
12.13M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
12.14N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
12.15O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
12.16P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
12.17Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
12.18R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
12.19S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
12.20T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
12.21U . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
12.22V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
12.23W . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
12.24X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
12.25Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
12.26Z . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

13 Bibliograa 39
13.1 Livros e artigos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
13.2 Pginas da internet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
13.2.1 Material complementar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
13.3 Fontes dos textos e imagens, contribuidores e licenas . . . . . . . . . . . . . . . . . . . . . . . . 41
13.3.1 Texto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
13.3.2 Imagens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
13.3.3 Licena . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Captulo 1

Capa da Verso Online

1
Captulo 2

Introduo

Este material est sendo elaborado com base nas notas de


aula da disciplina Otimizao II, do curso de Matemtica
Industrial oferecido pela UFPR, ministrada pelo profes-
sor Wilfredo, no segundo semestre letivo do ano de 2008.
O contedo do livro no precisa (nem deve) se limitar
quele que consta atualmente no ndice. Sendo assim, a
qualquer momento o livro pode ser revisto e ampliado.
Sinta-se a vontade para ler este ou quaisquer outros li-
vros do projeto, melhorando-os conforme lhe for poss-
vel. Com isso estar ajudando a aumentar a quantidade
e a qualidade dos textos didticos disponveis em lngua
portuguesa, ao mesmo tempo em que colaborar com o
crescimento projeto Wikilivros como um todo.
Se tiver dvidas ou sugestes sobre pginas especcas,
utilize as pginas de discusso correspondentes para dei-
xar um comentrio a respeito.
Ainda h muito por fazer, mas cada um daqueles que con-
tribuem acredita estar fazendo o possvel para oferecer o
melhor a todos.

2
Captulo 3

Mtodo de Gradientes Conjugados

3.1 Algumas consideraes histri- Uma funo f : D 7 R dita convexa quando D Rn


convexo e x, y D e t [0, 1] vale
cas
Este mtodo foi originalmente proposto por f (tx + (1 t)y) tf (x) + (1 t)f (y)
Hestenes e Stiefel, em 1952.

Seu objetivo inicial foi a resoluo de problemas Denio


quadrticos sem restries, mas logo o mesmo foi
estendido para casos mais gerais. Dado um conjunto convexo D Rn , uma funo f :
D 7 R dita fortemente convexa quando existe uma
constante a > 0 tal que f (x) ax2 convexa.

3.2 O mtodo Exerccio

Este mtodo pode ser considerado sob dois pontos de Verique que uma funo quadrtica f : Rn 7 R for-
vista: temente convexa se existe uma matriz simtrica denida
positiva A , um vetor a Rn e um escalar R de
Como um mtodo de descida, com busca linear modo que f (x) = 12 x Ax + a x + .
exata;
Nota: Uma matriz denida positiva se, e somente se,
Como um mtodo de resoluo de sistema linear, todos os seus autovalores so positivos.
baseado em um processo de ortogonalizao. Tem-se:

Denio
f : Rn 7 R
Um conjunto no vazio D Rn dito convexo quando 2 f : Rn 7 (Rn )2
x, y D e t [0, 1] vale
Sendo f (x) = 21 x Ax + a x + , segue em particular
que f = Ax + a e 2 f = A = P P , onde
uma matriz diagonal cujos elementos da diagonal so os
tx + (1 t)y D
autovalores de A e P uma matriz onde as colunas so
os autovetores correspondentes aos autovalores.
3.2.1 Exemplos de conjuntos convexos e Note que A uma matriz simtrica, pois a matriz Hessi-
cncavos ana de uma funo com segundas derivadas parciais con-
2 2
f f
tnuas, e consequentemente vale xy =. yx
Este um conjunto convexo, pois todo segmento
Para introduzir o mtodo de direes conjugadas, sero
com extremidades no conjunto est totalmente con-
consideradas somente funes quadrticas.
tido no conjunto.
Uma condio necessria de primeira ordem para que x
Este um conjunto cncavo, pois existe um seg- seja um ponto de mnimo para a funo f que f (x) =
mento com extremidades no conjunto que no est 0 . Para o presente caso, a funo f convexa, ento, a
totalmente contido no conjunto. condio necessria f (x) = 0 tambm suciente.

Denio Exerccio

3
4 CAPTULO 3. MTODO DE GRADIENTES CONJUGADOS

Prove que se A uma matriz simtrica denida positiva, que passa pelo ponto xk e que tem direo dk . Logo,
ento f : Rn 7 R dada por f (x) = x Ax + a x + derivando a expresso de em relao a t , obtem-se
possui um nico ponto de mnimo.
No caso de uma funo quadrtica, tem-se f (x) =

0 Ax + a = 0 , ou seja, x soluo do sistema linear (t) = f (xk + tdk ) dk
Ax = a .
Ento, no ponto de mnimo, xk+1 , tem-se
A resoluo de um sistema linear nem sempre pode ser
feita numericamente de forma eciente. Por exemplo, se
a matriz do sistema :
0 = f (xk+1 ) dk
[ 20 ] Ou seja, a direo dk a ser seguida a partir do ponto xk
10 1
A= ortogonal ao gradiente da funo f , no ponto xk+1 .
1 1020 + 1

A soluo do sistema linear corresponde interseo en-


tre duas retas quase paralelas, e os erros de truncamento 3.3 Esquema do mtodo de descida
podem causar impreciso na soluo obtida computacio-
nalmente.
Analiticamente, o sistema Ax = a tem x = A1 a xk+1 = xk +tk dk = (xk1 +tk1 dk1 )+tk dk = . . . = x1 +t1 d1 +. . .+tk
como soluo. Ento algum poderia se perguntar: qual o
problema em resolver esse sistema linear, se basta calcular
Seja x
o minimizador da funo f . Tem-se
a inversa da matriz A e multiplicar pelo vetor a ? A
resposta que o calculo da inversa de uma matriz em geral
impraticvel computacionalmente, por ter custo muito
alto. Por isso, nas situaes prticas, onde as matrizes tem k
xk+1 x = x1 x
+ ti di
ordem bem maior do que 2 (digamos 1000), o clculo de i=1
matrizes inversas no uma opo.
Assim, com o intuito de desenvolver um mtodo compu- Mas 0 = f ( x) = Ax + a implica que a = A
x , logo
tacional para o clculo de minimizadores, preciso utili-
zar outras tcnicas. Considere o seguinte:
Em um mtodo de descida tem-se sempre uma sequencia f (x) = Ax + a = Ax A
x = A(x x
)
{xk , tk , dk } N , com xk+1 = xk + tk dk e tk um
e consequentemente
minimizador de f (xk + tdk ) : t R


k
f (x) = Ax + a A(xk+1 x
) = A(x1 x
) + ti Adi
i=1
e
k
Donde f (xk+1 ) = f (x1 ) + i=1 ti Adi . Portanto
k
0 = f (xk+1 ) dk = f (x1 ) dk + i=1 ti d
i Adk .
0 = f (xk+1 ) = Axk+1 +a = A(xk +tk dk )+a = Axk +tk Adk +a

Logo, tk Adk = (Axk + a) e multiplicando por d Exerccio


k

obtem-se tk dk Adk = (dk Axk + dk a) . Consequen-
temente, o valor de tk dado por Provar que se A uma matriz simtrica, denida positiva,
ento existe uma matriz simtrica B , de modo que A =
B2

(dk Axk + a dk ) Usando o resultado desse exerccio, tem-se ainda que 0 =
tk = k
d
k Adk f (x ) d = f (x ) d + t (Bd ) (Bd )
k+1 k 1 k i=1 i i k

Deste modo, o mtodo consistir de escolher em cada Fazendo = Bd , o mtodo do gradiente conju-
etapa k uma direo dk , e calcular o coeciente tk pela gado escolhe as direes de descida tais que i dj =
frmula anterior, para gerar o prximo ponto xk+1 . Mas 0, i = j . Mas quando i = j , tem-se na expresso
como escolher a direo dk ? apresentada anteriormente apenas 0 = f (x1 ) dk +
Dado xk e escolhido dk , dena : R 7 R como (t) = tk (Bdk ) (Bdk ) = f (x1 ) dk + tk dk Adk
f (xk + tdk ) , ou seja, a restrio da funo f reta Finalmente, tem-se o algoritmo para este mtodo.
3.4. ALGORITMO DE HESTENES-STIEFEL 5

3.4.1 Exemplos
Considere f : R2[7 R ][
denida 1 2
] por f (x, y) = 2 (x +
[ ] 1 0 x
y 2 ) = 21 x y . Em outros termos, to-
[ ]0 1 y
x 1
mando u = , tem-se f (u) = 2 u Au , onde
] y
x
[
1 0
A= = I22 .
0 1
Pode-se aplicar o mtodo de direes conjugadas ao se-
guinte problema

{
minf (u)
(P )
u R2
[ ]
0
Note, desde j, que o conjunto soluo S = { }.
0

Inicio
[ ]
2
Toma-se x0 arbitrrio, por exemplo, x0 = .
1
x0 Avalia-se o gradiente da funo f neste ponto ini-
cial: f (x0 ) = Ax0 = I22 x0 = x0

Uma comparao da convergncia do mtodo de descida do Iterao 1


gradiente com tamanho de passo timo (em verde) e o mtodo ] [
do gradiente conjugado (em vermelho) para a minimizao da 2
forma quadrtica com um sistema linear dado. O gradiente con- d0 = f (x0 ) =
1
jugado, assumindo aritmtica exata, converge em no mximo n
passos onde n o tamanho da matriz do sistema (no exemplo, f (x0 )2
t0 = d
=1 = 5
5
n=2). 0 Ad0
[ ] [ ] [ ]
2 2 0
x1 = x0 + t0 d0 = +1 =
3.4 Algoritmo de Hestenes-Stiefel 1 1 0

A seguir, verica-se se o gradiente se anula no novo ponto


Primeiro passo: Escolha x0 Rn Se f (x0 ) = 0 , en- x :
1
to pare: x = x0 Seno: d0 = f (x0 ) = Ax0 a
[ ] [ ]
Calcular t0 = f
2
(x0 )
d
x1 = x0 + t0 d0 Passo ite- 0 0
0 Ad0 f (x 1 ) = A =
rativo k : Dado xk Rn Se f (xk ) = 0 , ento 0 0
f (xk ) Adk
= xk Seno: dk = f (xk ) + d Ad
pare: x dk
2 f (xk )2
k k
Como o gradiente j nulo, no preciso fazer a segunda
tk = d Ad xk+1 = xk + tk dk iterao, e o ponto x1 o (nico) minimizador global de
k k

Pode-se vericar facilmente que d


k+1 d . De fato, f .
k
f (xk+1 ) Adk Em um caso mais geral, considerando f : R[2 7 R][ de-
como dk+1 = f (xk+1 ) + d
dk , tem- ]
k Adk [ ] 0 x
f (xk+1 ) Adk 2 2 1
nida por f (x, y) = 2 (x + y ) = 2 x y
se Adk+1 = Af (xk+1 ) + d
Adk 0 y
k Adk
. Logo, d k Adk+1 = f (xk+1 ) Adk + , tem-se clculos muito parecidos em cada passo.
f (xk+1 ) Adk
[ ]
dk Adk = f (xk+1 ) Adk + 0
d Ad
k k O conjunto soluo continua sendo S = { }.
f (xk+1 ) Adk = 0 . 0

Inicio
Exerccio
Considere
[ ] x0 como no primeiro exemplo, ou seja,
Provar que se y = Bx ento y1 y2 = yk+1 y2 + 2
k 2 x0 = .
i=1 ti i .
2
1
6 CAPTULO 3. MTODO DE GRADIENTES CONJUGADOS

[ ]
Avalia-se o gradiente da funo f neste ponto ini- Iterao 1 d = f (x ) = 0
cial: f (x0 ) = Ax0 = x0
0 0
30
[ ]
0 30 2
Iterao 1 t0 = =
[ ] 2 1 0
0 30
[ ] 1 2 30
2 900 900 1
d0 = f (x0 ) = [ ] 30
= 1800= 2
1 0 30
60
f (x0 )
2 2
t0 = d
= 5
53 = 1

0 Ad0
Feitos esses clculos, o prximo ponto dado por
] [[ ] [ ]
2 2 0
x1 = x0 + 1 d0 = +1 =
0 [ ] [ ] [ ] [ ] [ ]
10 1 0 10 0 10
x1 = x0 +t0 d0 = + = + =
20 2 30 20 15 5
A seguir, verica-se se o gradiente se anula no novo ponto
x1 : Para saber se ser necessria uma nova iterao, ou se
o minimizador foi encontrado, calcula-se o gradiente da
[ ] [ ] [ ]
0 0 0 funo no ponto:
f (x1 ) = A = =
0 0 0
[ ][ ] [ ] [ ]
2 1 10 15 0
Novamente, o gradiente se anula j na primeira iterao, f (x1 ) = = =
1 2 5 0 0
de modo que x1 o minimizador global de f .
Novamente, ser preciso calcular uma nova direo e um
Exerccio novo comprimento de passo:
] [ [ ] [ ]
15 0 15
Seja A R nn
uma matriz simtrica denida positiva, Iterao 2 d0 = + =
0 30 30
cujos autovalores so todos iguais. Ento comeando de
qualquer ponto x0 = 0 , o mtodo fornece xn1 como
onde , no algoritmo de Hestenes dado por:
soluo.
Um
[ terceiro] exemplo pode ser dado tomando A = [ ][ ] [ ]
2 1 [ ] 2 1 0 [ ] 30
e f : R2 7 R denida por f (u) = 12 u Au 15 0 15 0
1 2 1 2 30 60 15 30
= [ ][ ]= [ ]=
. Observe que tal matriz simtrica e denida positiva: [ ] 2 1 0 [ ] 30 (30) (60
0 30 0 30
1 2 30 60
Portanto
det(AI) = (2)(3)1 = 2 43 = (3)(1)

Logo, os autovalores de A so = 1 e = 3 . Isso [ ]


1
tambm implica que a funo fortemente convexa. d0 = 15
1/2
Aplicando o mtodo:
Alm disso, o tamanho do passo dado por
Incio
f (x1 )2 152 1
t1 = = [ ][ ] = [ ]=
Toma-se d [ ] 2 1 [ ] 3/2
[ um
] ponto arbitrrio no plano, por exemplo 0 Ad0
152 1 1/2
1
1 1/2
10 1 2 1/2 0
x0 = ;
20
Portanto
Verica-se se tal ponto o minimizador global, ava-
liando nele o gradiente da funo: [ ] [ ] [ ] [ ] [ ]
10 2 1 10 1 0
[ ][ ] [ ] [ ] x2 = x1 +t1 d1 = 15 = 10 =
5 3 1/2 5 1/2 0
2 1 10 0 0
f (x0 ) = = =
1 2 20 30 0 Obviamente, este o minimizador procurado (pois o m-
todo tem a propriedade de convergncia quadrtica, ou
J que o gradiente no se anulou no chute inicial, seja utiliza no mximo n iteraes para chegar a soluo
preciso escolher uma direo e um comprimento de quando aplicado a funes quadrticas denidas em Rn
passo para determinar a prxima aproximao: )
3.6. ALGORITMO DE POLAK-RIBIRE 7

Exerccio Primeiro passo: Escolha x0 Rn Se f (x0 ) = 0


, ento pare: x = x0 Seno: d0 = f (x0 ) (como
Implementar o algoritmo de Hestenes-Stiefel em alguma em todo mtodo de descida) Calcular t0 , atravs de
linguagem de programao, por exemplo em Scilab, ou uma busca linear x 1 = x0 + t0 d0 Passo iterativo: Se

Matlab. f (x k ) = 0 , ento pare: x


= xk Seno: dk =
f (xk )2
f (xk ) + f (xk1 )2 dk1 Calcular tk , atravs de
Exerccio uma busca linear xk+1 = xk + tk dk k = k + 1

Seja f um funo quadrtica fortemente convexa. Veri-


que as seguintes igualdades: 3.6 Algoritmo de Polak-Ribire

f (xk ) dk f (xk )2 Uma outra verso a seguinte:


d
= d
k Adk k Adk
Primeiro passo: Tomar x0 Rn Se f (x0 ) = 0 ,
f (xk ) Adk1 f (xk )2 ento pare: x = x0 Seno: d0 = f (x0 ) (como
d
= f (xk1 )2 em todo mtodo de descida) Calcular t0 , atravs de
k1 Adk1

uma busca linear x1 = x0 + t0 d0 k = 1 Passo


f (xk ) Adk f (xk ) (f (xk )f (xk1 ))
d
= f (xk1 )2
iterativo: Se f (xk ) = 0 , ento pare: x = xk Seno:
k1 Adk1
f (xk ) (f (xk )f (xk1 ))
dk = f (xk )+ f (xk1 )2 dk1 Cal-
cular tk , atravs de uma busca linear xk+1 = xk + tk dk
3.4.2 Implementao em Scilab k =k+1

Abaixo apresentada uma implementao deste algo-


ritmo na linguagem de programao utilizada pelo Scilab. Exerccio
A = [2 1; 1 2]; function [x] =
min_gradiente_conjugado(xk) //Entrada: xk em Vericar que, no caso de uma funo f quadrtica e for-
R^n, qualquer chute inicial // Sada: x, o ponto em temente convexa, os algoritmos de Hestenes-Stiefel, de
que f assume o valor mnimo k = 0 //Indica quantos Fletcher-Reeves e de Polak-Ribire so os mesmos.
loops j foram feitos epsilon = 0.01 n = size(xk,1)
g = df(xk) seq = zeros(n,n+1) seq(:,1) = xk while Exerccio
(norm(g) > epsilon) & (k <= n) if (k == 0) d = -g else
d = Hestenes(g,d,A) end t = busca_linear(g,d,A) xk x x
= xk + t*d k = k+1 seq(:,k+1) = xk g = df(xk) end Seja f (x) = e + e . Implemente o mtodo de gradi-
plot(seq(1,:),seq(2,:)) x = xk endfunction function [fu] entes conjugados, e utilize o algoritmo para determinar
= f(u) fu=(1/2)*(u'*A*u) endfunction function [grf] o ponto de mnimo da funo f . Note que o espao
= df(u) grf = A*u endfunction function [d] = Heste- unidimensional, ento o mtodo de gradientes conju-
nes(g,d,A) d=-g + ((g'*A*d)/(d'*A*d))*d endfunction gados reduz-se ao mtodo dos gradientes, com primeira
function [t] = busca_linear(g,d,A) t=(g'*g)/(d'*A*d) direo f (x0 ) . Observe ainda que f uma funo
endfunction coerciva fortemente convexa.

Para facilitar a compreenso do mtodo, pode ser til exi-


bir as curvas de nvel da funo. Uma forma de imple- 3.7 Algoritmo auxiliar
mentar uma funo com esse propsito a seguinte:
Para o caso de funes no quadrticas, preciso usar
function plotar_curvas qtd=101 tam=max(seq)
algum mtodo de busca linear para a implementao
x=linspace(-tam,tam,qtd) y=x z=zeros(qtd,qtd) for
do mtodo dos gradientes conjugados, seja a verso de
i=1:qtd for j=1:qtd z(i,j)=f([x(i);y(j)]) end end con-
Fletcher-Reeves ou a de Polak-Ribire. Uma possibili-
tour2d(x,y,z,10) a=gca(); a.x_location = middle";
dade a busca de linear de Armijo (ver Izmailov & So-
a.y_location = middle"; endfunction
lodov (2007), vol 2, pag. 65), cujo algoritmo esboado
a seguir:
function busca_linear_Armijo (f, theta, alpha, delta, t0)
while (alpha * pred > ared) t = d * t end endfunction
3.5 Algoritmo de Fletcher-Reeves
Esta verso na verdade uma extenso do algoritmo an- com:
terior, permitindo a aplicao no caso de funes que no
so quadrticas. pred = t
8 CAPTULO 3. MTODO DE GRADIENTES CONJUGADOS

(t) = f (x + td)

(t) = f (x + td) d
Captulo 4

Mtodos de Penalidades
{
Os mtodos que recebem este nome fazem parte de uma (P D) minf (x) + IC (x)
famlia de mtodos baseados em: x Rn
Considerando iC : R 7 R {} denida por:
Simplicidade conceitual;
Ecincia prtica; {
0, se t 0
iC (t) =
Algumas das primeiras funes de penalidade foram de- , se t > 0
senvolvidas por: Tem-se ainda o problema (PP), dado por:
{ p p
minf (x) + i=1 i(gi (x)) + j=1 i(hj (x))
Courant (1943) (P P )
x Rn
Ablate Brighham (1955) (qual o artigo?) Comentrios:
AV Fiacco, GP McCormick (1968) (qual o artigo?)
A grande vantagem desta idia que ela transforma
Para compreender este tipo de mtodo, ser considerado um problema com restries em um problema irres-
o seguinte problema: trito.

minf (x) A principal desvantagem que a funo denida
(P ) gi (x) 0i = 1, . . . , p a seguir descontnua em cada ponto x C :

hj (x) = 0j = 1, . . . , q
: Rn 7 R {}
Adicionalmente, se for considerado o conjunto de pontos
C = {x Rn : gi (x) 0, i = 1, . . . , p; hj (x) = p p

0, j = 1, . . . , q} , o problema (P) se escreve ainda como (x) = f (x) + i(gi (x)) + i(hj (x))
{ i=1 j=1
minf (x)
(P )
xC
Uma primeira idia para a resoluo desse tipo de pro- 4.1 Mtodo de penalidade exterior
blema fazer uso de funes indicadoras, conforme
denido a seguir: Para contornar a desvantagem da descontinuidade da fun-
o apresentada anteriormente, surgem outras funes,
Denio como por exemplo:

Dado um conjunto no vazio C Rn , dene-se a funo


indicadora IC : Rn 7 R {} por: H : R 7 R
{
0, se t 0
{ H(t) = 2
t , se t > 0
0, se x C
IC (x) =
, se x C Denio
Notas: A funo indicadora IC s vezes denotada por Dada uma funo g : A 7 R , denida em um conjunto
C . arbitrrio A , dene-se a parte positiva de g , como:
Para transformar um conjunto (P) em um problema sem
restries, pode-se proceder da seguinte maneira: Consi-
derar o problema (PD), dado por: g + (x) = max{0, g(x)}

9
10 CAPTULO 4. MTODOS DE PENALIDADES

H do conceito anterior, no contexto dos mtodos de penali-


4 H(t) dade.

3 Exerccio

Verique que uma funo coerciva se, e somente se,


2
L () = {x Rn : (x) } limitado para todo
R.
1
Exerccio
t
Verique que H : Rn 7 R denida por H(x) =
-2 -1 1 2 3 p ( + )2 q 2
i=1 gi (x) + j=1 (hj (x)) uma funo de pe-
-1 nalidade exterior, onde conforme anteriormente, gi+ a
parte positiva de gi .
Grco de uma funo de penalidade
Exerccio

Exerccio
Verique que se g : Rn 7 R uma funo contnua
Rn tal que g(
coerciva, ento existe x x) g(x), x
Verique que para cada x Rn tem-se, para cada i , a
( )2 R .
n
igualdade H(gi (x)) = gi+ (x) , onde gi+ a parte po-
sitiva de gi e H a funo denida no exemplo anterior.
4.1.1 Alguns conceitos da topologia
Exerccio
Em algumas situaes, interessante ter em mente que
) x R tem-se,
Verique que( para cada n
para cada j , a certos conceitos denidos no contexto da Otimizao so,
2
2
igualdade H hj (x) = (hj (x)) . na verdade, instanciaes de conceitos mais gerais, mui-
tos deles provenientes da topologia. Alguns exemplos so
A idia de aplicar penalizaes aos pontos que no per-
apresentados a seguir.
tencem ao conjunto vivel formalizada na seguinte de-
nio:
Denio
Denio
Dado um conjunto X , uma coleo P de subcon-
Seja H : R 7 R . A funo H chamada de funo de
n juntos de X chamada de topologia se:
penalidade exterior se possui as seguintes propriedades:
, X
H(x) 0, x Rn
{Ai }iI iI Ai
H(x) = 0, x C p
{Bi }i=1 pi=1 Bi
H contnua
Exemplos
Nota: Lembre-se que C = {x Rn : gi (x) 0, i =
1, . . . , p; hj (x) = 0, j = 1, . . . , q} o conjunto vivel Topologia euclidiana:
do problema (P).
Em particular, as funes H gi so funes de penali- X = R
dade exterior.
= 1 = {}{X}{A R : x A, x > 0, (x x , x + x ) A}
Denio Em outras palavras, a topologia euclideana a coleo
de todos os conjuntos abertos contidos em R . Pode-se
Seja : Rn 7 R . A funo dita coerciva se vericar com facilidade que de fato so satizfeitas as trs
limx (x) = + propriedades que denem uma topologia.
Nota: Conforme o Wikcionrio, o termo coercivo signi- Outro exemplo muito comum o seguinte:
ca: que coage; que reprime; que impe pena; coerci-
tivo. Nesse sentido, esse um termo adequado ao tratar Topologia euclideana estendida:
4.1. MTODO DE PENALIDADE EXTERIOR 11

X = R {} 1. H uma funo de penalidade exterior


= 1 {A R {} : a R, A = ]a, ]} 2. m >
Em geral, a noo de limite seria caracterizada topologi-
camente da seguinte forma: 3. (x, r) = f (x), x C, r > 0

4. Se 0 < r < s ento m(s) < m(r)


Denio
5. Se f, gi , hj so covexas, ento convexa.
limn xn = a I x, n0 N, n n0
xn I 6. Se f, gi , hj so diferenciveis, ento dife-
rencivel em x , e
x (x, r) = f (x) +

p + q
i=1 gi (x)g i (x) + j=1 hj (x)hj (x)
4.1.2 De volta ao mtodo
7. Se 0 < rk+1 < rk e limk rk = 0 e se {xk }
Uma vez apresentados os conceitos iniciais, pode-se pro- uma sequncia tal que (xk , rk ) = m(rk ) e
var o seguinte teorema: limk xk = x ento x
soluo de (P).

Teorema
4.1.3 Algoritmo de penalidade exterior
Considere:
Primeiro passo: Escolha x0 Rn , r > 0 e k = 1
H : Rn 7 R uma funo de penalidade exterior; Passo iterativo
{ k : Calcular xk = x
(rk ) , soluo glo-
1
min (x, rk ) = f (x) + 2r H(x)
bal de (P ) Esco-
f : R 7 R uma funo contnua; x Rn
lha rk tal que 0 < rk < rk1
C = {x Rn : gi (x) 0, i =
1, . . . , p; hj (x) = 0, j = 1, . . . , q} um conjunto Nota: Neste algoritmo, H uma funo de penalidade
fechado; exterior.

{rk } uma sequncia de termos positivos tal que


Exerccio
limk rk = 0 .

Suponha que vlida uma das seguintes propriedades: Sejam f (x, y) = x2 + y 2 e C = {(x, y) R2 : x
0; y{ 0; x + y 1 0} . Considere o problema:
1. f coerciva. min f (x, y)
(P ) Utilize o mtodo de penalidade ex-
(x, y) Rn
2. C limitado e H coerciva. terior para determinar o ponto de mnimo da funo f
sobre o conjunto C .
(rk ) arg min{f (x) +
Se, para cada k , for escolhido x
1
rk H(x)} ,ento:
4.1.4 Implementao do algoritmo de pe-
1. {
x(rk )} possui algum ponto de acumulao; nalidade exterior em SciLab
2. Todo ponto de acumulao de {
x(rk )} soluo do
Considerando o problema
problema (P);
3. limk H(
x(rk )) = 0 .
minf (x)
Exerccio (P ) gi (x) 0i = 1, . . . , p

hj (x) = 0j = 1, . . . , q
Dado o problema (P), considere m =
inf {f (x) : gi (x) 0, i e hj = 0, j} (isso no com f uma funo quadrtica, A simtrica positiva de-
quer dizer que o problema tenha soluo). suponha- nida, gi , hj lineares, e a funo de penalidade, H , dada
se que f, g e h so funes contnuas e que por:
C = {x : gi (x) 0, i; hj (x) = 0, j} seja no
vazio, ou seja, que C factvel. TomeH : Rn 7 R
como H(x) =
p + 2 q 2
p
q
i=1 [gi (x)] + j=1 [hj (x)] , H(x) = (gi+ (x, y))2 + (hj (x, y))2
+
onde gi denota a parte positiva de gi , como de cos- i=1 j=1
tume. Considere ainda : Rn R+ 7 R dada por
(x, r) = f (x) + 1r H(x) e, para cada r > 0 , seja Pode-se usar o mtodo dos gradientes conjugados para
m(r) = infxRn (x, r) Nessas condies, provar que: resolver o seguinte problema:
12 CAPTULO 4. MTODOS DE PENALIDADES

Se diz que uma funo B : C 0 7 R uma funo de


{ barreira se ela possui as seguintes propriedades:
minf (x) + H(x)
(P )
x Rn
1. B limitada inferiormente em C .
onde f + H ter sua matriz Hessiana denida positiva.
2. Para qualquer sequncia {xn } C 0 tal que
limn xn = x C vale limn B(xn ) =
+
4.2 Mtodo de penalidade interior
3. B contnua
Este mtodo tambm conhecido como mtodo de bar-
reira. Ele consiste em trabalhar com funes de penali- 4.2.2 Algoritmo de barreira
dade tais que x C e qualquer que seja a sequncia
{xn } C = {x : gi (x) < 0} para a qual xn x , se Primeiro passo: Escolha x C 0 , r > 0 e t > 0
0 0
tem que a funo de penalidade tende a + . Passo iterativo k : Calcular x = x
(t ) , soluo
{ k+1 k
Mas como conseguir esse tipo de funo? min f (x) + tk B(x)
global de (P ) Escolha tk+1 tal que
x C0
0 < tk+1 < tk
4.2.1 Exemplos Observao: Neste mtodo os termos da sequncia {xn }
esto sempre em C 0 .
Considere o caso em que gi (x) = a
i x bi . Lembrando
que a funo logartmica tem a propriedade:
4.2.3 Implementao do algoritmo de bar-
reira em SciLab
lim ln(x) = +
x0+
p Considerando o problema

pode-se tomar H1 (x) = i=1 ln(bi ai x) , pois
{
minf (x)
lim ln(bi a gi (x) 0i = 1, . . . , p
i x) = +
a
i xbi
pode-se usar o mtodo de barreira no conjunto:
implica que

C = {x Rn : gi (x) 0}
lim H1 (x) = +
xC Pode-se usar qualquer das funes de penalidade interior
apresentadas, por exemplo:
Analogamente, tem-se

1
p
1
lim+ = + B(x) =
x0 x i=1
gi (x)

ento, umaoutra funo com a propriedade desejada ou ainda


p 1
H2 (x) = i=1 bi a x .
i

O problema a ser resolvido quando se quer aplicar o m-


p
todo de barreira o seguinte: B(x) = ln(gi (x))
i=1
{ Como C 0 = {x Rn : gi (x) < 0} , o problema passa
min f (x)
(P ) a ser:
gi (x) 0; i = 1, . . . , p

onde C = {x : gi (x) 0, i} tal que C 0 = {x : {


gi (x) < 0, i} = minf (x) + B(x)
x C0
Observao: C 0 no necessariamente igual ao interior
do conjunto C . Por exemplo: Observao: Note que necessrio conhecer um ponto
inicial x0 C 0 , para servir de primeira aproximao,
Denio ou ponto de partida para o algoritmo.
Captulo 5

Mtodos de Regio de Conana

Considere o seguinte problema de programao diferen- A busca de Armijo consiste em tomar t > 0 .
civel no linear sem restries:
Se f (x+td)f
t
(x)
> (0) > (0)
{ Mas como (0) = limt0 f (x+td)f
t
(x)
, ento existe
min f (x)
(P ) algum t > 0 tal que vale f (x+td)f (x)
(0) . A tal
x Rn t
ponto, chama-se ponto de Armijo.
onde f : Rn 7 R de classe C 2 (Rn ) .
Observao: Como f no necessariamente convexa, a
matriz 2 f (x) pode no ser denida positiva, apesar de
ser simtrica. Neste caso, o mtodo de Newton ou suas
variantes (direes conjugadas, quase Newton, etc) no
servem.
O primeiro mtodo de regio de conana (em ingls,
Trust region method), foi introduzido por Powel em 1970
(qual artigo?) mas ocialmente introduzido por Dennis
em 1978 (artigo?). Ele consiste no seguinte:

A cada iterao, se constri um modelo qua-


drtico e uma regio de conana

este princpio pode ser considerado como uma extenso


da busca de Armijo unidimensional.
Introduzindo as seguinte notao

5.1 Breve reviso da busca de Ar-


mijo
a pergunta :
Para entender a geometria do mtodo de regio de con-
ana, bom lembrar a geometria da busca de Armijo Quando um ponto t vai ser ponto de Armijo
unidimensional. com essa notao?
Seja d uma direo de descida de uma funo f a partir
do ponto x . Ento f (x) d < 0 . Agora, considerando Tem-se:
: R 7 R , denida por (t) = f (x + td) , tem-se:

(t) = f (x + td) d . Assim, (0) = pred = t (0) f (x) f (x + td) = ared


f (x) d < 0 . Se (0, 1) , ento
(0) < (0) < 0 . Logo, se pred ared segue que t um ponto de
Armijo.
Exerccio Observaes: Note que a essncia da busca linear de Ar-
f (x+td)f (x)
mijo construir um modelo linear e um intervalo com-
Mostrar que sempre existe t > 0 tal que t = pacto [0, t] , sendo t > 0 e o ponto inicial da busca e logo
(t)(0)
t0 (0) . procurar o ponto de Armijo em [0, t] .

13
14 CAPTULO 5. MTODOS DE REGIO DE CONFIANA

5.2 De volta ao mtodo com r > 0 .


Este o problema que ser tratado a seguir.
O mtodo de regio de conana ser uma generalizao
da busca de Armijo, consistindo da construo de um mo- Exerccio
delo quadrtico e uma regio R , chamada de regio de
conana, e nessa regio calcular o novo iterando.
Provar que (P Q) sempre tem soluo.
O exerccio anterior garante que o mtodo est bem de-
5.2.1 Algoritmo da regio de conana nido, quer dizer, todas as etapas podem ser realizadas.

Primeiro passo: Escolha x0 Rn , r > 0 , (0, 1)


, (0, 1) e k = 0 . Passo iterativo k : En-
quanto f (xk ) = 0 , construa o modelo quadrtico:
mk (h) {= f (xk ) h + 12 h Hk h Calcule d , soluo
min mk (h)
de (P ) Tome ared = f (xk ) f (xk + d)
h r
e pred = mk (d) Se ared
pred > , fazer xk+1 = xk + d
Seno xk+1 = xk , r = r e k = k + 1
Comentrios: No algoritmo anterior, quando se tem um
passo falho, a regio de conana sempre diminui. Seria
bom incluir casos bons, onde a regio deve crescer.

5.2.2 Algoritmo da regio de conana me-


lhorado
Primeiro passo: Escolha x0 Rn , r > 0 , 0 < <
< 1 , (0, 1) , 2 > 1 , (0, 1) e k = 0 .
Passo iterativo k : Enquanto f (xk ) > , construa
o modelo quadrtico: mk (h) = f (xk ) h + 12 h Hk h
Continue{ = 1 Enquanto (Continue = 1) Calcule d , soluo
min mk (h)
de (P ) Tome ared = f (xk )f (xk +d) e
h r
pred = mk (d) Se ared
pred > , fazer xk+1 = xk + d Se
r > , r = 2 r ; Continue = 0 k = k+1 Seno r = 1 r

5.3 O subproblema quadrtico


Conforme foi explicado, o mtodo das regies de con-
ana constri um modelo quadrtico da forma:

1
m(h) = g h + h Hh
2
onde, no mtodo, g = f (xk ) e H = Hk . Em tal
modelo, tem-se

g um vetor no nulo;
h uma matriz simtrica (que pode no ser denida
positiva)

O problema quadrtico

{
min m(h)
(P Q)
h r
Captulo 6

O Problema de Mnimos Quadrados

Este tipo de problema muito frequente em cincias ex- Note que a partir dessas equaes poderiam ser denidas
perimentais. Para ter um exemplo em mente durante a as funes hi como:
discusso que ser feita mais adiante, considere as seguin-
tes informaes:
h1 (m, n) = 2002m + n 17734
Segundo dados disponibilizados pelo IBGE, o Produto h2 (m, n) = 2003m + n 19669
Interno Bruto per capita na cidade de So Paulo, no h3 (m, n) = 2004m + n 20943
perodo de 2002 a 2005, foi (em reais): 17734, 19669,
h4 (m, n) = 2005m + n 24083
20943 e 24083, respectivamente.
de se esperar que o sistema de equaes obtido a pouco
no admitir uma soluo exata, pois se tem mais equa-
Com base nessas informaes, como poderia ser feita
es do que variveis.
uma previso do valor correspondente ao ano seguinte
(2006)? Isso geralmente acontece, pois comum haver uma quan-
tidade p de equaes bem maior que o nmero n de
Uma escolha possvel seria supor que a cada ano o PIB
parmetros a identicar. Em particular, quando todas
aumenta uma aproximadamente constante, ou seja, usar
as equaes hi so lineares em suas n variveis, dicil-
um modelo linear para obter tal estimativa (que possivel-
mente existir uma soluo exata para o sistema linear
mente ser bem grosseira). Intuitivamente, bastaria ana-
resultante, pois este ter mais equaes do que incgnitas
lisar os dados disponveis e a partir deles deduzir qual
(como no exemplo). Em geral, no possvel encontrar
o aumento que ocorre a cada ano. Depois, a previ-
parmetros que satisfaam exatamente todas as equaes.
so para 2006 seria aproximadamente igual de 2005
Por isso, costuma-se tentar identicar os parmetros que
somada com aquele aumento anual.
melhor se aproximam de uma soluo exata, em algum
Esta idia poderia at funcionar para o caso deste exem- sentido.
plo, mas o que fazer se a quantidade de dados disponveis
Uma forma de obter uma soluo aproximada (uma
sobre algum fenmeno (ou alguma situao) for signica-
quase-soluo) resulta da seguinte observao: o va-
tivamente maior?
lor de cada funo hi em uma soluo exata x deveria
A melhor escolha, sem dvida, fazer uso de um compu- ser zero. Se tal exigncia restritiva demais, e com ela
tador para obter o modelo que melhor descreve o com- no possvel encontrar qualquer soluo, uma possibili-
portamento dos dados experimentais. dade seria exigir um pouco menos. Por exemplo, poderia
Em geral, os problemas de mnimos quadrados consistem ser exigido apenas que o valor de hi , para i = 1, . . . , p
em identicar os valores de determinados parmetros, de seja, em geral, pequeno. Uma das formas de capturar essa
modo que se satisfaam certas equaes hi (x) = 0, i = idia em termos mais precisos dizer que se pretende mi-
1, . . . , p . No contexto do exemplo anterior, se procura nimizar a soma dos quadrados dos valores de cada hi .
um modelo linear para os dados, ou seja, uma funo y = Em smbolos, o problema passaria a ser:
mx+n que os descreva da melhor forma possvel. Assim,
os parmetros a considerar so m e n . Os valores ideais
p
2
para essas variveis seriam aqueles que vericassem as minn [hi (x)]
xR
seguintes equaes: i=1

6.1 O caso linear

2002m + n = 17734

2003m + n = 19669
2004m +n = 20943 Neste caso, para cada ndice i = 1, . . . , p , a funo hi

2005m + n = 24083 am linear, ou seja:

15
16 CAPTULO 6. O PROBLEMA DE MNIMOS QUADRADOS

hi : Rn 7 R 0 = f (x) = A Ax + A b

hi (x) = a
i x + bi Deste modo, a soluo do problema obtida resolvendo
o sistema
onde ai R e bi R para cada i = 1, . . . , p . Deste
n

modo, pode-se denir uma funo H como

A Ax = A b
H : Rn 7 Rp Observe tambm que isso implica A (Ax + b) = 0 , ou
seja, Ax + b ker(A ) .
h1 (x) a1 x + b1 a1 b1
.. .. ..
H(x) = ... = . .
= x + .
hp (x) a
p x + bp a
p bp 6.1.1 Exemplo de aplicao
Motivando a introduo da seguinte notao:
Considere dado um conjunto de pontos do plano R2 , por
exemplo {(xi , yi )}pi=1 , representando dados obtidos ex-
perimentalmente.
a1 b1

A = ... , b = ... Perguntas:
a
p bp
1. Qual a funo am linear que melhor se
Assim, aproxima dos dados experimentais?

2. Qual a funo quadrtica que melhor se


H(x) = Ax + b aproxima dos dados experimentais?

Logo, buscar uma soluo exata o mesmo que procurar Exerccio


uma soluo para o seguinte sistema linear:
Explorar o exemplo anterior com dados concretos, imple-
mentando um dos trs mtodos de gradientes conjugados.
Ax = b

E uma soluo aproximada poderia ser buscada a partir Observaes


do seguinte problema de minimizao:
Conforme se aumenta o grau do polinmio que faz a apro-
ximao dos dados, as colunas de A tm elementos ele-
1 vados a potncias cada vez maiores, fazendo com que os
min Ax + b2
xRn 2 autovalores de A A sejam cada vez mais dispersos. Com
isso, A A torna-se mal condicionada.
Exerccio
Exerccio
Verique que se houver uma
p soluo exata, ela tambm
2
ser um minimizador de i=1 [hi (x)] . A recproca
possvel, usando o problema de mnimos quadrados,
verdadeira?
vericar o postulado de Euclides que diz que por dois
Analisando a funo objetivo do problema de minimiza- pontos distintos passa uma nica reta"?
o anterior, tem-se:
Exerccio
1 1 1 1
f (x) = Ax+b2 = Ax+b, Ax+b = x A Ax+bUsando
Ax+o problema
b b de mnimos quadrados, possvel in-
2 2 2 2
ferir que por trs pontos distintos passa uma nica curva
Logo, como B = A A simtrica e semi-denida posi- quadrtica"?
tiva, tem-se f convexa. Isso implica que a condio ne-
cessria de primeira ordem tambm suciente. Assim,
qualquer ponto x Rn tal que f (x) = 0 soluo do 6.2 O caso no linear
problema aproximado.
Calculando o gradiente da funo objetivo tem-se: Para esse tipo de problemas, h dois mtodos:
6.2. O CASO NO LINEAR 17

1. Gauss-Newton Algoritmo de Newton (puro)

2. Levemberg-Marquardt Incio: Tome x0 Rn Se f (x0 ) = 0 , pare: x0 ponto


crtico. Seno, Calcule d0 , soluo de 2 f (x0 )d0 =
f (x0 ) Faa x1 = x0 + d0 e k = 1 Iterao: Se
Ambos so mtodos do tipo Newton. Ento, para enten- f (xk ) = 0 , pare: xk ponto crtico. Seno, calcular
der cada um deles preciso entender o Mtodo de New- dk , soluo de 2 f (xk )dk = f (xk ) Faa xk+1 =
ton. xk + dk e k = k + 1
Voltando ao problema original, de mnimos quadrados,
se tinha:
6.2.1 O mtodo de Newton

Para entender a essncia do mtodo de Newton, primeiro 1


p
2
considere que o problema a ser resolvido f (x) = [hi (x)]
2 i=1

{ Calculando o gradiente desta funo, resulta:


min f (x)
(P )
x Rn

p
p f (x) = hi (x)hi (x)
sendo hj : Rn R , e portanto f = 2 j=1 [hj ]2 de
1
i=1
classe C 2 (Rn ) . A idia de Newton usar o desenvolvi-
Considera-se H : Rn 7 Rp denida por
mento at segunda ordem da srie de Taylor da funo f
em cada ponto iterado. Isto , se o iterado x
, ento:

h1 (x)

H(x) = ...
1 2
Q(x) = f ( x)+f ( x) (x x)+ (x x) f ( x)(x x) hp (x)
2
Deste modo, a Jacobiana de H verica:
Ento a condio de Newton que em cada iterao a
Hessiana f deve ser denida positiva.
2

Calculando o gradiente da funo Q , segue: f (x) = [JH (x)] H(x)


pois o produto de uma matriz por um vetor tem como
resultado um vetor que a combinao linear das colunas
Q(x) = f (
x) + 2 f (
x)(x x
) da matriz, com coecientes que so as coordenadas do
vetor.
Se x o (nico) minimizador de Q , ento
Alm disso, tem-se

0 = Q(x ) = f ( x)(x x
x) + 2 f ( )
p
p
2 f (x) = hi (x)2 hi (x) + hi (x)hi (x)
i=1 i=1
donde
Seja

x)(x x
2 f ( ) = f (
x)
p
B(x) = hi (x)hi (x) = JH (x)JH (x)
Sendo f denida positiva, tal matriz tambm inver-
2 i=1
svel. Portanto: Sabe-se que uma matriz D denida positiva se xt Dx >
0 para qualquer x = 0 . Fazendo D = hi (x)hi (x)
, tem-se:
[ ]1
x = x 2 f (
x) f (x)
[ ]2
Assim, pode-se usar a seguinte iterao: x hi (x)hi (x) x = hi (x) x 0
Para que D seja denida positiva, necessrio que
[ ]1 SP (hi (x)) = Rn ( deve gerar todo o espao), neste
xk+1 = xk 2 f (xk ) f (xk ) caso, se diz que JH (x) de posto mximo.
18 CAPTULO 6. O PROBLEMA DE MNIMOS QUADRADOS

6.2.2 Algoritmo de Gauss-Newton


Incio: Tome x0 Rn Se f (x0 ) = 0 , pare: x0
ponto crtico. Seno, Calcule
dp0 , soluo de B(x0 )d0 =
f (x0 ) , onde B(x) = i=1 hi (x)hi (x) Faa
x1 = x0 + d0 e k = 1 Iterao: Se f (xk ) = 0 ,
pare: xk ponto crtico. Seno, calcular dk , soluo de
B(xk )dk = f (xk ) Faa xk+1 = xk +dk e k = k+1

6.2.3 Algoritmo de Levemberg-Marquardt


A idia de Levemberg-Marquardt foi perturbar a matriz
B(x) , considerando B(x) + I , para algum > 0
pequeno.
Incio: Tome x0 Rn Se f (x0 ) = 0 , pare:
x0 ponto crtico. Seno, Calcule d0 , solu-
o de (B(x
p 0 ) + I) d0 = f (x0 ) , onde

B(x) = i=1 h i (x)h i (x) Faa x1 = x0 + d0
e k = 1 Iterao: Se f (xk ) = 0 , pare: xk
ponto crtico. Seno, calcular dk , soluo de
(B(x0 ) + I) dk = f (xk ) Faa xk+1 = xk + dk e
k =k+1

Exerccio

Enumere as diferenas que existem nos seguintes algorit-


mos:

Newton
Gauss-Newton

Levenberg-Marquardt
Captulo 7

O Teorema de Karush, Kuhn e Tucker

Neste captulo o objetivo desenvolver algumas ideias e


provar o teorema de KarushKuhnTucker (tambm
chamado simplesmente de teorema KKT) que ser utili-
zado no captulo seguinte para explorar os mtodos duais.
O teorema KKT bem til para resolver problemas do
tipo


min f (x)
(P ) gi (x) 0; i = 1, . . . , p

hj (x) = 0; j = 1, . . . , q

7.1 Cones
Denio

Um conjunto C Rn um cone quando

d C td C, t R+ Exemplo de um cone no R2 .

Em outras palavras, a propriedade que caracteriza um


cone que este tipo de conjunto contm todos os mlti- a igualdade valesse. Mas ser que isso ocorre para algum
plos no nulos de qualquer de seus elementos. conjunto? A resposta sim e, conforme o prximo lema,
basta que C seja um cone convexo fechado.
Denio
Lema (Farkas)
Dado um subconjunto C R , o cone polar de C o
n

conjunto denido por Se C Rn um cone convexo fechado, ento C = (C )


.

C = {p Rn : p x 0, x C} Denio
Observaes:
Dado x C , se diz que d Rn uma direo vivel
C um cone: Se d C tem-se que d x em x , com respeito a C , quando existe > 0 tal que
0, x C . Logo, para qualquer t R+ , vale
(td) x = td x 0, x C . Disto segue que
td C , mostrando que C um cone.
x + td C, t [0, ]
Sempre se tem que C (C ) (Verique).
O conjunto de todas as direes viveis em x
Na segunda propriedade a igualdade pode no ocorrer , com respeito ao conjunto C , ser denotado
(exemplo?). Para o objetivo deste texto, o ideal seria que por VC (x) .

19
20 CAPTULO 7. O TEOREMA DE KARUSH, KUHN E TUCKER

Esse conjunto VC (x) o cone das direes viveis em x gj (x) (y+(1)w) = gj (x) y+(1)gj (x) w 0+(1
, com respeito a C .
Portanto y + (1 )w L(x, C) mostrando que
L(x, C) convexo.
Denio
Para mostrar que L(x, C) fechado, pode-se pegar uma
sequncia convergente (dk ) L(x, C) e mostrar que o
Uma direo d Rn uma direo de descida da fun-
ponto de acumulao dela esta em L(x, C) .
o f em x , se existe > 0 tal que
Tem-se que hi (x) dk = 0 e gj (x) dk 0, k
N.
Passando o limite com k , obtem-se
f (x + td) < f (x), t (0, ]

O conjunto das direes de descida ser deno-


tado por D(x) . 0 = lim hi (x) dk = hi (x) lim dk = hi (x) d
k k

0 lim gj (x) dk = gj (x) lim dk = gj (x) d


7.2 Caracterizao das direes de k k

Isso mostra que L(x, C) fechado.


descida
Lema (Caratheodory)
Lema
Sejam y1 , . . . , ym , w1 , . . . , wp Rn . Seja x Rn
Seja f : Rn R uma funo diferencivel em x Rn . com x = 0 e 1 , . . . , m , 1 , . . . , p escalares tais que
Ento j 0 j = 1, . . . , p e

1. f (x) d 0, d D(x) .

m
p

2. d R satisfaz f (x) d < 0 d D(x) .
n
x= i yi + j wj
i=1 j=1

Ento existem subconjuntos I {1, . . . , m} ,J


7.3 O cone vivel linearizado {1, . . . , p} e escalares i com i I e j j J tais
que
Denio


x = iI i yi + jJ j wj e os vetores
Dado x C = {x R ; gi (x) 0 e hj (x) = 0} , a
n
{yi }iI {wj }jJ so linearmente indepen-
desigualdade gi (x) 0 uma restrio ativa em x se dentes.
gi (x) = 0 .
Denio
Observaes
Dado um ponto x C , se dene o cone G(x) por
O conjunto formado pelos ndices das restries de
desigualdade ativas denotado por I(x) . Assim,

I(x) = {i : gi (x) = 0} q
G(x) = { i hi (x)+ j gj (x) : j 0, j I(x)}
i=1 jI(x)
Denio
A seguir, sero mostradas algumas propriedades deste
Dado um ponto x C e o conjunto I(x) , se dene o
cone.
cone vivel linearizado de C a partir de x como
Lema
L(x, C) = {d R : gj (x) d 0, j I(x) e hi (x) d = 0, i = 1, . . . , q}
n
Para qualquer x C , G(x) um cone convexo e fe-
L(x, C) um cone no-vazio convexo e fechado pois, chado.
0 L(x, C) . E se y, w L(x, C) , tem-se
Lema

hi (x) (y+(1)w) = hi (x) y+(1)hi (x)Para


w =qualquer x C=, 0G(x) = L(x, C) .
0+(1)0
7.5. TEOREMA KKT 21

7.4 O cone tangente 1. T (a, C) L(a, C) .

2. Se C = {(x, y) R2 ; x2 + y 0; x2 y 0}
Denio
e a = (0, 0) , ento T (a, C) = L(a, C) .

Um vetor d Rn chamado direo tangente em C a


Lema
partir de x C quando ou d = 0 ou (xk ) C tal
que
Se a C um mnimo local do problema (P), ento
f (a) d 0, d T (a, C) .
xk x e xxk x
k

x
d
d .

Observaes
7.5 Teorema KKT
O conjunto de todas as direes tangentes no ponto
Teorema (Condies de KKT)
x C , denominado cone tangente, e denotado
por T (x, C) .
Seja C = {x Rn ; gi (x) 0 e hj (x) = 0} e considere
Se a C , ento T (a, C) tambm pode ser descrito a C um minimizador local do problema
como
{
T (a, C) = {d ; {dk } com dk d; {tk } com tk 0 que min
tais x = a + tk dk C, k}
f (x)
(P )
xC
Exerccio
Se T (a, C) = L(a, C) , ento existem u Rp e v
Verique que T (a, C) de fato um cone (e portanto me- R tais que:
q

rece ser chamado de cone tangente).


p q
1. f (a) = i=1 ui gi (a) + j=1 vj hj (a)
Exemplo de cone tangente 2. ui 0, i = 1, . . . , p

Determinar o cone tangente ao ponto a = (0, 0) do qua- 3. ui gi (a) = 0, i = 1, . . . , p .


drado unitrio com vrtices (0, 0) , (0, 1) , (1, 1) e
(1, 0) .

Propriedades do cone tangente

O cone tangente denido anteriormente tem as seguintes


propriedades:

1. T (a, C) fechado e 0 T (a, C)


2. Se C D ento T (a, C) T (a, D)
3. Se V uma vizinhana de a , ento T (a, C) =
T (a, V C)

Observao

A terceira propriedade indica que o cone tangente s de-


pende do que ocorre bem perto de a , no conjunto C .

Lema

Para qualquer x C , T (x, C) fechado.

Exerccio

Vericar que:
Captulo 8

Mtodos Duais

8.1 Lagrangiana 8.2 Condies de otimalidade


O conceito de lagrangiana est sempre relacionado ao se- Para permitir a compreenso da importncia da funo
guinte problema: lagrangiana em otimizao, preciso ter em mente os
principais resultados que garantem a otimalidade de uma
soluo para o problema (P ) . Nas prximas sees ser

min f (x) apresentado um breve resumo das condies de otimali-
(P ) gi (x) 0; i = 1, . . . , p dade, dividindo-as em dois casos:

hj (x) = 0; j = 1, . . . , q
Caso particular: quando C = {x Rn ; gi (x)
Denio 0 e hj (x) = 0} convexo e fechado.
Caso geral: quando C arbitrrio.
A funo lagrangiana associada ao problema (P )

8.2.1 Caso particular


l : R R R 7 R
n p q
Proposio

p
q
l(x, u, v) = f (x) + ui gi (x) + vj hj (x) Seja f funo de classe C 1 no conjunto C . Se x
um
i=1 j=1 minimizador local de f no conjunto convexo e fechado
C , ento:
Em alguns livros usada a seguinte notao:

f (x), x x
0, x C
G : Rn 7 Rp
Observao
g1 (x)

G(x) = ... A condio u, v 0 signica que os vetores u e v
gp (x) formam um ngulo reto ou agudo (menor ou igual a 90
graus), conforme indicado na gura a seguir:
e
No caso especco, com u = f e v = x x , u, v
a derivada direcional de f na direo x x . Quando
tal nmero no negativo, intuitivamente a funo cresce
H : Rn 7 Rq
naquela direo.

h1 (x) Quando C um conjunto convexo e fechado, a existn-

H(x) = ... cia de uma soluo para o problema (P ) garantida pela
hq (x) seguinte proposio:

Deste modo, a lagrangiana ca expressa por Proposio

C , f convexa e
Se x
l(x, u, v) = f (x) + u G(x) + v H(x)

que uma representao bem mais compacta. f (x), x x


0, x C

22
8.2. CONDIES DE OTIMALIDADE 23

8.2.2 Caso geral


Para tratar este caso, preciso utilizar o conceito de cone
tangente. O conjunto contnua o mesmo, ou seja, C =
{x Rn ; gi (x) 0 e hj (x) = 0} , embora no seja
mais suposto que ele convexo. Mesmo assim, C ainda
ser fechado, pois as funes gi e hj que o denem so
contnuas.

Teorema

1. Se x
um minimizador local de f em C , ento
f (
x), d 0, d T (
x, C) .
Em um ponto de mnimo, f sempre forma ngulo menor ou 2. Se C convexo, f convexa e f ( x), d
igual a 90 graus com os vetores do tipo x x , onde x
um 0, d T (x, C) , ento x
minimizador global
ponto de mnimo da funo no conjunto vivel C e x um ponto
de f em C .
qualquer deste conjunto.

Este teorema pode ser demonstrado de forma anloga a


ento x um minimizador global de f no conjunto C (isto que foi feita anteriormente.
, x
soluo de (P ) ). Seja C denido como:
At aqui, no exigido que qualquer das funes gi ou
hj sejam diferenciveis. Isto ser utilizado mais adiante,
nos algoritmos. C = Ca = {x Rn ; gi (x) 0, i I(a); hj (x) = 0}
A prxima proposio fornece uma caracterizao dos Pela segunda propriedade do cone tangente, tem-se:
minimizadores, em termos do conceito de projeo.
Lembre-se que a projeo de um ponto y sobre o conjunto
y ) , satisfaz P y, x P T (a, V C)
C , denotada por P = PC ( = T (a, C) = T (a, V C)

0, x C . Na verdade, vale:

T (a, C) = T (a, C)
Em outras palavras, se dado um conjunto C e depois
y ) P y, x P 0, x C
P = PC ( se restringe tal conjunto para C , atravs do acrscimo de
restries inativas em um ponto a , os cones tangentes aos
dois conjuntos (no ponto a ) coincidem.

Denio

Toda condio que implica que T (a, C) = L(a, C)


chamada de condio de qualicao das restries.
Observao: Tambm se pode dizer condies de re-
gularidade das restries (do ingls, Regularity condi-
tions).

O vetor P y forma ngulo menor que 90 graus com o vetor Exemplos de condies de qualicao das restries
x P , pois P a projeo de y sobre o conjunto C .
(1) Se gi e hi so funes am-lineares, ento para qual-
quer x C , tem-se T (x, C) = L(x, C) . Prova-se isso
Proposio trivialmente
(2) Condies de Slater: Se as funes gi so convexas e
Seja > 0 um nmero real xado. C tal que
as hi so am lineares e, alm disso, existe x
x) < 0 para todo i , hj (
gi ( x) = 0 , ento para qualquer
1. Se x
um minimizador local de f em C , ento x C , tem-se T (x, C) = L(x, C) .
x
= PC (x f (x))
(3) Condies de Mangasarian-Fromowitz: Se
2. Se f convexa e x x f (
= PC ( {hj (x)} linearmente independente e existe d
x)) , ento x
um minimizador global de f em C . = 0 para tpdp j e gi (x), d
tal que hj (x), d <0.
24 CAPTULO 8. MTODOS DUAIS

Teorema (KarushKuhnTucker) Supondo que f, gi e hj so de classe C 1 em uma vizi-


C e que T (
nhana de x x, C) = L( x, C) , se x
um
Suponha que f , gi e hj so funes de classe C em uma
1 minimizador local de f em C , ento
u R p
tal que
vizinhana do ponto x
e que T (
x, C) = L( x, C) . Se x

v R q
de modo que:
um minimizador local de f em C , ento existem u Rp
e v Rq tais que: 1. x l(
x, u
, v) = 0

p q 0
2. u
1. f (
x) + i=1 ui gi (
x) + j=1 vj hj (
x) = 0
3. u l( , v) 0
x, u
2. ui 0, i = 1, . . . , p
u l(
4. u x, u
, v) = 0
x) = 0, i = 1, . . . , q
3. ui gi (
5. v l(
x, u
, v) = 0

Note que aqui aparece a lagrangiana, pois a primeira con-


dio equivalente a:
8.3 Uma inequao sobre nmos e
supremos
x l(x, u, v) = 0
Teorema
O essencial para a existncia de l(u, v) que T (
x, C) =
x, C) .
L( Sejam X Rn e Y Rm dois subconjuntos arbitrrios
e considere uma aplicao K : X Y 7 R . Ento
Teorema

Suponha-se que f , gi e hj so funes de classe C 1 em yYsup inf K(x, y) inf sup K(x, y) +
xX xX yY
uma vizinhana de x , que f e gi so convexas e que hj
so am-lineares. so funes de classe C 1 . Se existem Exerccio
u Rp e v Rq tais que:

p q Verique que:
1. f (
x) + i=1 ui gi (
x) + j=1 vi hj (
x) = 0

2. ui 0, i = 1, . . . , p sup infn l(x, u, v) infn sup l(x, u, v) +


u0 xR xR u0
x) = 0, i = 1, . . . , p
3. ui gi ( vRq vRq

x) 0, i = 1, . . . , p
4. gi ( Dena-se a funo:

x) = 0, j = 1, . . . , q
5. hj (
: Rn 7 R {+}
A partir deste teorema so construdos alguns algoritmos.
(x) = sup l(x, u, v)
Considere o seguinte problema: u0
vRq

e tambm

min f (x)
gi (x) 0; i = 1, . . . , p

hj (x) = 0; j = 1, . . . , q : [0, +)p Rq 7 R {}

Sabe-se que l : Rn Rp Rq 7 R dada por (u, v) = infn l(x, u, v)


xR

Conforme o exerccio anterior, tem-se ento



p
q
l(x, u, v) = f (x) + ui gi (x) + vj hj (x)
i=1 j=1 sup (u, v) infn (x) +
u0 xR
Agora, tem-se as KKT: vRq

Observando a relao entre essas funes, natural con-


Teorema siderar dois problemas de otimizao:
8.4. PONTO DE SELA 25

Dado o problema (P ) e a lagrangiana l associada esse


{ problema, se diz que ( , v) um ponto de sela de l se
x, u
min (x)
(P r) 0 e:
u
x Rn
e
x, u, v) l(
l( , v) l(x, u
x, u , v), x Rn , u 0, v Rq

max (u, v)
Teorema
(D) u0

v Rq
O ponto ( , v) um ponto de sela de l se, e somente
x, u
Comentrios se:

1. As funes e so conhecidas na literatura como 1. x


soluo de (P r) ;
funes em dualidade (ou mais frequentemente,
funes duais); 2. (
u, v) soluo de (D) ;

2. O problema (P r) conhecido como problema pri- = .


3.
mal, enquanto (D) chamado de problema dual;
= infxRn (x) e = sup
3. Fazendo u0 (u, v) 8.4.1 Exemplos
vRq
, segue-se do exerccio anterior que
;
Considere novamente o problema de otimizao dado
4. A diferena chamada de brecha de duali- por:
dade, ou salto de dualidade (do ingls, skip duality);
{
Exerccio min x2
{ 1x2
f (x) , se x C
Verique que: (x) =
+ , se x C Vericar se a lagrangiana associada (P ) tem ponto de
sela.
Exerccio

Verique que (D) consiste de maximizar uma funo


8.4.2 Anlise do problema
cncava em um poliedro. Lembre-se:
Considerando (P ) , (P r) , (D) e l , se (
u, v) uma so-
luo do problema dual, considere o seguinte problema:
1. Uma funo f cncava quando f for
convexa.
{
2. Um poliedro qualquer interseco nita min l(x, u
, v)
de semiespaos fechados. (Pu,v )
xR

que no caso do exemplo reduz-se a


8.3.1 Exemplo numrico: problema pri-
mal e seu dual
{
min x2 + 2(1 x)
Considere o problema (Pu,v )
xR

{ A soluo deste problema obtida resolvendo 2x2 = 0


min x2 , sendo portanto x = 1 . Note que esta a soluo do
(P )
1x2 problema primal (P r) (e consequentemente do problema
original (P ) ).

8.4 Ponto de sela Ser apenas uma coincidncia? Ou ainda, em que situa-
es a soluo deste ltimo problema ser tambm solu-
o do problema original?
Este um conceito muito importante relacionado la-
grangiana. A resposta ser dada pelo prximo teorema. Acompanhe.

Denio Teorema (dualidade lagrangiana convexa)


26 CAPTULO 8. MTODOS DUAIS

Suponha-se que f, gi : Rn 7 R so de classe C 1 e con- Experimente escolher x R5 e uma transformao li-


vexas, e que as funes hj so am lineares e T (x, C) = near, e um poliedro (interseco nita de semi-espaos).
L(x, C), x C . Nestas condies: difcil de resolver o problema primal. Tente resolver o
dual, usando os mtodos conhecidos.
1. Se o problema (P ) tem soluo, ento = e os A seguir ser apresentada uma proposio que responde
problemas (P r) e (D) tm soluo. a uma pergunta deixada anteriormente:

2. Se (P ) tem soluo, e ( u, v) soluo de (D) , en- Proposio


to as solues de (P r) so as solues de (Pu,v ) ,
onde
Considere o problema (P ) a lagrangiana l e os problemas
{ em dualidade (P r) e (D) e (u, v) solues de (D) . Se
min l(x, u
, v) soluo do problema
x
(Pu,v )
xR

que tambm so as solues de (P ) . {


min l(x, u
, v)
(Pu,v ) ,
Antes da demonstrao, vale a pena imaginar a seguinte xR
aplicao da segunda parte do teorema: Se por alguma ra-
zo no se sabe resolver o problema original (P ) , pode- C (o conjunto dos pontos que satisfazem as restri-
x
se optar por resolver (D) (um problema concavo em um es) e gi ( ui = 0, i , ento x
x) tambm uma soluo
poliedro), e depois resolver (Pu,v ) (que um problema do problema (P ) .
convexo sem restries). Em outras palavras, possvel Tal proposio fornece um roteiro para quem precisa re-
trocar um problema difcil por dois problemas mais f- solver o problema (P ) relativamente difcil:
ceis, (D) e (Pu,v ) .
Agora a demonstrao do teorema: 1. Primeiramente, resolve-se (D) ;
2. Depois, constri-se o problema (Pu,v ) e encontra-se
Exerccio uma soluo x para o mesmo;
3. Finalmente, se x satisfaz as ltimas condies da
Vericar se existe salto de dualidade nos problemas em proposio, ele tambm uma soluo de (P ) .
dualidade para o seguinte problema de minimizao:

8.5 Resumo do esquema de duali-


min x y 2
(P1 ) x2 + y 2 1 dade

x+y 1
Neste ponto, pode-se sintetizar a estratgia geral para a
Exerccio resoluo de problemas de otimizao utilizando esque-
mas de dualidade.
Juntamente com o problema (P1 ) do exerccio anterior, Considere o problema
considere o seguinte problema:

min f (x)
min x y 2 gi (x) 0; i = 1, . . . , p


x0 hj (x) = 0; j = 1, . . . , q
(P2 )

y0
onde f, gi , hj : Rn 7 R so funes de classe C 1 (Rn ) ,
x+y 1
e seja a lagrangiana l : Rn Rp Rq 7 R denido por
Os problemas so equivalentes? (no sentido de que tm as
mesmas funes objetivo e o mesmo conjunto de restri-
es) O que acontece com relao s condies de KKT?
p
q
l(x, u, v) = f (x) + ui gi (x) + vj hj (x)
Apesar de f (x, y) = x y 2 no ser convexa, vlido o i=1 j=1
resultado do teorema? Para que serve KKT? possvel
resolver o problema dual e usar a resposta para resolver o Convenciona-se que:
primal?
x a varivel primal;
Exerccio (u, v) a varivel dual;
8.6. UMA NOTA SOBRE A TERMINOLOGIA 27

Nesse sentido, o Rp Rq o dual de Rn " (no confun- 8.6 Uma nota sobre a terminologia
dir com o signicado que essa expresso teria na anlise
funcional. Ver nota sobre a terminologia), ou seja: Na subrea da matemtica denominada Anlise Funcio-
nal, quando se tem um espao topolgico X , costuma-se
R onde mora a varivel primal x ;
n chamar de dual topolgico ao conjunto X = {t : X 7
R; tcontinua e linear } .
Rp Rq onde mora a varivel dual (u, v) ; Aparentemente, os conceitos de dual da otimizao e da
anlise funcional no tem relao um com o outro.
Denem-se ento as funes e da seguinte maneira: Um dos primeiros a falar de dualidade (espaos duais) foi
o francs Fenchel, mas foi fortemente criticado por Ur-
ruty e Lemarchal, pois os dois conceitos de dualidade
no esto relacionados. Tambm o francs Brezis con-
: Rn 7 R {+} cordou que h um problema a ser resolvido com a nomen-
clatura, e um dos conceitos deveria deixar de ser chamado
(x) = sup l(x, u, v) assim.
u0
vRq

: Rp Rq 7 R {}

(u, v) = infn l(x, u, v)


xR

A partir destas duas funes, formulam-se os seguintes


problemas duais:

{
min (x)
(P r)
x Rn


max (u, v)
(D) u0

v Rq

possvel vericar que (P r) equivale ao problema ori-


ginal (P ) e que (D) consiste da maximizao de uma
funo cncava em um poliedro (convexo).
Logo, o dual de (P ) (D) .

8.5.1 Concluses

Dado qualquer problema (P ) , seu dual (D) um pro-


blema cncavo (isto , a funo objetivo cncava), tal
que os pontos satisfazendo o conjunto de restries for-
mam um poliedro convexo.
Apesar da controvrsia losca existente acerca do
nome destes conceitos (coisa que poderia muito bem
vir a ser alterada no futuro), a moral da histria que
transforma-se um problema geralmente difcil (sem es-
trutura) em um problema mais fcil (cheio de estrutura)".
Captulo 9

Aplicaes dos Mtodos Duais

9.1 Aplicao programao li- e


near
: Rp Rq 7 R {}
Considere um problema tpico da programao linear
como: (u, v) = infn l(x, y, u, v, w)
xR
yRm
= infn [a M u P v w] x + [b N u Q v] y + [

min a x + b y xR
yRm
Mx + Ny c

P x + Qy = d = [c u + d v] + infn [a M u P v w] x + infm [b N
xR yR
x 0; y Rn

a M u P v w = 0
onde so dados a Rn , b Rm , Mpn , Npm , Pqn
c u + d v , se b N u Q v = 0
, Qqm , d Rp e c Rq . Por simplicidade, pode-se =

u 0; w 0

ainda adotar a seguinte notao: , casos outros em
Logo, considerando que a M u P v = w 0 , o
{[ ] }
problema dual consiste no seguinte:
x
C= ; M x + N y c, P x + Qy = d, x 0 e y Rn
y

Nesta seo ser mostrado como a bonita teoria dos m-
max c u + d v

todos duais se aplica a esse tipo de problema. M u + P v a



N u + Q v = b
Primeiramente, calcula-se a lagrangiana:
u0

Exerccio
l(x, y, u, v, w) = [a x + b y] + u [c M x N y] + v [d P x Qy] + w [x]
= [a M u P v w] x + [b N u Q v]que
Vericar

yx
+[cumau+ d v] de
soluo
Note que:
{
min f (x)
As variveis primais so x e y ; (P )
xC
As variveis duais so u , v e w ; se, e somente se, x
uma soluo de

Agora preciso identicar as funes e correspon- {


dentes a este problema. Conforme anteriormente, tem- max(f (x))
(P )
se: xC

Exerccio
: R 7 R {+}
n

[ Vericar
] que:
x
a x+b y , se C
(x) = sup l(x, y, u, v, w) = y
u0
vRq
+ , casos inf
outros em= sup [f (x)]
f (x)
w0 xC xC

28
9.1. APLICAO PROGRAMAO LINEAR 29

9.1.1 Exemplicando com um problema de


programao linear
max b v
(D) A v c
O seguinte problema chamado de problema standard
v Rm
(padro) de programao linear:
que, conforme j foi mostrado em um exerccio anterior-
mente, equivale a
min c x
(P L) Ax = b

x0 min b v
(D) A v c
onde so dados Amn , b R e c R .
m n
v Rm

A lagrangiana dado por:


Calculando o dual de (PL)

Primeiramente, l(v, y) = b v + y (A v c)

Logo,

l(x, u, v) = c x + u (x) + v (b Ax)

A funo no precisa ser calculada, pois j se mostrou (y) = infm l(v, y)


vR
que
= infm [b v + y (A v c)]
vR

{ = c y + infm [(Ay b) v]
f (x) , se x C {
vR
(x) =
+ , se x C c y , se Ay b = 0
=
, casos outros em
Por outro lado, quanto funo tem-se:
Logo, o dual de (D) :

(u, v) = infn l(x, u, v) {


xR max (y)
(DD) ,
y0
(u, v) = infn l(x, u, v)
xR
ou seja,
= infn [c x u x + v (b Ax)]
xR

= b v + infn [c u A v] x

xR max c y
{ (DD) Ay = b
b v , se c u A v = 0
=
, casos outros em y0

Logo, o problema dual : que equivale a


max b v min c x
(D) c u A v = 0 (P ) Ax = b

x0
u 0; v Rm

ou ainda
Um exemplo numrico contextualizado

Considere a seguinte situao:


max b v
(D) A v c
Um empresrio que produz cerveja dispes de
v Rm
240 kg de milho, 5 kg de lpulo e 596 kg de
Malta. Para produzir um barril de cerveja preta
Calculando o dual do dual de (PL) requer 2,5 kg de milho, 0,125 kg de lpulo e
17,5 kg de malta. Enquanto que para produ-
Considere o seguinte problema: zir um barril de cerveja branca, se precisa de
30 CAPTULO 9. APLICAES DOS MTODOS DUAIS

7,5 kg de milho, 0,125 kg de lpulo e 10 kg de


malta. Por barril de cerveja branca vendido, o
: Rn Rm 7 R {}
empresrio recebe 130 reais, enquanto por um
barril de cerveja preta, recebe 230 reais. Achar (u, v) = infn l(x, u, v) = minn l(x, u, v)
xR xR
o modelo matemtico para otimizar o ganho do
e a ltima igualdade vale pois a funo fortemente con-
empresrio.
vexa.
Na dcada de 30, 40 e 50 havia diversos livros que tra-
tavam cada problema de programao linear individual- (u, v) = infn l(x, u, v)
xR
mente, deduzindo vez aps vez os seus duais, e disso ex-
traindo certas regras que eram ento sugeridas ao leitor = minn l(x, u, v)
xR
na forma "se o problema for desse tipo, use tal regra, se for 1
daquele tipo, use esta outra, e se for deste outro tipo, use = minn [ x Qx + q x + + u (b Ax) + v (x)]
xR 2
esta regra". Um dos primeiros autores que comeou a tra- 1
balhar os problemas sob um novo ponto de vista, mais ge- = minn [ x Qx + (q v A u) x + u b + ]
xR 2
neralizado, foi Werner Oettio (graa?) . Seguindo-se por
George Dantzig (conhecido como inventor do mtodo Considerando x l( x + q v A u = 0 ,
x, u, v) = Q
simplex), Eugen Blumb (graa?) e Jean-Pierre Crouzeix. se deduz que

= Q1 (A u + v q)
x
9.2 Aplicao programao qua-
Logo,
drtica
Agora, o problema a considerar passa a ser 1 [ 1 ] [ ]
(u, v) = Q (A u + v q) Q Q1 (A u + v q) + (q v
2
1
{ = (A u + v q) Q1 (A u + v q) (A u + v q) Q
min 12 x Qx + q x + 2
xC 1
= (A u + v q) Q1 (A u + v q) + u b +
2
onde C um poliedro (interseo nita de semi-espaos), Observe que, sendo os autovalores de Q positivos, o
q Rn , R e Qnn uma matriz simtrica positiva mesmo vale obrigatoriamente para Q1 . Assim, como a
denida. expresso de envolve (Q1 ) , tal funo fortemente
Note que este problema tem soluo, uma vez que o pro- cncava (conforme j era esperado para tal funo).
blema irrestrito correspondente tem soluo (j que Q Baseado nestas dedues, o problema dual
uma matriz simtrica positiva denida, a funo limi-
tada inferiormente, e como C fechado, a funo obje- {
tivo assume seu valor mnimo em C , por Wolfe). max 1 1
2 (A u + v q) Q (A u + v q) + u b +
(D)
u 0; v Rm
Mesmo para n = 5 , os problemas de programao linear
j so difceis de resolver " mo. preciso utilizar al- ou seja,
guma tcnica mais sosticada.
{
Para dar continuidade ao exemplo, considere que o poli- min 21 (A u + v q) Q1 (A u + v q) (u b + )
edro C dado por (D)
u 0; v Rm
Usualmente este tipo de problema (D) resolvido por
meio do mtodo do gradiente projetado.
C = {x Rn ; x 0 e Ax = b}

com Amn e b Rm .
9.2.1 Reviso do mtodo do gradiente pro-
Agora ser aplicado o esquema de dualidade. A lagran- jetado
giana
O mtodo baseia-se na seguinte proposio:

l : Rn Rn Rm 7 R Proposio
1
l(x, u, v) = x Qx+q x+ + u (bAx) + v Seja
(x)f uma funo convexa em C , um conjunto convexo
2 e fechado. Se o ponto x C tal que x x
= PC (
alm disso, f ( x) f (x), x C .
x)) , ento f (
9.3. EXERCCIOS RESOLVIDOS 31

[ ]
Um algoritmo para o mtodo do gradiente projetado b = 1 1
Ao resolver o problema (P ) , poderia ter sido escolhido
Este algoritmo bastante simples.
Ax b em vez de b Ax . Ser que isso inuenciaria o
Primeiro passo: Escolha x0 Rn e xe > 0 . Passo resultado nal?
iterativo k : Enquanto xk = PC (xk f (xk ))
Acompanhe como caria a resoluo desta maneira:
xk+1 = PC (xk f (xk ))
Agora, interessante observar como se faz para projetar Exerccio
um ponto em C = [0, +)n Rm .
Formule como um problema de minimizao com res-
Exerccio
tries o problema de projetar ortogonalmente o ponto
(5, 2) sobre o conjunto C = {(x, y) : x 0, y 0} .
Dado C = [0, +)n Rm , mostre que Depois, calcule explicitamente a funo lagrangiana e o
problema dual.
([ ]) [ ]
x max{x, 0}
PC = Exerccio
y 0

No exerccio anterior, se u a varivel dual relacionada


9.2.2 Exemplicando a projeo a varivel primal x e v a varivel dual relacionada a
varivel primal y , ento verique se (u, v) = (10, 0)
[ ]
Seja u = 1 1 2 2 3 3 4 4 5 5 soluo dual e se a lagrangiana tem pontos de sela. Em
. Ento a projeo de u sobre C = [0, +)6 R4 : caso armativo, calcule um ponto de sela, caso contrrio,
argumente porque a lagrangiana no tem pontos de sela.
([ ] ) [ ]
PC 1 1 2 2 3 3 4 4 5 5 = 1 0 2 0 3 0 4 4 5 5

Devido a essa simplicidade ao se fazer a projeo de um


ponto, o mtodo do gradiente projetado muito eciente
para resolver o problema (D) .

9.2.3 Exemplo concreto


Seja C = {(x, y); x + y = 1, x 0, y 0} .
Como calcular a projeo do ponto (1, 2) sobre o con-
junto C , PC (1, 2) ?

9.3 Exerccios resolvidos


Exerccio

Encontrar a soluo do seguinte problema de programa-


o linear:

min c x
Ax = b

x0

sendo

[ ]
c = 2 5 2 1 1
[ ]
1 2 1 1 0
A=
1 1 0 0 1
Captulo 10

Mtodo da Lagrangiana Aumentada

O problema a ser resolvido : 3. Existe s > 0 tal que a matriz A + rB B denida


positiva para todo r > s .
{
min f (x) Exerccio
hj (x) = 0; j = 1, . . . , q

Sabe-se que se for aplicado o mtodo da lagrangiana, ser Prove a seguinte variante do lema anterior:
considerada a funo:
Seja Ann uma matriz simtrica e semi-
denida positiva, e Bpn . As seguintes ar-
l : Rn Rq 7 R maes so equivalentes:

q
1. Se Bx = 0 , com x = 0 , ento
l(x, v) = f (x) + vj hj (x)
Ax, x > 0 ;
j=1

e tambm 2. Existe r > 0 tal que a matriz A + rB B


denida positiva;
3. Para todo r > 0 , a matriz A + rB B
: R 7 R {}
q denida positiva.

(v) = infn l(x, v) A partir de agora, o problema ser:


xR

A grande diculdade seria saber quando o valor de


nito. Uma idia seria modicar um pouco a lagrangiana {
(aumentando-a, com um termo extra), da seguinte ma- min f (x)
neira: hj (x) = 0; j = 1, . . . , q

onde se supe que f, hi : Rn 7 R so funes de



q
q classe C 2 (Rn ) e que para todo R , o conjunto
l(x, v) = f (x) + vj hj (x) + r (hj (x))
2 {x Rn ; f (x) } compacto (em ingls costuma-
j=1 j=1 se usar a expresso inf-compact para descrever tais fun-
es).
Com isso, seria necessrio garantir que a idia de fato re-
solve o problema. Por este motivo, preciso desenvolver Sabe-se que a lagrangiana associada ao problema (P ) :
alguns resultados tericos. Para fazer a anlise deste m-
todo, um primeiro resultado importante o seguinte:
l : Rn Rq 7 R
Lema (Finsler-Debreu)

q
l(x, v) = f (x) + vj hj (x)
Seja Ann uma matriz simtrica e Bpn . As seguintes j=1
armaes so equivalentes:
e ainda, em uma notao mais sinttica, considerando a
funo H dada por:
1. Se Bx = 0 , com x = 0 , ento Ax, x > 0 ;
2. Existe r > 0 tal que a matriz A + rB B denida
positiva; H : Rn 7 Rq

32
10.1. ALGORITMO DA LAGRANGIANA AUMENTADA 33


h1 (x) Exerccio

H(x) = ...
hq (x) Verique que {x Rn ; l (x, v) } compacto, qual-
tem-se a lagrangiana expressa da seguinte maneira: quer que seja R e v Rq .

Proposio
l(x, v) = f (x) + H(x) v
Para o mtodo da lagrangiana aumentada sero assumidas Se x soluo de (P ) , ento existe algum 0 > 0 , algum
as seguintes hipteses: 0 > 0 e alguma vizinhana X0 de x tais que l0 (, v)
fortemente convexa com parmetro 0 .
1. Se x soluo, ento existe u Rq tal que Com essas condies, mostrou-se que em um ponto que
x l( ) = 0 ;
x, u seja soluo, a lagrangiana aumentada fortemente con-
vexa.
2. Para todo d = 0 , o jacobiano de H satizfaz:
Antes de apresentar o algoritmo, ser xada mais uma
JH (x)d = 0 d Hx2 l( x, u
)d > 0 notao:
Note que a segunda hiptese tem exatamente a mesma
forma de uma das condies que aparece no lema de {
Finsler-Debreu. min l (x, u)
(P,u )
x Rn
Denio

Dado > 0 , se dene a lagrangiana aumentada para 10.1 Algoritmo da lagrangiana au-
o problema (P ) como: mentada

l : Rn Rq 7 R Dados > 0 e (0, ) .


Incio: Tome u0 Rq e k = 0 . Iterao: Calcule xk
l (x, v) = f (x)+H(x) v+ H(x) H(x) = l(x, v)+ H(x) ,

H(x)
soluo de (P,uk ) . Se H(xk ) = 0 , pare: x
= xk .
2 2
Observe que justamente a apario do termo Seno, faa u k+1 = u k + H(x k ) k = k + 1

2 H(x) H(x) sendo somado lagrangiana que Este um dos algoritmos mais usados e mais ecientes
justica o nome lagrangiana aumentada. para problemas de programao no linear. A garantia
Esse conceito possui algumas interpretaes: de convergncia segue dos prximos teoremas.

Exerccio Teorema

Verique que a lagrangiana aumentada l justamente a Sejam 0 , 0 e X0 como na proposio anterior. Se U


lagrangiana do problema (P ) penalizado, ou seja, de uma vizinhana de u , existe algum U > 0 tal que:

{
min f (x) + 2 H(x) H(x) 1. X(, u) X0 , u U
H(x) = 0
) = {
2. X(, u x} e (
u) = f (
x)
Exerccio
Observaes:
Verique que a funo dual (o nmo da lagrangiana
aumentada em relao primeira componente), dada por
X(, u) denota as solues do problema;

A igualdade ( x) signica que no h salto


u) = f (
: Rq 7 R {} de dualidade.
(v) = infn l (x, v)
xR J foi mostrado que a funo fortemente convexa
para 0 < < satisfaz em uma vizinhana. Logo, os minimizadores devem
estar em tal vizinhana.

A prova um pouco tcnica, e usa as condies de


(v) (v) f (
x)
KKT, mostrando que o cone linearizado igual ao
onde x
soluo de (P ) cone tangente.
34 CAPTULO 10. MTODO DA LAGRANGIANA AUMENTADA

O segundo teorema :

Teorema

Se sucientemente grande e sucientemente pe-


queno, ento:

1. xk x

2. l (xk , uk ) f (
x)

3. {uk } limitada

Observaes:

A propriedade 2 praticamente segue do fato de no


haver salto de dualidade.

Com esses resultados, tem-se a garantia de que o algo-


ritmo realmente converge para uma soluo, desde que
os parmetros sejam tomados adequadamente. A ques-
to que ainda permanece como identicar os valores
adequados de e de para que tal convergncia ocorra.

Exerccio

Argumente porque as hipteses 1, 2 e 3 garantem que


a iterao do algoritmo da Lagrangiana aumentada para
problemas de minimizao com restries de igualdade
tem uma nica soluo, sendo:

1. Todas as funes so de classe C 2 e a funo objetivo


tem todos os seus subnveis compactos.
2. Se x
soluo do problema, ento existe u tal que o
gradiente da Lagrangiana no aumentada com res-
peito a varivel primal se anula em ( ) .
x, u

3. A hessiana da Lagrangiana no aumentada com res-


peito a varivel primal denida positiva sob a va-
riedade ortogonal de todos os gradientes no ponto x
das restries.
Captulo 11

Estilo

Nesta pgina estaro indicadas as convenes adotadas 11.3 Exerccios


neste wikilivro sobre otimizao, no que diz respeito a
sua formatao. Recomenda-se a leitura do mesmo, por Exerccio
todos que pretendem contribuir com a melhoria desde
texto.
Aqui vai o enunciado de um exerccio.

1. Pode-se colocar vrios itens;


11.1 Denies
2. Cada um com a numerao adequada;
Denio

As denies aparecem em caixas com essa aparncia.


11.4 Demonstraes e resoluo de
Observaes exerccios
Geralmente um termo importante aparece pela pri-
meira vez em uma denio. 11.5 Tarefas pendentes
Devido sua importncia, bom destacar a deni-
o do restante do texto.
No momento, a forma de destacar uma deni-
o neste wikilivro a incluso de bordas duplas
em torno do texto da denio, como no exemplo
acima. Para facilitar essa tarefa, utiliza-se a prede-
nio {{Denio}}.
O conceito que est sendo denido costuma ser co-
locado em negrito, sendo que o texto da explicao
tem sido alinhado a esquerda.

11.2 Propriedades
Teorema

Sempre que uma propriedade importante dos objetos tra-


tados no texto precisa ser destacada, isto deve ser feito em
uma caixa como essa.

Observaes

Os principais tipos de propriedades a ser destacados


so: teoremas, proposies, corolrios e pequenos
lemas.
Para conseguir a formatao acima, utiliza-se a pre-
denio {{Teorema}}.

35
Captulo 12

ndice Remissivo

Nesta pgina esto listados os conceitos abordados neste Cone


livro em ordem alfabtica.
O nome de cada conceito possui um link para a pgina tangente
onde o mesmo denido. Outras ocorrncias importan- tangente linearizado
tes do conceito so indicadas pelos links numerados, logo
aps o link principal.
Conjunto

convexo
12.1 A
de nvel
vivel
12.2 B
Convexidade
Brecha de dualidade
Busca linear
12.4 D
12.3 C Direo

Condio de descida
vivel
suciente de segunda ordem

Condies de otimalidade Direes

Condies de otimalidade conjugadas

de Karush-Kuhn-Tucker
Dualidade
necessrias
de primeira ordem
de segunda ordem 12.5 E
sucientes
12.6 F
de segunda ordem
Funo
Condies de qualicao das restries
coerciva
de independncia linear dos gradientes das res-
tries ativas cncava
de linearidade convexa
de Mangasarian-Fromovitz de barreira
de Slater de penalidade

36
12.14. N 37

exterior das regies de conana


interior do gradiente
fortemente conjugado
projetado
cncava
convexa Minimizador
objetivo global
local
Funes em dualidade
Multiplicadores de Lagrange

12.7 G
12.14 N
12.8 H
12.15 O
Hessiana

12.16 P
12.9 I Penalidade

12.10 J exterior
interior

12.11 K Ponto

crtico
12.12 L de mnimo

Lagrangiana Problema

aumentada de minimizao
de programao
Lema
linear
quadrtica
de Finsler-Debreu
dual
irrestrito
12.13 M primal

Mtodo Projeo

dos gradientes conjugados


12.17 Q
da Lagrangiana aumentada
de barreira
12.18 R
de descida
de direes conjugadas Regio de conana
de Newton Regra
de penalidade
de Armijo
interior
exterior Restries ativas
38 CAPTULO 12. NDICE REMISSIVO

12.19 S
Sistema

de Lagrange

Soluo

12.20 T
Teorema

de Wolfe

12.21 U

12.22 V

12.23 W
Wolfe, teorema

12.24 X

12.25 Y

12.26 Z
Captulo 13

Bibliograa

13.1 Livros e artigos 13.2 Pginas da internet


Avriel, Mordecai. Nonlinear Programming: Analy- Martnez, Jos Mario. Otimizao Prtica Usando
sis and methods. New York: Dover, 2003. 528 p. o Lagrangiano Aumentado. Departamento de Ma-
ISBN 0486432270 temtica Aplicada IMECC-UNICAMP. 2009.
Izmailov, Alexey; Solodov, Mikhail. Otimizao: Martnez, Jos Mario; Santos, Sandra Augusta.
Condies de Otimalidade, Elementos de Anlise Mtodos Computacionais de Otimizao. De-
Convexa e de Dualidade. 1.ed. Rio de Janeiro: partamento de Matemtica Aplicada IMECC-
IMPA, 2005. 253 p. 2 v. v. 1. ISBN 8524402385 UNICAMP. 262p.
Izmailov, Alexey; Solodov, Mikhail. Otimizao:
Mtodos Computacionais. 1.ed. Rio de Janeiro: Gonzaga, Clvis Caezar. Um Curso de Programa-
IMPA, 2007. 458 p. 2 v. v. 1. ISBN o No Linear. Florianpolis : UFSC, 2004.
9788524402685 Jonathan Richard Shewchuk. An Introduction to the
Hiriart-Urruty, Jean-Baptiste, Lemarchal, Claude. Conjugate Gradient Method Without the Agonizing
Fundamentals of Convex Analysis. Springer, 2001. Pain - Um artigo sobre o mtodo do gradiente con-
ISBN 3540422056 jugado (pode ser copiado e distribudo livremente)

[conrmar] Fletcher, Roger; Fitches, W. R.. Practi- Cardoso, Domingos Moreira. Tpicos de Optimi-
cal Methods of Optimization. Wiley, 1987. zao No Linear. Aveiro: UA, 1999.
[conrmar] Dixon, ???. Practical optimization. Joo Antnio de Vasconcelos. Apresentaes de sli-
Crouzeix, Jean Pierre; Keraghel, Abdelkrim; Sosa, des (em pdf):
Wilfredo. Programmation Mathematique Dieren-
tial. 2008. Otimizao em engenharia: Penalidades.
Hestenes, Magnus R.; Stiefel, Eduard. Methods Problemas de Programao Matemtica
of Conjugate Gradients for Solving Linear Systems. No-Linear
Journal of Research of the National Bureau of Stan- Otimizao em engenharia: Mtodos de
dards. v. 49 (6). Dezembro, 1952. Penalidades e Mtodos do Lagrangiano
Polak, E.; Ribire, G..Note sur la convergence de Aumentado
directions conjuges. Rev. Francaise Informat Re- Algoritmos Genticos
cherche Operationelle, 3e Anne 16 (1969) 35-43.
Simulated Anneling Algorithm.
Fletcher, R.; Reeves, CM.Function minimization by Otimizao Vetorial.
conjugate gradients. The Computer Journal, 1964 -
Br Computer Soc. Computao Evolucionria

Courant, R..Variational methods for the solution of How do ee compare EA performances in


problems of equilibrium and vibrations. Bull. Amer. multiobjective optimization?
Math. Soc., 49, 1-23, 1943.
Finsler, P.. Uber das Vorkommen deniter und semi- 13.2.1 Material complementar
deniter Formen in Scharen quadratischer Formen.
Commentaria Mathematicae Helvetia. Vol. 9. pp. Pires, Paulo Srgio da Motta. Introduo ao SciLab
188-192, 1937. Verso 3.0. Natal: UFRN, 2004.

39
40 CAPTULO 13. BIBLIOGRAFIA

Chandler, Graeme; Roberts, Stephen. Introduction


to Scilab. 2002.
LaTeX to Wikicode translation tool - (link direto)
13.3. FONTES DOS TEXTOS E IMAGENS, CONTRIBUIDORES E LICENAS 41

13.3 Fontes dos textos e imagens, contribuidores e licenas


13.3.1 Texto
Otimizao/Capa Fonte: https://pt.wikibooks.org/wiki/Otimiza%C3%A7%C3%A3o/Capa?oldid=222774 Contribuidores: He7d3r
Otimizao/Introduo Fonte: https://pt.wikibooks.org/wiki/Otimiza%C3%A7%C3%A3o/Introdu%C3%A7%C3%A3o?oldid=
214649 Contribuidores: He7d3r e He7d3r.bot
Otimizao/Mtodo de gradientes conjugados Fonte: https://pt.wikibooks.org/wiki/Otimiza%C3%A7%C3%A3o/M%C3%A9todo_
de_gradientes_conjugados?oldid=214650 Contribuidores: He7d3r, Wil~ptwikibooks, Adriano Delno e He7d3r.bot
Otimizao/Mtodos de penalidades Fonte: https://pt.wikibooks.org/wiki/Otimiza%C3%A7%C3%A3o/M%C3%A9todos_de_
penalidades?oldid=234199 Contribuidores: He7d3r, Adriano Delno, He7d3r.bot e Annimo: 1
Otimizao/Mtodos de regio de conana Fonte: https://pt.wikibooks.org/wiki/Otimiza%C3%A7%C3%A3o/M%C3%A9todos_de_
regi%C3%A3o_de_confian%C3%A7a?oldid=214654 Contribuidores: He7d3r, Adriano Delno, He7d3r.bot e Annimo: 1
Otimizao/O problema de mnimos quadrados Fonte: https://pt.wikibooks.org/wiki/Otimiza%C3%A7%C3%A3o/O_problema_de_
m%C3%ADnimos_quadrados?oldid=214671 Contribuidores: He7d3r, Adriano Delno e He7d3r.bot
Otimizao/KKT Fonte: https://pt.wikibooks.org/wiki/Otimiza%C3%A7%C3%A3o/KKT?oldid=222580 Contribuidores: Giro720,
He7d3r, Adriano Delno e He7d3r.bot
Otimizao/Mtodos duais Fonte: https://pt.wikibooks.org/wiki/Otimiza%C3%A7%C3%A3o/M%C3%A9todos_duais?oldid=214665
Contribuidores: He7d3r, Adriano Delno, He7d3r.bot e Annimo: 1
Otimizao/Aplicaes dos mtodos duais Fonte: https://pt.wikibooks.org/wiki/Otimiza%C3%A7%C3%A3o/Aplica%C3%A7%C3%
B5es_dos_m%C3%A9todos_duais?oldid=225478 Contribuidores: He7d3r, Adriano Delno e He7d3r.bot
Otimizao/Mtodo da lagrangiana aumentada Fonte: https://pt.wikibooks.org/wiki/Otimiza%C3%A7%C3%A3o/M%C3%A9todo_
da_lagrangiana_aumentada?oldid=214670 Contribuidores: He7d3r, Adriano Delno e He7d3r.bot
Otimizao/Estilo Fonte: https://pt.wikibooks.org/wiki/Otimiza%C3%A7%C3%A3o/Estilo?oldid=214666 Contribuidores: He7d3r e
He7d3r.bot
Otimizao/ndice remissivo Fonte: https://pt.wikibooks.org/wiki/Otimiza%C3%A7%C3%A3o/%C3%8Dndice_remissivo?oldid=
246843 Contribuidores: He7d3r e He7d3r.bot
Otimizao/Bibliograa Fonte: https://pt.wikibooks.org/wiki/Otimiza%C3%A7%C3%A3o/Bibliografia?oldid=272514 Contribuidores:
He7d3r, He7d3r.bot, Rotlink e Annimo: 1

13.3.2 Imagens
Ficheiro:Busca_de_Armijo.svg Fonte: https://upload.wikimedia.org/wikipedia/commons/6/69/Busca_de_Armijo.svg Licena: GFDL
Contribuidores: Obra do prprio Artista original: Helder
Ficheiro:Cone_em_duas_dimenses.svg Fonte: https://upload.wikimedia.org/wikipedia/commons/3/35/Cone_em_duas_dimens%
C3%B5es.svg Licena: GFDL Contribuidores: Obra do prprio Artista original: Helder
Ficheiro:Cone_tangente_de_um_quadrado_unitrio.svg Fonte: https://upload.wikimedia.org/wikipedia/commons/8/8e/Cone_
tangente_de_um_quadrado_unit%C3%A1rio.svg Licena: GFDL Contribuidores: Obra do prprio Artista original: Helder
Ficheiro:Conjugate_gradient_illustration.svg Fonte: https://upload.wikimedia.org/wikipedia/commons/b/bf/Conjugate_gradient_
illustration.svg Licena: Public domain Contribuidores: self-made, with en:Matlab, and then tweaked in en:Inkscape Artista original: Oleg
Alexandrov
Ficheiro:Crystal_Clear_app_kaddressbook.png Fonte: https://upload.wikimedia.org/wikipedia/commons/7/74/Crystal_Clear_app_
kaddressbook.png Licena: LGPL Contribuidores: All Crystal Clear icons were posted by the author as LGPL on kde-look; Artista original:
Everaldo Coelho and YellowIcon;
Ficheiro:Exemplo_de_funo_de_penalidade.svg Fonte: https://upload.wikimedia.org/wikipedia/commons/0/0a/Exemplo_de_fun%
C3%A7%C3%A3o_de_penalidade.svg Licena: GFDL Contribuidores: Obra do prprio Artista original: Ilustrao: Mariana Kleina;
SVG version: Helder
Ficheiro:Funo_quadrtica_restrita_a_um_intervalo.svg Fonte: https://upload.wikimedia.org/wikipedia/commons/3/3c/Fun%C3%
A7%C3%A3o_quadr%C3%A1tica_restrita_a_um_intervalo.svg Licena: GFDL Contribuidores: Obra do prprio Artista original: Helder
Ficheiro:Gradiente_de_uma_funo_em_um_ponto_de_mnimo.svg Fonte: https://upload.wikimedia.org/wikipedia/commons/2/
2d/Gradiente_de_uma_fun%C3%A7%C3%A3o_em_um_ponto_de_m%C3%ADnimo.svg Licena: GFDL Contribuidores: Obra do pr-
prio Artista original: Helder
Ficheiro:Nuvola_apps_korganizer.svg Fonte: https://upload.wikimedia.org/wikipedia/commons/e/e6/Nuvola_apps_korganizer.svg Li-
cena: LGPL Contribuidores: Image:Nuvola apps korganizer.png, Image:Gtk-ok.svg Artista original: David Vignoni, User:Stannered
Ficheiro:Propriedade_das_projees.svg Fonte: https://upload.wikimedia.org/wikipedia/commons/7/7b/Propriedade_das_proje%
C3%A7%C3%B5es.svg Licena: GFDL Contribuidores: Obra do prprio Artista original: Helder
Ficheiro:Wikipedia-logo.png Fonte: https://upload.wikimedia.org/wikipedia/commons/6/63/Wikipedia-logo.png Licena: GFDL Con-
tribuidores: based on the rst version of the Wikipedia logo, by Nohat. Artista original: version 1 by Nohat (concept by Paullusmagnus);

13.3.3 Licena
Creative Commons Attribution-Share Alike 3.0