Você está na página 1de 227

˜

´

OTIMIZAC¸ AO CONT INUA Aspectos te´oricos e computacionais

Ademir Alves Ribeiro Elizabeth Wegner Karas

Curitiba

2013

Sum´ario

Pref´acio

1

Introdu¸c˜ao

3

1 Revis˜ao de Conceitos

5

1.1 Sequˆencias

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

5

1.1.1 Defini¸c˜oes e resultados cl´assicos

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

5

1.1.2 Ordem de convergˆencia .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

7

1.2 No¸c˜oes de topologia

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

10

1.3 Resultados de ´algebra linear

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

13

1.4 F´ormula de Taylor e teorema da fun¸c˜ao impl´ıcita

.

.

.

.

.

.

.

.

.

.

.

.

.

.

17

1.5 Exerc´ıcios do cap´ıtulo .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

23

2 Introdu¸c˜ao `a Otimiza¸c˜ao

 

27

2.1 O problema de otimiza¸c˜ao

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

27

2.2 Condi¸c˜oes de otimalidade .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

29

2.3 Exerc´ıcios do cap´ıtulo .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

34

3 Convexidade

36

3.1 Conjuntos convexos .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

36

3.2 Fun¸c˜oes convexas

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

40

3.3 Exerc´ıcios do cap´ıtulo .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

44

4 Algoritmos

46

4.1 Algoritmos de descida

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

46

4.2 M´etodos de busca unidirecional

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

49

4.2.1 Busca exata - m´etodo da se¸c˜ao ´aurea

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

49

4.2.2 Busca inexata - condi¸c˜ao de Armijo

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

54

4.3 Convergˆencia global de algoritmos .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

57

4.3.1 Convergˆencia global de algoritmos de descida

.

.

.

.

.

.

.

.

.

.

.

.

57

4.3.2 Teorema de Polak .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

60

4.4 Exerc´ıcios do cap´ıtulo

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

61

 

ii

5

M´etodos de Otimiza¸c˜ao Irrestrita

63

5.1 M´etodo do gradiente

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

63

5.1.1 Algoritmo

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

63

5.1.2 Convergˆencia global

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

64

5.1.3 Velocidade de convergˆencia

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

65

5.2 M´etodo de Newton

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

67

5.2.1 Motiva¸c˜ao

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

67

5.2.2 Algoritmo

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

68

5.2.3 Convergˆencia

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

70

5.2.4 Regi˜ao de convergˆencia

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

73

5.3 M´etodo de dire¸c˜oes conjugadas

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

75

5.3.1 Dire¸c˜oes conjugadas

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

75

5.3.2 Algoritmo de gradientes conjugados .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

78

5.3.3 Extens˜ao para fun¸c˜oes n˜ao quadr´aticas

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

81

5.3.4 Complexidade algor´ıtmica

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

82

5.4 M´etodos quase-Newton

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

89

5.4.1 O algoritmo b´asico

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

89

5.4.2 O m´etodo DFP

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

91

5.4.3 O m´etodo BFGS

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

94

5.5 M´etodo de regi˜ao de confian¸ca

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

96

5.5.1 Algoritmo

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

97

5.5.2 O passo de Cauchy

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

98

5.5.3 Convergˆencia

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

100

5.5.4 O m´etodo dogleg

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

104

5.5.5 O m´etodo GC-Steihaug

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

107

5.6 Exerc´ıcios do cap´ıtulo

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

108

6 Implementa¸c˜ao Computacional

 

113

6.1 Banco de fun¸c˜oes

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

113

6.2 Implementa¸c˜ao dos algoritmos

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

117

6.2.1 M´etodos de busca unidirecional

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

118

6.2.2 M´etodos de otimiza¸c˜ao irrestrita

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

119

6.3 Compara¸c˜ao de diferentes algoritmos

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

123

6.4 Outras discuss˜oes

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

125

6.5 Exerc´ıcios do cap´ıtulo

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

127

7 Otimiza¸c˜ao com Restri¸c˜oes

 

130

7.1 Cones

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

131

7.2 Condi¸c˜oes de Karush-Kuhn-Tucker

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

137

7.2.1

O cone vi´avel linearizado

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

138

iii

 

7.2.2 O cone gerado pelos gradientes das restri¸c˜oes .

.

.

.

.

.

.

.

.

.

.

.

.

139

7.2.3 O cone tangente .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

141

7.2.4 O teorema de Karush-Kuhn-Tucker

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

144

7.2.5 Medidas de estacionariedade

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

146

7.3 Condi¸c˜oes de qualifica¸c˜ao .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

149

7.3.1 Problemas com restri¸c˜oes lineares

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

151

7.3.2 Condi¸c˜ao de qualifica¸c˜ao de Slater

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

151

7.3.3 Condi¸c˜ao de qualifica¸c˜ao de independˆencia linear

.

.

.

.

.

.

.

.

.

.

152

7.3.4 Condi¸c˜ao de qualifica¸c˜ao de Mangasarian-Fromovitz .

.

.

.

.

.

.

.

.

153

7.4 Condi¸c˜oes de otimalidade de segunda ordem

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

157

7.4.1 Problemas com restri¸c˜oes de igualdade

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

158

7.4.2 Problemas com restri¸c˜oes de igualdade e desigualdade .

.

.

.

.

.

.

.

160

7.5 Exerc´ıcios do cap´ıtulo

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

164

8

M´etodos para Otimiza¸c˜ao com Restri¸c˜oes

 

170

8.1 Programa¸c˜ao quadr´atica sequencial

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

170

8.1.1 Algoritmo

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

171

8.1.2 Convergˆencia local

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

172

8.2 M´etodos de filtro

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

175

8.2.1 O algoritmo geral de filtro

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

176

8.2.2 Convergˆencia global

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

179

8.3 Exerc´ıcios do cap´ıtulo

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.