Universidade Federal de Minas Gerais

Departamento de Matematica
Notas de Aula
Otimiza cao Escalar e Vetorial
Volume 1: Conceitos Preliminares
Professor: Ricardo H. C. Takahashi
Belo Horizonte, Janeiro de 2007
Conte udo
I Introdu cao e Conceitos Preliminares 6
1 Introdu cao 7
1.1 Otimiza c ao em Projeto Assistido por Computador . . . . . . . 7
1.2 Sistemas de Projeto Assistido por Computador . . . . . . . . . 9
1.3 Otimiza c ao em PAC . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.1 A Abordagem Escalar . . . . . . . . . . . . . . . . . . 12
1.3.2 A Abordagem Vetorial . . . . . . . . . . . . . . . . . . 16
1.4 Formula c ao do Problema de Otimiza c ao Vetorial . . . . . . . . 17
1.4.1 Etapa de Determina c ao das Solu c oes Ecientes . . . . 17
1.4.2 Etapa de Decis ao . . . . . . . . . . . . . . . . . . . . . 18
2 Deni c oes de Referencia 20
2.1 Espa cos e Normas . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2 Espa cos Topol ogicos . . . . . . . . . . . . . . . . . . . . . . . 24
2.3 Cones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.4 Hiperplanos e Poliedros . . . . . . . . . . . . . . . . . . . . . . 28
3 Caracteriza cao das Fun c oes 29
3.1 Superfcies de Nvel e Modalidade . . . . . . . . . . . . . . . . 30
3.1.1 Bacias de Atra c ao . . . . . . . . . . . . . . . . . . . . . 32
3.2 Continuidade e Diferenciabilidade . . . . . . . . . . . . . . . . 32
3.3 Convexidade e Quasi-Convexidade . . . . . . . . . . . . . . . . 33
3.4 Mnimos Locais e Mnimos Globais . . . . . . . . . . . . . . . 36
3.5 Caracteriza c ao dos Mnimos Locais . . . . . . . . . . . . . . . 37
4 Convergencia de Algoritmos 42
4.1 Algoritmos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
1
CONTE

UDO 2
II Otimiza cao Escalar 46
5 Interpreta cao Geometrica 47
5.1 O Jogo da Otimiza c ao . . . . . . . . . . . . . . . . . . . . . . 47
5.1.1 Formula c ao do Problema de Otimiza c ao . . . . . . . . 48
5.1.2 As Regras do Jogo . . . . . . . . . . . . . . . . . . . . 54
5.2 Otimiza c ao Sem Restri c oes . . . . . . . . . . . . . . . . . . . . 57
5.2.1 Estrategias de Dire c ao de Busca . . . . . . . . . . . . . 62
5.2.2 Estrategias de Exclus ao de Regi oes . . . . . . . . . . . 67
5.2.3 Estrategias de Popula c oes . . . . . . . . . . . . . . . . 74
5.3 Otimiza c ao com Restri c oes de Desigualdade . . . . . . . . . . 80
5.3.1 Interpreta c ao geometrica de uma restri c ao de desigual-
dade . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
5.3.2 Interpreta c ao geometrica de v arias restri c oes de desi-
gualdade . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.3.3 Barreiras e Penalidades . . . . . . . . . . . . . . . . . . 85
5.3.4 Composi c ao pelo M aximo . . . . . . . . . . . . . . . . 89
5.4 Otimiza c ao com Restri c oes de Igualdade . . . . . . . . . . . . 90
5.5 Otimiza c ao Linear . . . . . . . . . . . . . . . . . . . . . . . . 93
6 Dire c oes de Busca 98
6.1 Estrutura B asica . . . . . . . . . . . . . . . . . . . . . . . . . 99
6.2 Busca em Dire c oes Aleat orias . . . . . . . . . . . . . . . . . . 100
6.3 Algoritmo do Gradiente . . . . . . . . . . . . . . . . . . . . . 102
6.3.1 C alculo do Gradiente . . . . . . . . . . . . . . . . . . . 103
6.3.2 Otimiza c ao Unidimensional . . . . . . . . . . . . . . . 104
6.3.3 Criterios de Parada . . . . . . . . . . . . . . . . . . . . 108
6.3.4 Convergencia . . . . . . . . . . . . . . . . . . . . . . . 112
6.4 Aproxima c oes Quadr aticas . . . . . . . . . . . . . . . . . . . . 115
6.4.1 Algoritmo de Newton . . . . . . . . . . . . . . . . . . . 118
6.4.2 Metodo de Newton Modicado . . . . . . . . . . . . . 119
6.4.3 Determina c ao Numerica da Hessiana . . . . . . . . . . 122
6.4.4 Constru c ao da Hessiana . . . . . . . . . . . . . . . . . 122
6.4.5 Corre c ao de Posto 1 . . . . . . . . . . . . . . . . . . . 124
6.4.6 Metodos Quasi-Newton . . . . . . . . . . . . . . . . . . 129
6.5 Tratamento de Restri c oes . . . . . . . . . . . . . . . . . . . . 132
6.5.1 Metodo de Barreira . . . . . . . . . . . . . . . . . . . . 132
6.5.2 Metodo de Penalidades . . . . . . . . . . . . . . . . . . 133
CONTE

UDO 3
6.6 Comportamento dos Metodos de Dire c ao de Busca . . . . . . . 135
6.6.1 N ao-Diferenciabilidade . . . . . . . . . . . . . . . . . . 135
6.6.2 N ao-Convexidade . . . . . . . . . . . . . . . . . . . . . 137
6.6.3 Multimodalidade . . . . . . . . . . . . . . . . . . . . . 138
7 Exclusao de Semi-Espa cos 139
7.1 Formula c ao Geral . . . . . . . . . . . . . . . . . . . . . . . . . 140
7.2 Metodos de Planos de Corte . . . . . . . . . . . . . . . . . . . 141
7.2.1 Algoritmo de Planos de Corte de Kelley . . . . . . . . 144
7.3 Algoritmo Elipsoidal . . . . . . . . . . . . . . . . . . . . . . . 144
7.3.1 Algoritmo Elipsoidal com Deep Cut . . . . . . . . . 146
7.4 Tratamento de Restri c oes . . . . . . . . . . . . . . . . . . . . 147
7.5 Caractersticas de Comportamento . . . . . . . . . . . . . . . 149
7.5.1 Descontinuidades e N ao-Diferenciabilidade . . . . . . . 149
7.5.2 N ao-Convexidade . . . . . . . . . . . . . . . . . . . . . 150
7.5.3 Multimodalidade . . . . . . . . . . . . . . . . . . . . . 150
7.5.4 Velocidade de Convergencia . . . . . . . . . . . . . . . 150
7.6 Algoritmo Cone-Elipsoidal . . . . . . . . . . . . . . . . . . . . 151
7.7 Deni c ao do Problema . . . . . . . . . . . . . . . . . . . . . . 152
7.8 Metodo Elipsoidal Convencional . . . . . . . . . . . . . . . . . 152
7.8.1 Problemas Difceis para o Metodo Convencional . . . . 153
7.9 Cones das Dire c oes Factibilizantes . . . . . . . . . . . . . . . . 155
7.10 O Metodo Cone-Elipsoidal . . . . . . . . . . . . . . . . . . . . 157
7.10.1 Primeira Reformula c ao do Problema . . . . . . . . . . 158
7.10.2 Segunda Reformula c ao do Problema . . . . . . . . . . . 160
7.11 O Algoritmo MCE . . . . . . . . . . . . . . . . . . . . . . . . 163
7.12 N ao-Convexidade de Restri c oes de Igualdade . . . . . . . . . . 164
7.13 Conclus oes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
8 Otimiza cao por Popula c oes 167
8.1 Algoritmo Evolucion ario Simples . . . . . . . . . . . . . . . . 169
8.2 Algoritmo de Simulated Annealing . . . . . . . . . . . . . . . 170
8.3 Algoritmos Geneticos . . . . . . . . . . . . . . . . . . . . . . . 173
8.3.1 Algoritmo Genetico - Codica c ao Bin aria . . . . . . . . 174
8.3.2 Algoritmo Genetico - Codica c ao Real - Polarizado . . 176
8.4 Sobre a Estrutura do AG-B e do AG-RP . . . . . . . . . . . . 181
8.4.1 Resultados para o AG-B . . . . . . . . . . . . . . . . . 181
8.4.2 Resultados para o AG-RP . . . . . . . . . . . . . . . . 194
CONTE

UDO 4
8.4.3 Teste das Propriedades de Convergencia . . . . . . . . 198
8.5 Metodologia de Avalia c ao da Eciencia de AGs . . . . . . . . 204
8.5.1 Metodologia de Avalia c ao . . . . . . . . . . . . . . . . 206
8.6 Tratamento de Restri c oes . . . . . . . . . . . . . . . . . . . . 212
8.7 Caractersticas de Comportamento . . . . . . . . . . . . . . . 212
8.7.1 Descontinuidades e N ao-Diferenciabilidade . . . . . . . 212
8.7.2 Multimodalidade . . . . . . . . . . . . . . . . . . . . . 212
8.7.3 Velocidade de Convergencia . . . . . . . . . . . . . . . 213
9 Exerccios - Otimiza cao Escalar 216
III Otimiza cao Vetorial 222
10 Solu c oes de Pareto 223
10.1 O Problema de Otimiza c ao Vetorial . . . . . . . . . . . . . . . 223
10.1.1 Nota c ao . . . . . . . . . . . . . . . . . . . . . . . . . . 224
10.2 Ordenamento de Solu c oes . . . . . . . . . . . . . . . . . . . . 225
10.3 O Conjunto Pareto-

Otimo . . . . . . . . . . . . . . . . . . . . 226
10.3.1 Conjunto localmente Pareto- otimo . . . . . . . . . . . 234
10.3.2 Solu c ao ut opica . . . . . . . . . . . . . . . . . . . . . . 235
10.4 O Problema de Determina c ao das Solu c oes Ecientes . . . . . 237
10.5 Condi c oes de Kuhn-Tucker para Eciencia . . . . . . . . . . . 238
11 Gera cao de Solu c oes Ecientes 242
11.1 Abordagem via Problema Ponderado . . . . . . . . . . . . . . 242
11.1.1 Interpreta c ao geometrica . . . . . . . . . . . . . . . . . 243
11.1.2 Algoritmos P

. . . . . . . . . . . . . . . . . . . . . . . 250
11.2 Abordagem via Problema -Restrito . . . . . . . . . . . . . . . 252
11.2.1 Algoritmos P

. . . . . . . . . . . . . . . . . . . . . . . 257
11.3 Abordagem hbrida: Ponderando e Restringindo . . . . . . . . 259
11.4 Abordagem da Programa c ao-Alvo . . . . . . . . . . . . . . . . 260
11.5 Abordagem P

. . . . . . . . . . . . . . . . . . . . . . . . . . 265
11.6 Teste de Eciencia . . . . . . . . . . . . . . . . . . . . . . . . 270
11.6.1 Algoritmos P

. . . . . . . . . . . . . . . . . . . . . . . 271
CONTE

UDO 5
12 Propriedades de Grupo 273
12.1 Verica c ao versus Falseamento . . . . . . . . . . . . . . . . . . 274
12.2 Estrutura do Conjunto Pareto-

Otimo . . . . . . . . . . . . . . 276
12.3 An alise Multiobjetivo . . . . . . . . . . . . . . . . . . . . . . 279
12.3.1 Consistencia . . . . . . . . . . . . . . . . . . . . . . . . 280
12.3.2 Ordenamento e Domin ancia . . . . . . . . . . . . . . . 281
12.3.3 Extens ao . . . . . . . . . . . . . . . . . . . . . . . . . . 281
12.3.4 Dados Extremos . . . . . . . . . . . . . . . . . . . . . 283
12.4 Decis ao e Sntese Multiobjetivo . . . . . . . . . . . . . . . . . 283
12.5 Algoritmo Genetico Multiobjetivo . . . . . . . . . . . . . . . . 285
12.5.1 Constru c ao do Algoritmo Genetico Multiobjetivo . . . 285
12.5.2 AG-RPMO . . . . . . . . . . . . . . . . . . . . . . . . 287
12.6 Exemplo de Aplica c ao: Projeto de Controladores . . . . . . . 293
12.6.1 Realimenta c ao completa de estados . . . . . . . . . . . 293
12.6.2 Realimenta c ao est atica de sadas . . . . . . . . . . . . 296
13 Exerccios - Otimiza cao Vetorial 299
Exerccios Computacionais . . . . . . . . . . . . . . . . . . . . 304
Parte I
Introdu cao e Conceitos
Preliminares
6
Captulo 1
Introdu cao
Este conjunto de notas de aula tem o objetivo de apresentar o lugar da oti-
miza c ao multiobjetivo, ou otimiza c ao vetorial dentro do problema de projeto
assistido por computador. Com o objetivo de sistematizar um conjunto de
conceitos necess arios ` a apresenta c ao da teoria da otimiza c ao vetorial, e ainda
para tornar este texto auto-contido, s ao apresentados alguns captulos iniciais
com a teoria da otimiza c ao escalar (ou mono-objetivo).
Neste captulo, discute-se:
1. o que e o problema de projeto assistido por computador (PAC) de sis-
temas;
2. qual e o papel dos mecanismos de otimiza c ao dentro dos sistemas de
PAC;
3. qual e o papel da abordagem multiobjetivo, no contexto dos problemas
de otimiza c ao em PAC.
Por m, e apresentada ainda neste captulo a formaliza c ao do problema de
otimiza c ao multiobjetivo.
1.1 Otimiza cao em Projeto Assistido por Com-
putador
Os mecanismos de otimiza c ao tratam da quest ao de determinar a melhor
solu c ao de problemas abstratos para os quais e possvel quanticar o grau
7
CAP

ITULO 1. INTRODUC

AO 8
de adequa c ao de cada solu c ao ` a necessidade em causa. Assim, esses mecanis-
mos se encontram presentes em uma grande variedade de aparatos tecnicos.
Alguns contextos nos quais s ao encontrados mecanismos de otimiza c ao s ao:
Problemas de gerencia (gest ao de recursos, gest ao da produ c ao, etc).
Nesse contexto, a otimiza c ao e usualmente denominada pesquisa ope-
racional.
Problemas especcos de projeto de aparatos. Nesse contexto, a teo-
ria de otimiza c ao e fundida com alguma outra teoria, dando origem a
sub-campos com denomina c ao especca, tais como: teoria de controle
otimo, teoria de identica c ao de sistemas, etc.
Sistemas de projeto assistido por computador.
No primeiro caso acima, existe em geral um modelo relativamente gros-
seiro do processo sob an alise. O pr oprio processo, por sua vez, pode ser
bastante complexo, possuindo muitas vezes um grande n umero de vari aveis.
Pode ser necess ario que a otimiza c ao seja executada rapidamente, para uti-
liza c ao dos resultados em tempo real. O resultado do mecanismo de oti-
miza c ao e utilizado, em geral, como uma linha de conduta, que serve para
guiar a a c ao gerencial, sem ter o papel entretanto de especicar os deta-
lhes dos procedimentos a serem seguidos. Isso tudo repercute no tipo de
sistema de otimiza c ao que e empregado nesse contexto, que ter a freq uente-
mente caractersticas do tipo: pouca necessidade de solu c oes precisas e alta
necessidade de execu c ao veloz.
No segundo caso, a formula c ao te orica do problema de otimiza c ao e sem-
pre embutida em um mecanismo especco para o sistema em quest ao. J a no
momento de formular o algoritmo, o mecanismo de otimiza c ao torna-se indi-
visvel do mecanismo de modelagem do sistema, de forma que os algoritmos
resultantes s ao inteiramente especcos para cada caso. Nessas situa c oes, em
geral, o modelo do processo e bastante renado (embora isso n ao queira ne-
cessariamente dizer que seja preciso, no sentido de equivaler ao sistema fsico
real que est a sendo tratado), sendo entretanto tambem bastante simples, no
sentido em que n ao preve uma grande diversidade de varia c oes nem uma
grande complexidade estrutural (ou seja, n ao admite modelos com diver-
sos blocos funcionais de naturezas diferentes interligados). Freq uentemente,
h a um conhecimento suciente do modelo em quest ao para que se possam
construir algoritmos que com certeza convergem para as solu c oes otimas no
CAP

ITULO 1. INTRODUC

AO 9
sentido analtico. Devido ` a especicidade do algoritmo empregado, este e
freq uentemente muito eciente computacionalmente.
O terceiro caso acima trata-se de uma situa c ao intermedi aria, entre o pri-
meiro em que s ao utilizados algoritmos gerais em problemas com formula c ao
grosseira e problemas em que s ao utilizados algoritmos especializados em
problemas com formula c ao bastante detalhada. Os mecanismos de projeto
assistido por computador aparecem onde quer que haja modelos de sistemas
a serem projetados. Nesse contexto, nem sempre ser a interessante desenvol-
ver algoritmos especcos para a otimiza c ao do processo em quest ao, uma
vez que: (i) o ganho em eciencia computacional pode n ao compensar o
trabalho de formula c ao te orica de um algoritmo especco e (ii) a comple-
xidade do problema pode ser excessiva, elevando de maneira substancial tal
esfor co te orico necess ario. S ao utilizados, portanto, algoritmos de prop osito
geral. Por outro lado, os modelos s ao freq uentemente bastante renados (o
que n ao impede a imprecis ao, ou seja, a existencia de desvios em rela c ao ` a
realidade fsica). Sua complexidade muitas vezes n ao permite que se conhe ca
de antem ao todas as propriedades desses modelos, de forma que n ao e trivial
o problema de saber se uma solu c ao e a melhor possvel, em um problema
de otimiza c ao. O n umero de vari aveis a otimizar normalmente n ao e muito
grande, o que reduz o custo computacional do processo de otimiza c ao. Por
outro lado, em geral n ao e crtico que se obtenham as solu c oes em curto
prazo, de forma que normalmente e possvel realizar c alculos extensivos, que
viabilizam metodos renados de busca de solu c oes.
Estas notas tratam de problemas de otimiza c ao nesse terceiro contexto.
Ser ao particularmente enfatizados aqui problemas de otimiza c ao de sistemas
com modelos n ao-lineares contnuos.
1.2 Sistemas de Projeto Assistido por Com-
putador
A gura 1.1 mostra um diagrama generico de um sistema de projeto assistido
por computador (PAC).
Esse sistema visa projetar um determinado dispositivo, para o qual e
disponvel um modelo computacional parametrizado. O projeto consiste na
escolha dos par ametros adequados do dispositivo, para que o mesmo tenha
um comportamento adequado.
CAP

ITULO 1. INTRODUC

AO 10
Interface
com
Projetista
Modelo
computacional
do dispositivo
escolha de
parmetros
simulao parmetros finais
simulao final
Sistema
de PAC
especificao
Figura 1.1: Diagrama de blocos de um sistema de projeto assistido por computador
generico.
O sistema fsico a ser projetado e modelado atraves de um conjunto de
equa c oes que descrevem as rela c oes entre as vari aveis do modelo, e que
comp oem o bloco modelo do sistema. O bloco modelo do sistema in-
clui ainda um mecanismo de simula c ao do funcionamento do sistema, dado
um conjunto de par ametros denidos pelo usu ario. O bloco interface com
o usu ario permite ao usu ario a deni c ao dos par ametros do sistema, e de-
volve ao mesmo a visualiza c ao do comportamento do sistema dados aqueles
par ametros (atraves, por exemplo, de gr acos). Esses dois blocos constituem,
juntos, o sistema mais elementar possvel de PAC, em que a intera c ao entre
o modelo do dispositivo e o projetista e feita diretamente. Este esquema e
mostrado na gura 1.2. O projetista neste caso, utilizando sua experiencia e
Interface
com
Projetista
Modelo
computacional
do dispositivo
escolha de
parmetros
simulao
Figura 1.2: Diagrama de blocos de um sistema de projeto assistido por computador
primitivo, constitudo apenas pelo modelo computacional do dispositivo a ser projetado.
conhecimento, vai variando os valores dos par ametros do dispositivo ate de-
terminar uma combina c ao considerada adequada. O problema b asico desse
esquema elementar de PAC e o excesso de op c oes que se colocam para o
projetista. Desde as melhores solu c oes (que s ao relativamente poucas) ate
as muito ruins (que se constituem, geralmente, na maioria das possibilidades
CAP

ITULO 1. INTRODUC

AO 11
de combina c oes de par ametros), todas est ao indiscriminadamente disponveis
para o projetista. O projetista ent ao n ao e guiado pelo sistema de PAC
para a escolha das op c oes razo aveis, tendo de utilizar apenas seu conheci-
mento, sua intui c ao ou sua sorte para procurar uma solu c ao de projeto que
seja adequada.
Para munir o projetista de ferramentas que efetivamente o auxiliem na es-
colha dos par ametros de projeto adequados, uma primeira abordagem possvel
e a inclus ao de uma base de dados de solu c oes ou de regras de projeto. Com
essa base e possvel, por exemplo, partir de solu c oes j a determinadas para
problemas anteriormente resolvidos, como solu c ao inicial para o problema
em quest ao. Se se tratar de uma base de regras de projeto, o conhecimento
anteriormente adquirido pode ser sistematizado, por exemplo atraves de me-
canismos de inteligencia articial, para auxiliar na triagem das solu c oes.
Uma outra abordagem seria a deni c ao, em termos quantitativos, do que
seriam os objetivos de projeto. Havendo tal deni c ao quantitativa, se-
ria possvel comparar de maneira inequvoca duas possveis solu c oes, sendo
possvel determinar de maneira n ao-ambgua qual delas e melhor. Com
tal maneira de ordenar as solu c oes em uma escala de piores e melhores,
torna-se possvel fazer a pr opria m aquina come car a gerar automaticamente
solu c oes e caminhar automaticamente para solu c oes cada vez melhores.
Esta e a abordagem da otimiza c ao, que ser a discutida neste trabalho. Neste
texto, ser a estudado especicamente o caso em que o sistema PAC e cons-
titudo por um mecanismo de otimiza c ao, como mostrado na gura 1.3.
Interface
com
Projetista
Modelo
computacional
do dispositivo
escolha de
parmetros
simulao
medida de
desempenho
Clculo de
Objetivos
Algoritmo de
Otimizao
definio de
objetivos e
restries
parmetros finais
simulao final
Figura 1.3: Diagrama de blocos de um sistema de projeto assistido por computador
`a base de um mecanismo de otimiza cao.
CAP

ITULO 1. INTRODUC

AO 12
1.3 Otimiza cao em PAC
Os sistemas de PAC baseados em otimiza c ao s ao denidos em termos de dois
blocos funcionais b asicos:
O modelo do sistema, incluindo agora uma avalia c ao de uma gura de
merito associada a uma dada implementa c ao do sistema. Esse bloco
possui como entradas os par ametros de projeto do sistema, e como
sada aquela gura de merito.
Um mecanismo otimizador, que possui como entrada a gura de
merito obtida do bloco anterior, e que produz como sada um conjunto
de par ametros de projeto (uma tentativa de solu c ao).
Esses blocos funcionais devem interagir autonomamente, sem interven c ao do
usu ario, produzindo ao nal do processo uma solu c ao otima, ou seja, um
conjunto de par ametros de projeto que minimiza (ou maximiza) a gura de
merito.
1.3.1 A Abordagem Escalar
Classicamente, os sistemas de PAC baseados em mecanismos de otimiza c ao
tem empregado a abordagem mono-objetivo, ou escalar. Isso signica que
a gura de merito que o mecanismo de otimiza c ao deve minimizar e um
funcional (uma fun c ao cuja imagem e escalar). Seja x R
n
o vetor de
par ametros de projetos que devem ser escolhidos, e f() : R
n
R o funcional-
objetivo que quantica a adequa c ao de cada solu c ao x (considere-se aqui a
conven c ao de que quanto menor f(x) melhor ser a a solu c ao x). O problema
de otimiza c ao pode ser expresso como:
x

= arg min
x
f(x) (1.1)
ou seja, o mecanismo de otimiza c ao deve ser capaz de determinar o vetor
x

que minimiza o funcional f(x). Esta e a formula c ao caracterstica dos

problemas de otimiza c ao irrestrita.
Na pr atica, alem de minimizar determinada fun c ao-objetivo, e necess ario
atender a certas restri c oes que correspondem a limita c oes de natureza fsica
ou tecnol ogica, ou mesmo ao fato de certas solu c oes n ao serem aceit aveis por
CAP

ITULO 1. INTRODUC

AO 13
motivos mais subjetivos. Para expressar tais restri c oes, denem-se regi oes
no espa co de par ametros R
n
atraves de desigualdades ou de igualdades:
g
i
(x) 0 i = 1, . . . , r
h
i
(x) = 0 i = 1, . . . , p
(1.2)
As solu c oes do problema de otimiza c ao ser ao procuradas apenas entre aque-
las que atenderem a tais igualdades e desigualdades. O problema de deter-
mina c ao de solu c oes que atendam ` as restri c oes (1.2) e o chamado problema
de factibilidade.
Um problema de otimiza c ao combinado com um problema de factibilidade
e a situa c ao mais freq uentemente encontrada na pr atica, sendo expresso por:
x

= arg min
x
f(x)sujeito a:

g
i
(x) 0 i = 1, . . . , r
h
i
(x) = 0 i = 1, . . . , p
(1.3)
A formula c ao (1.3) corresponde ` a chamada otimiza c ao restrita.
Sabe-se que os sistemas com signicado pr atico devem ser projetados para
atender a m ultiplos criterios de projeto, n ao necessariamente compar aveis
entre si. Considere-se um problema de projeto com m objetivos distintos:
x

i
= arg min
x
f
i
(x) i = 1, . . . , m
sujeito a:

g
i
(x) 0 i = 1, . . . , r
h
i
(x) = 0 i = 1, . . . , p
(1.4)
Esse problema conduzir a a m solu c oes distintas, cada qual atendendo da
melhor forma possvel a um dos objetivos. A quest ao que se coloca para
o projetista e: ser a possvel escolher apenas um dos objetivos de projeto
para implementar, ignorando os demais objetivos, ou haver a uma maneira
de considerar simultaneamente todos os objetivos distintos?
Exemplo 1.1 Determinado equipamento deve ser fabricado a um custo mnimo
de produ c ao, mas deve tambem apresentar o melhor desempenho possvel. Eviden-
temente, o projeto mais barato possvel tende a n ao apresentar o melhor desem-
penho, assim como o projeto que visa ao melhor desempenho possvel tende a n ao
ser o mais barato.
CAP

ITULO 1. INTRODUC

AO 14
Posta essa diculdade de lidar com objetivos que em geral s ao coni-
tantes, dentro da abordagem cl assica de otimiza c ao h a um expediente que
e em geral utilizado para tratar de m ultiplos objetivos: faz-se uma soma
ponderada dos objetivos, atribuindo maior pondera c ao ` aqueles considerados
de maior import ancia, e menor pondera c ao ` aqueles considerados de menor
import ancia. Com isso, constitui-se uma nova fun c ao objetivo que agora e
um escalar, composto de parcelas que correspondem aos m ultiplos objetivos:
x

= arg min
x

m
i=1

i
f
i
(x)
sujeito a:

g
i
(x) 0 i = 1, . . . , r
h
i
(x) = 0 i = 1, . . . , p
(1.5)
Este problema possui uma solu c ao unica, que foi gerada a partir de consi-
dera c oes que incluram todos os diferentes objetivos. Em princpio, variando-
se o valor dos diversos
i
, s ao obtidas diferentes solu c oes que ponderam dife-
rentemente os objetivos individuais. O problema e solucion avel por qualquer
metodo de otimiza c ao mono-objetivo.
Esse metodo de lidar com m ultiplos objetivos funciona, apresentando
resultados satisfat orios, em muitos contextos. Em diversos outros contextos,
entretanto, pode-se perceber que o metodo falha, se seus resultados forem
submetidos a uma an alise mais sutil. O ferramental para realizar tal an alise,
assim como para produzir as solu c oes adequadas, e fornecido pela otimiza c ao
multiobjetivo, ou otimiza c ao vetorial.
Exemplo 1.2 Para mostrar o tipo de diculdade que e possvel haver na uti-
liza c ao da abordagem mono-objetivo para a otimiza c ao de m ultiplos objetivos, e
aqui mostrado um exemplo em que tal abordagem falha completamente. Este exem-
plo ser a comentado em maior detalhe no momento adequado. Considerem-se as
duas fun c oes de uma unica vari avel:
f
1
(x) = 1 exp
_
(x4)
2
9
_
f
2
(x) = 1 exp
_
(x+4)
2
9
_
Suponha-se, para ns de raciocnio, que tratam-se de duas fun c oes signicando o
custo de uma pe ca (f
1
) e o desempenho da pe ca (f
2
), de acordo com uma unica
vari avel x considerada como par ametro de projeto da pe ca.
CAP

ITULO 1. INTRODUC

AO 15
-10 -8 -6 -4 -2 0 2 4 6 8 10
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Figura 1.4: Representa cao das fun c oes-objetivo f
1
, f
2
e das fun c oes ponderadas
0.7f
1
+ 0.3f
2
e 0.4f
1
+ 0.6f
2
.
Ambas as fun c oes est ao representadas no gr aco da gura 1.4 em tra co contnuo.
A fun c ao dada por:
F
1
(x) = 0.7f
1
(x) + 0.3f
2
(x)
aparece representada no mesmo gr aco em tra co-tra co. Se esta for a fun c ao-
objetivo escolhida, isto signica que o custo tem maior peso, e o desempenho menor
import ancia para o projetista. A fun c ao:
F
2
(x) = 0.4f
1
(x) + 0.6f
2
(x)
aparece em ponto-ponto. A escolha de tal fun c ao-objetivo signicaria que o pro-
jetista atribui maior import ancia ao desempenho, e uma import ancia um pouco
menor ao custo.
Pode-se perceber que F
1
(x) possui mnimo que coincide com o de f
1
(x), e que
F
2
(x) possui mnimo que coincide com o de f
2
(x). De fato, a solu c ao de qualquer
problema formulado como:
min
x
f
1
(x) + (1 )f
2
(x)
ir a sempre produzir como resultados apenas os pontos x = 4 e x = 4, ou seja, os
mnimos individuais de f
1
(x) ou de f
2
(x). Se o projetista se basear nos resultados
desse esquema de otimiza c ao, suas unicas alternativas ser ao: ou escolher a solu c ao
de mnimo custo (mnimo f
1
) ou ent ao escolher a solu c ao de m aximo desempe-
nho (mnimo f
2
). O projetista n ao ter a ` a sua disposi c ao nenhuma alternativa
intermedi aria.
CAP

ITULO 1. INTRODUC

AO 16
1.3.2 A Abordagem Vetorial
A abordagem de otimiza c ao multiobjetivo, ou otimiza c ao vetorial, parte da
constata c ao de que, havendo diversos objetivos em quest ao num problema
de projeto, haver a solu c oes de dois tipos:
1. Haver a solu c oes que, sob todos os objetivos simultaneamente consi-
derados, ser ao suplantadas por outras solu c oes. Isso signica que h a
solu c oes que conseguem valores menores de fun c ao objetivo para todos
os m objetivos f
i
(). Essas solu c oes, naturalmente, devem ser descar-
tadas, pois h a solu c oes melhores.
2. Haver a ainda solu c oes que, comparadas com outras solu c oes, ser ao me-
lhores em algum ou alguns objetivos, mas piores em outro ou outros
objetivos. Isso signica que o projetista, quando se deparar com um
par dessas solu c oes, dever a considerar a hip otese de adotar uma ou
outra (n ao dever a haver o descarte autom atico de nenhuma das duas),
sendo que a escolha provavelmente ser a realizada com algum grau de
subjetividade.
As solu c oes desse ultimo grupo s ao denominadas solu c oes ecientes ou solu c oes
Pareto- otimas. O conjunto dessas solu c oes e um objeto bem determinado,
posto um problema de otimiza c ao com m ultiplos objetivos. A determina c ao,
no todo ou em parte, desse conjunto, e um dos problemas centrais da oti-
miza c ao vetorial.
Deve-se observar que esse problema faz sentido exatamente porque em
princpio tende a n ao existir uma solu c ao unica x

que simultaneamente
minimiza todas as diferentes fun c oes-objetivo. Um problema com mais de
um objetivo tende a possuir um conjunto, em geral limitado, com innitas
solu c oes.
Para o objetivo de resolver um problema de projeto de determinado sis-
tema, deve-se convergir para uma unica solu c ao nal. O conjunto Pareto-
otimo constitui um elenco de alternativas, todas candidatas a se tornarem
essa solu c ao nal. Para viabilizar a sntese nal do sistema pelo projetista,
a otimiza c ao multiobjetivo emprega ainda uma outra etapa, na qual o con-
junto de solu c oes-candidatas e reduzido ate a determina c ao de uma unica
solu c ao, atraves de uma sistem atica de intera c ao com o projetista (ou deci-
sor). Essa etapa, que inclui uma sistem atica de busca (em uma trajet oria
sobre o conjunto Pareto- otimo), sup oe a existencia dentro do decisor de uma
CAP

ITULO 1. INTRODUC

AO 17
chamada fun c ao utilidade, que signica um padr ao de preferencias coerente
e ordenado.
O problema multiobjetivo (PMO) pode ent ao ser formulado como uma
combina c ao dessas etapas de determina c ao das solu c oes ecientes e de escolha
da solu c ao nal (aplica c ao da fun c ao utilidade).
1.4 Formula cao do Problema de Otimiza cao
Vetorial
Nesta se c ao, e apresentada preliminarmente a formula c ao completa do pro-
blema de otimiza c ao vetorial, incluindo as etapas de determina c ao do con-
junto de solu c oes Pareto- otimas e de aplica c ao a esse conjunto da fun c ao
utilidade. Essas formula c oes ser ao exploradas em detalhe nos captulos sub-
seq uentes.
1.4.1 Etapa de Determina cao das Solu c oes Ecientes
Seja x R
n
o vetor dos par ametros de projeto de um problema multiobjetivo
(PMO), e seja T
x
R
n
um subconjunto do espa co ao qual o vetor x se
encontra restrito. Seja ainda f() : R
n
R
m
o vetor de fun c oes-objetivo
desse problema. Dados f() e T
x
, o conjunto A

das solu c oes ecientes do

PMO descrito por:
min
x
f(x)
sujeito a: x T
x
(1.6)
ca denido univocamente. Naturalmente, e necess ario denir o que signi-
ca minimizar um vetor de fun c oes, o que ser a feito no captulo 10. Uma
caracteriza c ao operacional do conjunto A

e dada por:
A

x T
x
[ ,x
1
T
x
tal que f(x
1
) f(x) e f(x
1
) ,= f(x) (1.7)
Para a express ao (1.7) fazer sentido, e necess ario denir os operadores re-
lacionais e < envolvendo vetores, o que tambem ser a feito no captulo
10.
Algoritmos de determina c ao das solu c oes ecientes de um PMO ser ao
formulados, a partir das propriedades do conjunto A

que est ao implcitas

na deni c ao (1.7).
CAP

ITULO 1. INTRODUC

AO 18
1.4.2 Etapa de Decisao
Uma vez que se tenha determinado o conjunto das solu c oes ecientes do
problema, passa-se ` a etapa de escolha de uma solu c ao nal dentre essas
op c oes
1
.
O decisor real, que efetivamente ir a escolher a alternativa nal de projeto,
pode ser um ser humano projetista, ou toda uma equipe de projeto. As
alternativas de projeto devem ser apresentadas ao decisor, para que o mesmo
selecione aquela que efetivamente ser a implementada.
Caso o conjunto de solu c oes ecientes do problema envolva um conjunto
pequeno de alternativas, este pode ser todo apresentado ao decisor, para que
seja tomada uma decis ao com base na avalia c ao simult anea de todo o universo
de possibilidades ecientes. No entanto, este n ao e usualmente o caso.
Freq uentemente, existe uma quantidade muito grande de alternativas, que
n ao podem ser processadas simultaneamente pelo ser humano.

E necess aria,
portanto, uma sistem atica de apresenta c ao das alternativas, segundo uma
seq uencia que permita o afunilamento das escolhas de maneira consistente,
garantindo ao mesmo tempo que:
O n umero de consultas ao decisor ser a mantido no menor patamar
possvel, sendo que as respostas a cada consulta ser ao utilizadas para
eliminar uma grande quantidade de alternativas;
A cada consulta ao decisor, ser ao apresentados dados em quantidade
tal que um ser humano consiga lidar simultaneamente, sendo evitada a
apresenta c ao de dados em excesso que impossibilitem a formula c ao de
uma decis ao racional;
As melhores alternativas n ao ser ao perdidas, sendo que a sistem atica
de decis ao permitir a, de maneira determinstica, encontrar a mesma
solu c ao que seria alcan cada caso o decisor fosse apresentado a todas as
alternativas simultaneamente, e caso estivesse ao seu alcance processar
todas essas alternativas simultaneamente.
1

E possvel que a intera c ao entre o decisor e o sistema de projeto assistido por compu-
tador ocorra de tal forma que sejam concomitantes as etapas de determina c ao de solu c oes
ecientes e de escolha de decis ao. Nesse caso, cada solu c ao eciente que for determinada
ser a sumetida ao decisor, cuja opini ao direcionar a a escolha de uma nova solu c ao eci-
ente. Esse modelo de decis ao possivelmente envolve um menor n umero de avalia c oes das
fun c oes-objetivo, e um maior n umero de consultas ao decisor.
CAP

ITULO 1. INTRODUC

AO 19
O sistema de consultas ao decisor e o objeto da chamada etapa de decis ao
da otimiza c ao multiobjetivo.
Captulo 2
Deni c oes de Referencia
Neste captulo s ao estabelecidas diversas deni c oes matem aticas, que s ao
utilizadas para construir os conceitos que ser ao empregados no restante do
trabalho. Essas deni c oes n ao s ao diretamente relacionadas com o tema
da otimiza c ao, sendo antes deni c oes comuns a contextos matem aticos
diversos. Por este motivo, foram agrupadas neste captulo introdut orio.
As deni c oes aqui apresentadas s ao provenientes das fontes citadas. Por
vezes, a deni c ao e adaptada, tanto em termos formais quanto de nota c ao,
com o objetivo de assegurar a consistencia metodol ogica do conjunto dos
conceitos formulados, bem como a coerencia com o material desenvolvido
no restante deste trabalho. Entretanto, a deni c ao apresentada e sempre
equivalente ` a encontrada na fonte original. Este captulo apenas compila
conceitos j a denidos na literatura, tendo sido includo com o objetivo de
tornar preciso o signicado dos termos a serem empregados no restante do
trabalho.
2.1 Espa cos e Normas
As deni c oes contidas nesta se c ao seguem as referencias (Chen 1984) e (Vidyasagar
1993).
Deni cao 2.1 (Corpo) Um corpo consiste num conjunto, denotado F, de
elementos denominados escalares, e duas opera c oes chamadas adi c ao (+ :
F F F) e multiplica c ao ( : F F F), satisfazendo as seguintes
condi c oes , , F:
20
CAP

ITULO 2. DEFINIC

OES DE REFER

ENCIA 21
(C1) + F e F.
(C2) + = + e = .
(C3) ( + ) + = + ( + ) e ( ) = ( ).
(C4) ( + ) = ( ) + ( ).
(C5) F contem um elemento denotado por 0 e um elemento denotado por 1
tais que: + 0 = e 1 = .
(C6) A todo F corresponde um elemento F tal que + = 0.
(C7) A todo ,= 0 F corresponde um elemento F tal que = 1.

Deni cao 2.2 (Espa cos Vetoriais Lineares) Um espa co vetorial linear e
caracterizado por um conjunto 1, um corpo F e duas opera c oes, a opera c ao
adi c ao vetorial (+ : 1 1 1) e a opera c ao multiplica c ao por escalar
( : F 1 1), tais que os seguintes axiomas sejam v alidos x, y, z 1 e
c, c
1
, c
2
F:
(V1) x + y = y + x.
(V2) x + (y + z) = (x + y) + z.
(V3) Existe um elemento 0 1 tal que x +0 = 0 + x = x, x 1.
(V4) Para cada x 1 existe um elemento denotado por x 1 tal que
x + (x) = 0.
(V5) c
1
(c
2
x) = (c
1
c
2
) x.
(V6) c (x + y) = c x + c y.
(V7) (c
1
+ c
2
) x = c
1
x + c
2
x.
(V8) 1 x = x.

CAP

ITULO 2. DEFINIC

OES DE REFER

ENCIA 22
Deni cao 2.3 (Subespa co Vetorial) Denomina-se subespa co vetorial a
qualquer subconjunto / de um espa co vetorial linear 1 (sobre o corpo F) tal
que:
1. x, y / x + y /
2. x /, c F c x /.

Deni cao 2.4 (Norma) Seja 1 um espa co vetorial sobre o corpo dos reais.
Uma fun c ao F : 1 R com imagem no conjunto dos n umeros reais e
domnio no conjunto 1 e denominada uma norma dos elementos de 1 se
satisfaz as seguintes propriedades x, y 1 e R:
(N1) F(x) 0, F(x) = 0 x = 0.
(N2) F(x) = [[ F(x).
(N3) F(x + y) F(x) + F(y).
A nota c ao |x| ser a empregada genericamente neste texto para indicar F(x).
O contexto dever a deixar claro a que espa co e a que norma especcos tal
nota c ao se refere.

Deni cao 2.5 (Normas Vetoriais p) Seja x R

n
um vetor real de di-
mens ao nita, e seja x
i
sua i-esima componente escalar. Sua norma p, de-
notada por |x|
p
, e denida pela express ao:
|x|
p
=

i=1
[x
i
[
p
1
p
, 1 p < (2.1)
Para p = a deni c ao e:
|x|

= max
1in
[x
i
[ (2.2)

CAP

ITULO 2. DEFINIC

OES DE REFER

ENCIA 23
Exemplo 2.1 A norma euclideana de um vetor e um exemplo de uma norma p,
para p = 2:
x
2
=

_
n

i=1
x
2
i
(2.3)

Deni cao 2.6 (Q-norma Vetorial) Seja x R

n
um vetor de dimens ao
nita, e seja Q R
nn
uma matriz simetrica denida positiva, ou seja,
Q = Q

> 0. A Q-norma de x e denida como |x

Qx|
2
, ou seja, a norma
vetorial 2 do vetor x

Qx.
Deni cao 2.7 (Espa cos Normados) Um espa co normado c e um par or-
denado (1, F) em que 1 e um espa co vetorial sobre um corpo F e F : 1 R
e uma norma aplic avel aos elementos de 1. O espa co normado c e denido
como:
x c (F(x) < , x 1) (2.4)

Deni cao 2.8 (Convergencia de Seq uencia) Seja uma seq uencia orde-
nada de vetores x
i
, i = 1, . . . , pertencentes a um espa co vetorial nor-
mado (A, ||). Diz-se que essa seq uencia converge para x
0
A se, para todo
escalar > 0, existe um inteiro N = N() tal que:
|x
i
x
0
| < , i N (2.5)

Deni cao 2.9 (Seq uencia de Cauchy) Seja uma serie ordenada de veto-
res x
i
, i = 1, . . . , pertencentes a um espa co vetorial normado (A, ||).
Essa serie e denominada uma seq uencia de Cauchy se, para todo escalar
> 0, existe um inteiro N = N() tal que:
|x
i
x
j
| < i, j > N (2.6)

Deni cao 2.10 (Espa co de Banach) Um espa co linear normado (A, ||)
e dito ser completo, ou um espa co de Banach, se toda seq uencia de Cauchy
em (A, ||) converge para um elemento de A.

CAP

ITULO 2. DEFINIC

OES DE REFER

ENCIA 24
Exemplo 2.2 Um exemplo de espa co de Banach e o espa co R
n
, no qual toda
seq uencia de Cauchy converge para um ponto desse mesmo espa co. Um exemplo
de espa co que n ao e espa co de Banach e o espa co Q
n
, dos vetores sobre o corpo
dos n umeros racionais. Claramente, algumas seq uencias em Q, que corresponde
ao caso n = 1, convergem para n umeros irracionais, que se encontram fora de Q.

2.2 Espa cos Topol ogicos

As deni c oes a seguir s ao extradas principalmente de (Rudin 1991).
Um conjunto S e um subconjunto de um conjunto C se:
x S x C (2.7)
o que se representa por S C ou C S. De especial interesse neste curso
s ao conjuntos (subconjuntos) do espa co R
n
de vetores reais de dimens ao n.
Deni cao 2.11 (Espa cos Topol ogicos) Um espa co topol ogico e um con-
junto o para o qual uma cole c ao de subconjuntos, denominados conjuntos
abertos foi especicada, com as seguintes propriedades:
i. o e aberto;
ii. e aberto;
iii. a interse c ao de dois conjuntos abertos quaisquer e um conjunto aberto;
iv. a uni ao de dois conjuntos abertos quaisquer e um conjunto aberto.

Uma possvel maneira de denir conjuntos abertos em espa cos vetoriais

normados, para estabelecer topologias nos mesmos, e apresentada a seguir:
Deni cao 2.12 (Conjunto Aberto em Espa cos Normados) Seja A um
conjunto contido em um espa co normado. O conjunto A e dito ser aberto
se:
x
o
A [ x A |x x
o
| < (2.8)

CAP

ITULO 2. DEFINIC

OES DE REFER

ENCIA 25
Deni cao 2.13 (Vizinhan ca) Seja um ponto x contido em um espa co to-
pol ogico. Uma vizinhan ca de x e qualquer conjunto aberto que contenha x.

Deni cao 2.14 (Complemento de Conjunto) Seja A Q um conjunto

contido em outro conjunto Q. O conjunto e o complemento de A em
rela c ao a Q se:
A = Q
A =
(2.9)

Deni cao 2.15 (Conjunto Fechado) Seja A um conjunto contido em um

espa co topol ogico. O conjunto A e dito ser fechado se seu complemento em
rela c ao ao espa co for aberto.

Deni cao 2.16 (Conjunto Compacto) Seja o conjunto Q R

n
. Esse
conjunto e dito compacto se for fechado e se dados quaisquer dois pontos
x
1
, x
2
Q, eles se encontram a uma dist ancia nita um do outro:
|x
1
x
2
| = < (2.10)

Deni cao 2.17 (Fecho de Conjunto) Seja A um conjunto contido em

um espa co topol ogico. O fecho de A, denotado por A, e denido como a
interse c ao de todos os conjuntos fechados que contem A.

Deni cao 2.18 (Interior de Conjunto) Seja A um conjunto contido em

um espa co topol ogico. O interior de A, denotado por A

, e denido como a
uni ao de todos os conjuntos abertos contidos em A.

Deni cao 2.19 (Fronteira de Conjunto) Seja A um conjunto contido

em um espa co topol ogico. A fronteira de A, denotada por A, e denida
como a diferen ca entre o fecho de A e seu interior:
A A
A A

=
(2.11)

CAP

ITULO 2. DEFINIC

OES DE REFER

ENCIA 26
Deni cao 2.20 (Conjunto Conexo) Seja o conjunto Q R
n
. Esse con-
junto e dito conexo se, dados quaisquer dois pontos x
1
, x
2
Q, existe uma
curva contnua nita q tal que x
1
q, x
2
q, e q Q.
Deni cao 2.21 (Conjunto Convexo) Seja um conjunto A, contido em
um espa co vetorial, e seja a fun c ao x(x
1
, x
2
, ) denida por:
x(x
1
, x
2
, ) = x
1
+ (1 )x
2
(2.12)
para x
1
e x
2
elementos do espa co vetorial e um escalar. Se se vericar:
x
1
, x
2
A ; 0 1 x(x
1
, x
2
, ) A (2.13)
ent ao o conjunto A e dito ser convexo.

Proposi cao 2.1 (Propriedades de Conjuntos Convexos) Dados dois

conjuntos convexos A e B, ent ao s ao tambem conjuntos convexos:
i. A, R
ii. A B
iii. A + B x : x = a + b , a A, b B

O conjunto vazio e denido como convexo.

Deni cao 2.22 (Fecho Convexo) O fecho convexo de um conjunto A,
denotado por conv A, e denido como a interse c ao de todos os conjuntos
convexos que contem o conjunto A.

Deni cao 2.23 (Casca Convexa) A casca convexa ((S) de um conjunto

S e denida como o menor conjunto convexo que contem S, ou seja:
i. ((S) e um conjunto convexo
ii. x S x ((S)
CAP

ITULO 2. DEFINIC

OES DE REFER

ENCIA 27
iii. ,D convexo tal que:
D S
D ((S)
D ,= ((S)

2.3 Cones
Um conjunto de grande interesse e o cone.
Deni cao 2.24 (Cone) Um conjunto C e um cone se:
x C (x) C 0 (2.14)

Deni cao 2.25 (Cone Gerado) O cone gerado pelos vetores x e y e o

conjunto denido por:
C = z : z = x + y, , 0 (2.15)

Deni cao 2.26 (Cone Polar) O cone polar associado a um conjunto C,

denotado por C

, e o conjunto denido por:

C

= y : y

x 0 , x C (2.16)

CAP

ITULO 2. DEFINIC

OES DE REFER

ENCIA 28
2.4 Hiperplanos e Poliedros
Um conjunto convexo particularmente importante e o hiperplano.
Deni cao 2.27 (Hiperplano) Seja c um vetor diferente de 0 e um es-
calar qualquer. Ent ao o conjunto:
H = x : c

x = (2.17)
dene um hiperplano.
A cada hiperplano correspondem semi-espa cos abertos e fechados:
semi-espa cos fechados

x : c

x
H

x : c

x
semi-espa cos abertos

H
>
x : c

x >
H
<
x : c

x <
(2.18)
Note que para qualquer hiperplano H:
R
n
= H

H
>
= H

H
<
(2.19)
Deni cao 2.28 (Politopo e Poliedro) A interse c ao de um n umero nito
de semi-espa cos fechados e chamada de politopo. Um politopo limitado e
chamado de poliedro.
Deni cao 2.29 (Hiperplano Suporte) Um hiperplano H que contem pelo
menos um ponto da fronteira de um conjunto C e que situa esse conjunto C
inteiramente no interior de um de seus semi-espa cos fechados e chamado de
hiperplano suporte de C.
Em outras palavras, se C admite um hiperplano suporte em um ponto x
0
de
sua fronteira, ent ao existem um vetor c ,= 0 e um escalar R tais que:
H =

x : c

x
0
=

e C H

ou C H

(2.20)
Conjuntos convexos fechados podem ser caracterizados pela interse c ao de
todos os semi-espa cos fechados que os contem.
Captulo 3
Caracteriza cao das Fun c oes
O problema de otimiza c ao, na sua formula c ao mono-objetivo, pode ser de-
nido como:
x

= arg min
x
f(x)
sujeito a:

g
i
(x) 0 ; i = 1, . . . , r
h
j
(x) = 0 ; j = 1, . . . , p
(3.1)
sendo que x R
n
, f() : R
n
R
1
, g() : R
n
R
r
, e h() : R
n
R
p
.
A escolha de tecnicas adequadas para tratar esse problema depende da
natureza das fun c oes f(x), g(x) e h(x). N ao h a uma tecnica de otimiza c ao
que seja universal, no sentido de ser a melhor tecnica para otimizar quais-
quer fun c oes. O objetivo deste captulo e o de formular caracteriza c oes para
essas fun c oes que sejam relevantes para a constru c ao e an alise de algoritmos
para sua otimiza c ao.
Neste captulo s ao postas as seguintes quest oes, relacionadas com a quest ao
de o que s ao as solu c oes do problema (3.1):
1. Dado o funcional
1
f(), o que s ao os pontos de mnimo desse funcional,
ou seja, o que s ao as solu c oes do problema de otimiza c ao?
2. O que s ao os pontos de mnimo desse funcional, se s ao dadas tambem
as restri c oes g
i
(x) 0 e h
i
(x) = 0?
1
Um funcional e uma fun c ao de um espa co vetorial em seu pr oprio corpo, ou seja, que
retorna um unico valor (um n umero escalar) cuja natureza e a mesma das componentes
do argumento. Ou seja, se f() e um funcional real ent ao f : R
n
R
1
.
29
CAP

ITULO 3. CARACTERIZAC

AO DAS FUNC

OES 30
3. Dado um ponto x R
n
, que tipo de testes podem ser realizados para
determinar se esse ponto e ou n ao um ponto de mnimo de f(), nos
dois casos acima?
Respostas a essas quest oes ser ao fornecidas tanto num sentido local (mnimos
locais) quanto global (mnimos globais).
Alem de caracterizar as solu c oes do problema (3.1), e necess ario agregar
alguma informa c ao que seja util para se decidir como proceder para encontrar
tais solu c oes. Algumas caracteriza c oes uteis, denidas a seguir neste captulo,
classicam as fun c oes em:
1. Unimodais ou multimodais;
2. Contnuas ou descontnuas;
3. Diferenci aveis ou n ao diferenci aveis;
4. Convexas, quasi-convexas ou n ao convexas.
Cada uma dessas informa c oes a respeito da fun c ao, se estiver disponvel,
permite a agrega c ao de um certo tipo de informa c ao de car ater global que
auxilia o processo de otimiza c ao.
3.1 Superfcies de Nvel e Modalidade
A caracteriza c ao de fun c oes adotada aqui se fundamenta nos conceitos de
superfcie de nvel e de regi ao sub-nvel.
Deni cao 3.1 (Superfcie de Nvel) Seja f() : C R
n
R. A su-
perfcie de nvel S(f, ), associada ao nvel , e denida como:
S(f, ) = x C [ f(x) = (3.2)

Deni cao 3.2 (Regiao Sub-Nvel) Seja f() : C R

n
R. A regi ao
sub-nvel R(f, ), associada ao nvel , e denida como:
R(f, ) = x C [ f(x) (3.3)

CAP

ITULO 3. CARACTERIZAC

AO DAS FUNC

OES 31
Normalmente S(f, ) corresponde a uma fronteira de R(f, ), embora
seja possvel escolher C de forma que isso n ao ocorra. Claramente e v alida
uma rela c ao de ordena c ao das regi oes de sub-nvel de uma fun c ao:
Proposi cao 3.1 Seja f() : C R
n
R. As regi oes de sub-nvel dessa
fun c ao obedecem a:
R(f,
1
) R(f,
2
)
1
>
2
(3.4)

Podem-se pensar os problemas de otimiza c ao como sendo equivalentes a

um problema de determinar pontos que estejam sucessivamente no interior
de regi oes de sub-nvel cada vez inferiores (de menor valor de ). Em linhas
gerais, se se constroem algoritmos que produzem tais seq uencias de pontos,
produz-se uma contra c ao do conjunto denido pelas regi oes de sub-nvel,
sendo a solu c ao atingida quando a regi ao de sub-nvel se degenerar nos pontos
de otimo.
As regi oes de sub-nvel, analisadas sob o ponto de vista topol ogico, de-
nem uma categoriza c ao importante para as fun c oes:
Deni cao 3.3 (Fun cao Unimodal) Seja f() : C R
n
R. Diz-se que
f() e unimodal se R(f, ) e conexo para todo R. Diz-se ainda que f() e
estritamente unimodal se, alem disso, R(f, ) e um conjunto compacto para
todo R.
Por simetria, dene-se ainda:
Deni cao 3.4 (Fun cao Multimodal) Seja f() : C R
n
R. Diz-se
que f() e multimodal se existe R tal que R(f, ) n ao e conexo.
Nota 3.1 Note-se que uma fun c ao unimodal pode possuir m ultiplos mnimos,
desde que o conjunto destes forme um conjunto conexo, e uma fun c ao estritamente
unimodal tambem pode possuir m ultiplos mnimos, desde que o conjunto destes
forme um conjunto conexo compacto. O primeiro caso ocorre, por exemplo, para
a fun c ao:
f(x) =
_
x
1
x
2

_
1 0
0 0
_ _
x
1
x
2
_
para a qual todos os pontos que pertencem ao eixo x
1
= 0 (esses pontos formam um
conjunto conexo mas n ao compacto) constituem mnimos. Essa observa c ao revela
CAP

ITULO 3. CARACTERIZAC

AO DAS FUNC

OES 32
uma diferen ca fundamental das no c oes de fun c ao unimodal e de fun c ao multimodal
aqui denidas em rela c ao ` as deni c oes usualmente encontradas na literatura. O
presente autor acredita que, no formato apresentado neste texto, essas deni c oes
ganham maior funcionalidade para articularem a teoria de otimiza c ao.

3.1.1 Bacias de Atra cao

Ao redor de mnimos locais, sempre haver a regi oes nas quais a fun c ao se
comportar a de maneira unimodal. Tais regi oes s ao denidas como bacias
de atra c ao associadas a tais mnimos. Para estabelecer essa deni c ao, e
necess ario denir preliminarmente a regi ao conexa de sub-nvel.
Deni cao 3.5 (Regiao Conexa de Sub-Nvel) Seja f() : C R
n
R,
seja a regi ao de sub-nvel R(f, ), associada ao nvel , e seja um ponto
x
o
R(f, ). A regi ao conexa de sub-nvel R
c
(f, , x
o
) e denida como o
maior subconjunto conexo de R(f, ) que contem x
o
.
Agora e possvel denir bacia de atra c ao:
Deni cao 3.6 (Bacia de Atra cao) Seja f() : C R
n
R, e seja x

C
um mnimo local de f(). A bacia de atra c ao de x

e denida como a maior

regi ao conexa de sub-nvel associada a x

, sendo

o nvel correspondente,
tal que a fun c ao restrita a essa regi ao:
f() : R
c
(f,

, x

) R (3.5)
e unimodal. A bacia de atra c ao e dita estrita se nessa regi ao a fun c ao e
estritamente unimodal.
3.2 Continuidade e Diferenciabilidade
Suposi c oes de continuidade e de diferenciabilidade das fun c oes permitem ex-
trair conseq uencias interessantes a respeito de suas superfcies de nvel e
bacias de atra c ao.
Proposi cao 3.2 Seja f() : C R
n
R. Se f() e contnua no domnio
C, ent ao
dist(S(f,
1
), S(f,
2
)) > 0 (
1
,
2
) [ [
1

2
[ > 0 (3.6)
sendo dist(, ) a fun c ao dist ancia.
CAP

ITULO 3. CARACTERIZAC

AO DAS FUNC

OES 33
Corolario 3.1 Superfcies de nvel de fun c oes contnuas n ao se tocam nem
se cruzam.
Proposi cao 3.3 Seja f() : C R
n
R. Se f() e diferenci avel no
domnio C, ent ao toda superfcie de nvel S(f, ) e suave, sendo o hiperplano
tangente ` a superfcie em cada ponto perpendicular ao gradiente da fun c ao no
ponto.
A hip otese de diferenciabilidade de uma fun c ao permite elaborar es-
trategias de otimiza c ao baseadas no fato de que o gradiente de uma fun c ao
(que, no caso de fun c oes diferenci aveis, e sempre bem denido) indica quais
s ao as dire c oes do espa co para as quais, partindo-se de um ponto, ocorre lo-
calmente a diminui c ao da fun c ao. Isso equivale ` a determina c ao das dire c oes
para as quais se caminha para regi oes de sub-nvel inferiores. A proposi c ao
a seguir formaliza esse fato, que deriva da proposi c ao 3.3.
Proposi cao 3.4 Seja f() : C R
n
R uma fun c ao diferenci avel no
domnio C, seja x
o
um ponto pertencente ` a superfcie de nvel S(f, ) e seja
f(x
o
) o gradiente de f() no ponto x
o
. Seja ainda um vetor d R
n
. Ent ao,
se:
d f(x
o
) < 0 (3.7)
ent ao existe > 0 tal que:
f(x
o
+ d) < f(x
o
) (3.8)

3.3 Convexidade e Quasi-Convexidade

Outro tipo de informa c ao que pode ser util em processos de otimiza c ao diz
respeito ` a convexidade das fun c oes.
Deni cao 3.7 (Fun cao Convexa) Diz-se que uma fun c ao f() : C
R
n
R denida sobre um conjunto convexo C e convexa se para quaisquer
x, y C,
f (x + (1 )y) f(x) + (1 )f(y) (3.9)
para todo [0, 1]. Se para quaisquer x, y C, sendo x ,= y e 0 < < 1, a
desigualdade e estrita, ent ao f() e estritamente convexa.
CAP

ITULO 3. CARACTERIZAC

AO DAS FUNC

OES 34
Analogamente, f() e (estritamente) c oncava se f() for (estritamente)
convexa.
Deni cao 3.8 (Subgradiente) Seja uma fun c ao convexa f() : R
n
R.
Um funcional linear f
sb
e um subgradiente de f no ponto x
0
se:
f(x) f(x
0
) + f
sb
(x x
0
) , x (3.10)

Proposi cao 3.5 (Caracteriza c oes de Fun c oes Convexas) Seja f() uma
fun c ao duas vezes diferenci avel, sobre um conjunto convexo C R
n
. Ent ao
s ao equivalentes as armativas abaixo:
i. f (x + (1 )y) f(x) + (1 )f(y) [0, 1]
ii. f(y) f(x) +f(x)

(y x) x, y C
iii. F(x) 0 x C
sendo f(x) o vetor gradiente no ponto x e F(x) a matriz hessiana no ponto
x.
Exerc

cio 3.1 Demonstre a proposi c ao 3.5.

Como no caso de conjuntos convexos, e possvel obter fun c oes convexas a
partir de combina c oes convexas.
Proposi cao 3.6 (Combina c oes Convexas) Sejam f
i
() : C
i
R
n

R fun c oes convexas denidas sobre conjuntos convexos C

i
, i = 1, . . . , m.
Ent ao:
i. f
i
() e convexa sobre C
i
, 0
ii.
m

i=1

i
f
i
() e convexa sobre
m

i=1
C
i
para
i
0 , i = 1, . . . , m

Exerc

cio 3.2 Demonstre a proposi c ao 3.6.

CAP

ITULO 3. CARACTERIZAC

AO DAS FUNC

OES 35
Proposi cao 3.7 Seja f() : C R
n
R uma fun c ao convexa sobre C
convexo. Ent ao a regi ao de sub-nvel R(f, ) e convexa para todo R.

A recproca n ao e verdadeira.
A convexidade de R(f, ) dene um novo tipo de fun c ao, as fun c oes quasi-
convexas:
Deni cao 3.9 (Fun cao Quasi-Convexa) Seja f() : C R
n
R uma
fun c ao tal que suas regi oes de sub-nvel R(f, ) s ao convexas para todo R.
Nesse caso, diz-se que f() e quasi-convexa no domnio C.
Proposi cao 3.8 Se f() : C R
n
R e uma fun c ao quasi-convexa, ent ao:
f (x + (1 )y) max f(x), f(y) x, y C , [0, 1] (3.11)

Outro resultado envolvendo conjuntos e fun c oes convexas pode ser obtido a
partir da deni c ao de Epgrafo:
Deni cao 3.10 (Epgrafo) O epgrafo de uma fun c ao f() : C R
n
R
e denido como:
[f, C] = (x, ) R
n
R : x C , f(x) (3.12)

Proposi cao 3.9 Uma fun c ao f() : C R

n
R denida sobre C convexo
e convexa se e somente se [f, C] e um conjunto convexo.
Como todo conjunto convexo, o epgrafo de uma fun c ao convexa admite
hiperplanos suporte em qualquer ponto de sua fronteira.
A convexidade de fun c oes pode ser relacionada com as regi oes de sub-
nvel, superfcies de nvel e bacias de atra c ao.
CAP

ITULO 3. CARACTERIZAC

AO DAS FUNC

OES 36
Proposi cao 3.10 Todas as regi oes de sub-nvel de uma fun c ao convexa num
domnio convexo s ao conjuntos convexos.
Proposi cao 3.11 Uma fun c ao convexa em um domnio convexo possui uma
unica bacia de atra c ao, a qual e um conjunto convexo.
A informa c ao a respeito da convexidade de uma fun c ao pode ser usada
em um processo de otimiza c ao a partir da proposi c ao a seguir.
Proposi cao 3.12 Seja uma fun c ao convexa f() : C R
n
R, seja um
ponto qualquer x
o
R
n
, e seja s(x
o
) R
n
um vetor subgradiente da fun c ao
no ponto. Ent ao a regi ao de sub-nvel que possui o ponto x
o
em sua fronteira
est a contida no semi-espa co fechado negativo denido pelo vetor subgradiente
no ponto x
o
, ou seja:
E
s
= x R
n
[ (x x
o
) s(x
o
) 0
R(f, f(x
o
)) E
s
(3.13)

3.4 Mnimos Locais e Mnimos Globais

Examina-se agora a quest ao de denir o que s ao as solu c oes do problema
de otimiza c ao. Uma deni c ao geral de mnimos locais, que abarca todas as
possibilidades de sua ocorrencia, e apresentada a seguir.
Deni cao 3.11 (Mnimo Local) Seja f() : C R
n
R. Um ponto x

e um mnimo local de f() sobre C se existe > 0 tal que

f(x

) f(x) , x 1(x

, ) C (3.14)
onde 1(x

, ) x : |x x

| < . O ponto x

C e um mnimo local
estrito se vale a desigualdade estrita para x ,= x

.
Naturalmente, o conjunto C e o subconjunto do espa co R
n
denido pelas
restri c oes:
C x R
n
[ g
i
(x) 0 ; i = 1, . . . , m ; h
j
(x) = 0 ; j = 1, . . . , p (3.15)

E possvel, a partir desta deni c ao, construir a deni c ao de mnimo global

do funcional. Se for possvel escolher > 0 tal que 1(x

, ) C = C, ent ao
x

e um mnimo global de f() sobre C. O mnimo global e ainda estrito se

a desigualdade for satisfeita de modo estrito.
CAP

ITULO 3. CARACTERIZAC

AO DAS FUNC

OES 37
3.5 Caracteriza cao dos Mnimos Locais
Considere-se a seguir a nota c ao (
n
para representar o conjunto das fun c oes
n vezes continuamente diferenci aveis.
Proposi cao 3.13 (Otimiza cao Irrestrita) Seja f() (
2
e x

R
n
. Se
forem simultaneamente satisfeitas:
i. f(x

) = 0
ii. F(x

) > 0
ent ao x

e um mnimo local estrito de f() sobre R

n
.
Proposi cao 3.14 (Otimiza cao Restrita - Igualdade) Sejam f() (
2
e h
i
() (
2
, i = 1, . . . , r e x

tal que h
i
(x

) = 0 , i = 1, . . . , r. Se existem
multiplicadores
1
,
2
, . . . ,
r
tais que
i. f(x

) +
r

i=1

i
h
i
(x

) = 0
ii. F(x

)+
r

i=1

i
H
i
(x

) > 0 sobre M = y R
n
: h
i
(x

y = 0 , i = 1, . . . , r
s ao simultaneamente satisfeitos, ent ao x

e um mnimo local estrito de f()

sujeito a h
i
(x) = 0 , i = 1, . . . , r.
Proposi cao 3.15 (Otimiza cao Restrita - Desigualdade) Sejam f()
(
2
e g
i
() (
2
, i = 1, . . . , p e x

tal que g
i
(x

) 0 , i = 1, . . . , p. Se existem
multiplicadores
1
,
2
, . . . ,
p
tais que
i.
i
0 , i = 1, . . . , p
ii.
i
g
i
(x

) = 0 , i = 1, . . . , p
iii. f(x

) +
p

i=1

i
g
i
(x

) = 0
iv. F(x

)+
p

i=1

i
G
i
(x

) > 0 sobre M = y R
n
: g
i
(x

y = 0 , i I(x

),
I(x

) = i : g
i
(x

) = 0 ,
i
> 0
CAP

ITULO 3. CARACTERIZAC

AO DAS FUNC

OES 38
s ao simultaneamente satisfeitos, ent ao x

e um mnimo local estrito de f()

sobre g
i
(x) 0 , i = 1, . . . , p.
Condi c oes necess arias adquirem car ater suciente se o problema conside-
rado e convexo: f() e uma fun c ao convexa e as restri c oes determinam uma
regi ao factvel convexa. Nestas circunst ancias, qualquer mnimo local de f()
e tambem um mnimo global.
Deni cao 3.12 (Dire cao Factvel) Seja o conjunto dos pontos factveis
em um problema de otimiza c ao com restri c oes. Diz-se que d e uma dire c ao
factvel a partir de um ponto x
0
se existe um > 0 tal que (x
0
+ d)
[0, ].
Proposi cao 3.16 (Condi c oes Necessarias de 1a Ordem) Seja R
n
e f uma fun c ao diferenci avel sobre . Se x

e um mnimo local de f sobre

, ent ao para qualquer d R
n
que seja uma dire c ao factvel em x

tem-se
que:
f(x

d 0 (3.16)

Demonstrac

ao: Se d e factvel em x

, ent ao
x() = x

+ d [0, ]
Seja v() = f(x()); ent ao v possui um mnimo em = 0. Em serie de Taylor:
v() = v(0) + v(0) +O()
Se v(0) < 0 ent ao para > 0 sucientemente pequeno tem-se v() < v(0), o que
contraria a hip otese de otimalidade de v(0). Portanto v(0) = f(x)

d 0.
Proposi cao 3.17 (Condi c oes Necessarias de 2a Ordem) Seja R
n
e f uma fun c ao duas vezes diferenci avel sobre . Se x

e um mnimo local
de f sobre , ent ao para qualquer d R
n
factvel em x

, tem-se que:
i. f(x

d 0
ii. Se f(x

d = 0, ent ao d

F(x

)d 0
CAP

ITULO 3. CARACTERIZAC

AO DAS FUNC

OES 39

Demonstrac

ao: Suponha que v(0) = f(x

d = 0. Neste caso:
v() = v(0) +
1
2
v(0)
2
+O(
2
)
Se v(0) < 0, ent ao v() < v(0) para > 0 sucientemente pequeno, o que contraria
a hip otese de otimalidade. Portanto v(0) = d

F(x

)d 0.
Nota 3.2 Observe-se que se x

e um ponto interior de ent ao as condi c oes se

reduzem a:
i. f(x

) = 0
ii. d

F(x

)d 0 , d R
n

Deni cao 3.13 (Ponto Regular) Um ponto x

satisfazendo um conjunto
de restri c oes de igualdade h(x

) = 0 e um conjunto de restri c oes de desigual-

dade g(x

) 0 e chamado de ponto regular dessas restri c oes se os vetores

gradiente h
i
(x

) e g
j
(x

) para todo j tal que g

j
(x

) = 0 forem linearmente
independentes.
A seguinte condi c ao de primeira ordem para otimalidade de um problema
generico de otimiza c ao, apresentada por Kuhn e Tucker em 1951, possui
import ancia hist orica, servindo de base para diversos algoritmos numericos
de otimiza c ao existentes.
Proposi cao 3.18 (Condi c oes Necessarias de Kuhn-Tucker para Oti-
malidade) Seja x

um ponto regular das restri c oes do problema de oti-

miza c ao:
min f(x)
sujeito a

h
i
(x) = 0 , i = 1, . . . , l
g
j
(x) 0 , j = 1, . . . , m
(3.17)
CAP

ITULO 3. CARACTERIZAC

AO DAS FUNC

OES 40
sendo que f, g, h (
1
. Para x

ser um otimo local do problema, deve existir

um conjunto de multiplicadores de Kuhn-Tucker

R
l
e

R
m
com

0 tal que:
f(x

) +
l

i=1

i
h
i
(x

) +
m

j=1

j
g
j
(x

) = 0

j
g
j
(x

) = 0 j = 1, . . . , m
(3.18)

Nota 3.3 Essas condi c oes necess arias tornam-se tambem sucientes em proble-
mas convexos (com fun c ao objetivo convexa e todas as restri c oes convexas).

Exemplo 3.1 Considere-se o problema de otimiza c ao denido por:

x

= arg min
x
f(x)
sujeito a:
_
_
_
g
1
(x) 0
g
2
(x) 0
sendo:
f(x) =
_
x
1
x
2

_
1 0
0 1
_ _
x
1
x
2
_
g
1
(x) = 1 x
1
g
2
(x) = 1 x
2
A solu c ao desse problema e o ponto:
x

=
_
1
1
_
Pode-se vericar que esse ponto atende ` as condi c oes de Kuhn-Tucker, pois:
f(x

) =
_
2
2
_
g
1
(x

) =
_
1
0
_
g
2
(x

) =
_
0
1
_
de forma que:
f(x

) + 2g
1
(x

) + 2g
2
(x

) = 0
CAP

ITULO 3. CARACTERIZAC

AO DAS FUNC

OES 41
Deve-se notar que, como a fun c ao objetivo e as restri c oes desse problema s ao todos
convexos, as condi c oes de Kuhn-Tucker tornam-se necess arias e sucientes para
caracterizar a otimalidade da solu c ao.
Exemplo 3.2 Considere-se o problema de otimiza c ao denido por:
x

= arg min
x
f(x)
sujeito a:
_
g(x) 0
sendo:
f(x) =
_
x
1
1 x
2
1

_
1 0
0 1
_ _
x
1
1
x
2
1
_
g(x) = 8
_
x
1
x
2

_
1 0
0 1
_ _
x
1
x
2
_
A solu c ao desse problema e o ponto:
x

=
_
2
2
_
Pode-se vericar que esse ponto atende ` as condi c oes de Kuhn-Tucker, pois:
f(x

) =
_
2
2
_
g(x

) =
_
4
4
_
de forma que:
2f(x

) +g(x

) = 0
Este problema possui fun c ao objetivo convexa, porem a restri c ao e uma fun c ao
c oncava. Dessa forma, as condi c oes de Kuhn-Tucker s ao apenas necess arias para
a otimalidade local de um ponto, sendo possvel que haja pontos que atendam ` as
condi c oes e n ao sejam mnimos locais do problema. Esse e o caso do ponto:
x =
_
2
2
_
Nesse ponto observa-se que:
f( x) =
_
6
6
_
g( x) =
_
4
4
_
de forma que:
1
3
f(x

) +
1
2
g(x

) = 0
o que signica que as condi c oes de Kuhn-Tucker se vericam no ponto. Entretanto,
o ponto x n ao e um mnimo local do problema, uma vez que h a pontos com valores
menores de fun c ao objetivo em toda vizinhan ca que se tomar do mesmo.
Captulo 4
Convergencia de Algoritmos
Um aspecto importante na constru c ao de algoritmos de otimiza c ao e a de-
termina c ao de condi c oes mediante as quais tais algoritmos convergem para
as solu c oes do problema.
Este captulo ir a lidar com dois conceitos distintos porem relacionados
com o problema da convergencia: Primeiro, ser a abordada a quest ao de
estabelecer que um algoritmo converge para a solu c ao do problema. A seguir,
ser a discutida a velocidade com que ocorre tal convergencia.
A maior parte do material deste captulo foi extrada da referencia (Luenberger
1984).
4.1 Algoritmos
Um algoritmo e denido como um mapeamento recursivo. A forma mais
simples de denir algoritmos e baseada no conceito de mapeamento de um
ponto para um ponto:
Deni cao 4.1 (Algoritmo) Seja x
0
R
n
, e seja o operador A() : R
n

R
n
. Esse operador e denominado algoritmo e a seq uencia denida por:
x
k+1
= A(x
k
) (4.1)
a partir de x
0
e denominada sada do algoritmo para a entrada x
0
.
Uma outra deni c ao de algoritmo que tambem se faz util para a an alise de
determinados problemas e mais geral, e se baseia no conceito de mapeamento
de um ponto para um conjunto.
42
CAP

ITULO 4. CONVERG

ENCIA DE ALGORITMOS 43
Deni cao 4.2 (Algoritmo Generalizado) Seja o espa co vetorial R
n
. Dena-
se Q como o conjunto de todos os subconjuntos desse espa co. Seja o operador
A() : R
n
Q tal que:
A = A(x) (4.2)
sendo x R
n
e A Q. Esse operador e um algoritmo generalizado.
Deni cao 4.3 (Sada do Algoritmo Generalizado) Toda seq uencia [x
k
]
gerada segundo a lei:
A
i+1
= A(x
i
)
x
i+1
A
i+1
(4.3)
ou seja, tomando como x
k+1
qualquer ponto pertencente ao conjunto A
k+1
e
chamada de sada do algoritmo generalizado, para um dado ponto inicial x
0
.

Um algoritmo generalizado, claramente, inclui algum grau de incerteza

que n ao est a presente no algoritmo ordin ario. Isso pode ser importante para
reetir as condi c oes sob as quais operam algoritmos de otimiza c ao efetiva-
mente implementados. Evidentemente, a convergencia de um algoritmo ge-
neralizado para as solu c oes de um problema deve ser estabelecida na forma
da convegencia do conjunto A
k
para o conjunto-solu c ao.
A seguir, s ao estabelecidos conceitos em que se apoiar a a constru c ao de
um teorema de convergencia de algoritmos generalizados.
Deni cao 4.4 (Fun cao Descendente) Seja um algoritmo generalizado A()
no espa co R
n
. Seja R
n
um conjunto denominado conjunto solu c ao, e
seja z() : R
n
R. A fun c ao z() e dita fun c ao descendente para e A se
satiszer:
i. x , , y A(x) z(y) < z(x)
ii. x , y A(x) z(y) z(x)

Deni cao 4.5 (Algoritmo Fechado) Um algoritmo generalizado A no

espa co R
n
e dito fechado no ponto x se as premissas:
CAP

ITULO 4. CONVERG

ENCIA DE ALGORITMOS 44
i. x
k
x , x
k
R
n
ii. y
k
y , y
k
A(x
k
)
implicarem que:
y A(x)
O algoritmo generalizado A e dito fechado num domnio D se for fechado em
todos os pontos de D.
Deve-se observar que o conceito de algoritmo fechado, aplic avel a algo-
ritmos generalizados, recai no conceito de mapeamento contnuo, quando
se particularizam as condi c oes para o caso de algoritmos ordin arios. Ou
seja, um algoritmo ordin ario (ponto-para-ponto) que for um mapeamento
contnuo ser a um caso particular de algoritmo fechado. Com esses conceitos,
e possvel estabelecer um teorema que estabelece condi c oes sucientes para
a convergencia global de algoritmos fechados.
Teorema 4.1 (Teorema da Convergencia Global) Seja A um algo-
ritmo fechado num espa co R
n
. Suponha-se que, dado um ponto x
0
R
n
,
a seq uencia [x
k
]

k=0
e gerada, satisfazendo
x
k+1
A(x
k
)
Seja dado um conjunto-solu c ao R
n
, e suponha-se que:
i. Todos os pontos x
k
est ao contidos num conjunto compacto S R
n
;
ii. Existe uma fun c ao contnua z() : R
n
R tal que:
(a) x , z(y) < z(x) y A(x)
(b) x z(y) z(x) y A(x)
iii. O algoritmo A e fechado em todos os pontos fora de .
Ent ao o limite de toda subseq uencia convergente [x
k
] e uma solu c ao (pertence
a ).
Demonstrac

ao: Suponha-se uma subseq uencia convergente [x

k
], k K que
converge para o limite x. Uma vez que z() e uma fun c ao contnua, segue-se que
para k K, tem-se que z(x
k
) z(x). Isto signica que z() e convergente em
rela c ao a esta subseq uencia. Pela monotonicidade de z() na seq uencia [x
k
] tem-se
CAP

ITULO 4. CONVERG

ENCIA DE ALGORITMOS 45
que z(x
k
) z(x) > 0 para todo k. Pela convergencia de z() na subseq uencia,
existe, para um certo > 0, algum K K tal que z(x
k
) z(x) < para todo
k > K, com k K. Assim, para todo k > K:
z(x
k
) z(x) = z(x
k
) z(x
K
) + z(x
K
) z(x) <
Isso estabelece que z(x
k
) z(x).
Para completar a prova falta mostrar que x e uma solu c ao. Suponha-se que
n ao seja. Considere-se a subseq uencia [x
k+1
]
K
. Uma vez que todos os pontos
dessa seq uencia est ao contidos em um conjunto compacto, existe um

K K tal
que [x
k+1
]
K
converge para algum limite x. Tem-se ent ao que x
k
x, k

K, e
x
k+1
A(x
k
) com x
k+1
x, k K. Assim, uma vez que A e fechado em x
segue-se que x A(x). Mas isso implica z( x) = z(x), o que contradiz o fato de
que z() e uma fun c ao descendente.
Corolario 4.1 Sob as condi c oes do teorema 4.1, se consiste de um unico
ponto x

, ent ao toda seq uencia [x

k
] converge para x

.
Bibliograa
Ackley, D. H., Hinton, G. E. & Sejnowski, T. J. (1985). A learning algorithm
for Boltzman Machines, Cognitive Science 9: 147169.
Akg ul, M. (1984). Topics in Relaxation and Ellipsoidal Methods, number 97
in Research Notes in Mathematics, Pitman Publishing Inc., London,
UK.
Belmont-Moreno, E. (2001). The role of mutation and population size in
genetic algorithms applied to physics problems, International Journal
of Modern Physics C 12(9): 13451355.
Bland, R. G., Goldfarb, D. & Todd, M. J. (1981). The ellipsoid method: a
survey, Operations Research 29(6): 10391091.
Cao, Y.-Y., Lam, J. & Sun, Y.-X. (1998). Static output feedback stabiliza-
tion: an ILMI approach, Automatica 34(12): 16411645.
Chankong, V. & Haimes, Y. Y. (1983). Multiobjective Decision Making:
Theory and Methodology, North-Holland (Elsevier), New York.
Chen, B. S., Cheng, Y. M. & Lee, C. H. (1995). A genetic approach to
mixed H

/H
2
optimal PID control, IEEE Control Systems Magazine
15(5): 5160.
Chen, C. T. (1984). Linear System Theory and Design, Hartcourt Brace
College Pub.
Choi, D. H. & Oh, S. Y. (2000). A new mutation rule for evolutionary pro-
gramming motivated from backpropagation learning, IEEE Transacti-
ons on Evolutionary Computation 4(2): 188190.
308
BIBLIOGRAFIA 309
Dias-Filho, W. (2003). Algoritmos Cone-Elipsoidais para Gera c ao de
Solu c oes Ecientes: Constru c ao e Aplica c oes, PhD thesis, Programa
de P os-Gradua c ao em Engenharia Eletrica da Universidade Federal de
Minas Gerais, Belo Horizonte, MG.
Dorigo, M., Maniezzo, V. & Colorni, A. (1996). Ant system: optimization
by a colony of cooperating agents, IEEE Trans. Sys. Man Cyb. - Part
B 26(1): 2941.
Dziuban, S. T., Ecker, J. G. & Kupferschmid, M. (1985). Using deep cuts
in an ellipsoidal algorithm for nonlinear programming, Math. Program.
Study 25: 93107.
Goldberg, D. E. (1989). Genetic Algorithms in Search, Optimization and
Machine Learning, Addison-Wesley.
J. C. Potts, T. D. G. & Yadav, S. B. (1994). The development and eva-
luation of an improved genetic algorithm based on migration and ar-
ticial selection, IEEE Transactions on Systems, Man and Cybernetics
24(1): 7386.
Jain, A. & Zongker, D. (1997). Feature selection: evaluation, application,
and small sample performance, IEEE Transactions on Pattern Analysis
and Machine Intelligence 19(2): 153158.
Johnson, J. M. & Ramat-Semii, Y. (1997). Genetic algorithms in engineering
electromagnetics, IEEE Antennas and Propagation Magazine 39(4): 7
25.
K. F. Man, K. S. T. & Kwong, S. (1996). Genetic algorithms: concepts and
applications, IEEE Transactions on Industrial Electronics 43(5): 519
534.
K. Rashid, J. A. R. & Freeman, E. M. (2000). A general approach for extrac-
ting sensitivity analysis from a neuro-fuzzy model, IEEE Transactions
on Magnetics 36(4): 10661070.
Khargonekar, P. P. & Rotea, M. A. (1991). Mixed H
2
/H

control: a con-
vex optimization approach, IEEE Transactions on Automatic Control
36(7): 824837.
BIBLIOGRAFIA 310
Luenberger, D. G. (1984). Linear and Nonlinear Programming, Addison-
Wesley.
Meneguim, R. A. (1999). An alise da sensibilidade de solu c oes em oti-
miza c ao atraves de elips oides mnimos, Masters thesis, Programa de
P os-Gradua c ao em Engenharia Eletrica da Universidade Federal de Mi-
nas Gerais, Belo Horizonte, MG.
Miranda, M. F. (2000). Controle Multivari avel na Presen ca de Incertezas,
PhD thesis, Programa de P os-Gradua c ao em Engenharia Eletrica da
Universidade Federal de Minas Gerais, Belo Horizonte, MG.
Naudts, B. & Kallel, L. (2000). A comparison of predictive measures of
problem diculty in evolutionary algorithms, IEEE Transactions on
Evolutionary Computation 4(1): 115.
Popper, K. R. (1974). A L ogica da Pesquisa Cientca (trad.), Ed. Cultrix.
(Logic der Forschung, 5a. ed. 1973; 1a. ed. 1934).
Rudin, W. (1991). Functional Analysis, McGraw-Hill.
Saldanha, R. R., Takahashi, R. H. C., Vasconcelos, J. A. & Ramirez, J. A.
(1999). Adaptive deep-cut method in ellipsoidal optimization for electro-
magnetic design, IEEE Transactions on Magnetics, Part I 35(3): 1746
1749.
Sareni, B. & Krahenbuhl, L. (1998). Fitness sharing and niching methods
revisited, IEEE Transactions on Evolutionary Computation 2(3): 97
106.
Schell, T. & Wegenkittl, S. (2001). Looking beyond selection probabilities:
adaptation of the
2
measure for the performance analysis of selection
methods in GAs, Evolutionary Computation 9(2): 243256.
Scherer, C., Gahinet, P. & Chilali, M. (1997). Multiobjective output-feedback
control via LMI optimization, IEEE Transactions on Automatic Control
42(7): 896911.
Shah, S., Mitchell, J. E. & Kupferschmid, M. (2001). An ellipsoid algorithm
for equality-constrained nonlinear programs, Computers and Operations
Research 28: 8592.
BIBLIOGRAFIA 311
Shimomura, T. & Fujii, T. (2000). Multiobjective control design via suces-
sive over-bounding of quadratic terms, Proceedings of the 39th IEEE
Conference on Decision and Control, Sydney, Australia, pp. 27632768.
Takahashi, R. H. C., Palhares, R. M., Dutra, D. A. & Gon calves, L. P. S.
(2001). Synthesis and characterization of Pareto-optimal solutions for
the mixed H
2
/H

control problem, Proceedings of the 40th IEEE Con-

ference on Decision and Control, Orlando, FL, USA, pp. 39974002.
Takahashi, R. H. C., Peres, P. L. D. & Ferreira, P. A. V. (1997). Multi-
objective H
2
/H

guaranteed cost PID design, IEEE Control Systems

Magazine 17(5): 3747.
Takahashi, R. H. C., Ramirez, J. A., Vasconcelos, J. A. & Saldanha, R. R.
(2001). Sensitivity analysis for optimization problems solved by stochas-
tic methods, IEEE Transactions on Magnetics 37(5): 34143417.
Takahashi, R. H. C., Saldanha, R. R., Dias-Filho, W. & Ramirez, J. A.
(2003). A new constrained ellipsoidal algorithm for nonlinear opti-
mization with equality constraints, IEEE Transactions on Magnetics
39(3): 12891292.
Takahashi, R. H. C., Vasconcelos, J. A., Ramirez, J. A. & Krahenbuhl, L.
(2003). A multiobjective methodology for evaluating genetic operators,
IEEE Transactions on Magnetics 39(3): 13211324.
Tanomaru, J. (1995). Motiva c ao, fundamentos e aplica c oes de algoritmos
geneticos, Anais do II Congr. Bras. de Redes Neurais, Vol. 1, Curitiba,
PR, Brasil.
Vasconcelos, J. A., Ramirez, J. A., Takahashi, R. H. C. & Saldanha, R. R.
(2001). Improvements in genetic algorithms, IEEE Transactions on
Magnetics 37(5): 34143417.
Vidyasagar, M. (1993). Nonlinear Systems Analysis, Prentice-Hall.
Viennet, R., Fonteix, C. & Marc, I. (1996). Multicriteria optimization
using a genetic algorithm for determining a Pareto set, Int. J. Sys. Sci.
27(2): 255260.
BIBLIOGRAFIA 312
Wolpert, D. H. & Macready, W. G. (1997). No free lunch theorems for opti-
mization, IEEE Transactions on Evolutionary Computation 1(1): 6782.
Z. Michalewicz, K. Deb, M. S. & Stidsen, T. (2000). Test-case generator for
nonlinear continuous parameter optimization techniques, IEEE Tran-
sactions on Evolutionary Computation 4(3): 197215.