D

EPARTAMENTO DE E NGENHARIA M
ECÂNICA

ENG1786 & MEC2403

Otimização: Algoritmos e Aplicações

na Engenharia Mecânica

Ivan Menezes
Aula 2 Rio de Janeiro, 29 de agosto de 2023
1
Aula 2 – Métodos de OSR

Métodos de Direção de Busca

De acordo com as ordens das derivadas das funções utilizadas no processo de

determinação das direções de busca, os métodos de otimização se classificam em:

❑ Ordem ZERO

➢ Univariante

➢ Powell

❑ Ordem UM (primeira ordem)

➢ Steepest Descent (Máximo Declive)

➢ Fletcher-Reeves

➢ BFGS *

❑ Ordem DOIS (segunda ordem)

➢ Newton-Raphson

* O BFGS aparenta ser um método de segunda ordem mas é efetivamente de primeira ordem 2
Aula 2 – Métodos de OSR

Métodos de ORDEM ZERO

1. Método Univariante

Direção de Busca:

𝑥2
𝒆2 𝒅𝑘 = 𝒆𝑘 ; 𝑘 = 1, … , 𝑛

𝒆2 𝒆𝑘 = {0,0, … , 1, … , 0,0}𝑡

𝒙∗ 𝑘-ésima posição

𝒙2 𝒆1
𝒙0 𝒙3
𝒙1 𝒆1
𝑥1

Obs: Se, após “n” passos, a convergência não for obtida, um novo ciclo deve ser iniciado !
3
Aula 2 – Métodos de OSR

Métodos de ORDEM ZERO

2. Método de Powell

Ideia: Após cada ciclo de “n” passos, uma nova direção de busca é criada !

𝒙3 Novo ponto 𝒙0

𝒙2 Direção “movimento padrão”

𝒅
𝒅 = 𝒙2 − 𝒙0
𝒆2
𝒙0 𝒙1
𝒆1

Obs: Cada nova direção criada substitui uma direção univariante. Quando todas as direções
Univariantes forem substituídas, um novo ciclo univariante deve ser iniciado !
4
Aula 2 – Métodos de OSR

Métodos de ORDEM ZERO

Algoritmo (principais passos) do Método de Powell:

<1> Inicializar 𝑗 ← 1

<2> Criar um conjunto de “𝑛” direções canônicas “𝒚𝑘 ”, onde: 𝒚𝑘 = 𝒆𝑘

<3> Minimizar a função 𝑓 𝒙 ao longo das “𝑛” direções de busca: de 𝒙0 até 𝒙𝑛

<4> Criar uma direção de movimento padrão: 𝒅𝑗 = 𝒙𝑛 − 𝒙0

<5> Minimizar 𝑓 𝒙 na direção 𝒅𝑗 , encontrando o novo ponto 𝒙0

<6> Substituir a direção 𝒚𝑛 por 𝒅𝑗 da seguinte forma:

𝒚𝑖 ← 𝒚𝑖+1 , 𝑖 = 1, … , 𝑛 − 1 ; 𝒚𝑛 ← 𝒅𝑗 ; 𝑗 ← 𝑗 + 1

<7> Repetir os passos <3> a <6> enquanto 𝑗 ≤ 𝑛

<8> Voltar para o passo <1> até que a convergência seja atingida.
5
Aula 2 – Métodos de OSR

Métodos de ORDEM ZERO

Exemplo (no R 2) das Direções Utilizadas no Método de Powell :

Ciclo 1: { 𝒆1 , 𝒆2 , 𝒅1 }

Ciclo 2: { 𝒆2 , 𝒅1 , 𝒅2 }

Ciclo 3: { 𝒅1 , 𝒅2 , 𝒅3 }

Ciclo 4: { 𝒆1 , 𝒆2 , 𝒅′1 }
...

6
Aula 2 – Métodos de OSR

Métodos de ORDEM ZERO

Direções Conjugadas no Método de Powell:

• Se um método de minimização sempre encontra o mínimo de uma função quadrática

em um número de passos proporcional ao tamanho do problema (número de variáveis)
este método é dito “quadraticamente convergente” [Fonte: Fox, 1971];

7
Aula 2 – Métodos de OSR

Métodos de ORDEM ZERO

Direções Conjugadas no Método de Powell:

• Se um método de minimização sempre encontra o mínimo de uma função quadrática

em um número de passos proporcional ao tamanho do problema (número de variáveis)
este método é dito “quadraticamente convergente” [Fonte: Fox, 1971];

• Se um método quadraticamente convergente é aplicado a uma função genérica, mas

que na expansão em Série de Taylor é dominada pelo termo quadrático, espera-se
que o método tenha uma convergência rápida;

8
Aula 2 – Métodos de OSR

Métodos de ORDEM ZERO

Direções Conjugadas no Método de Powell:

• Se um método de minimização sempre encontra o mínimo de uma função quadrática

em um número de passos proporcional ao tamanho do problema (número de variáveis)
este método é dito “quadraticamente convergente” [Fonte: Fox, 1971];

• Se um método quadraticamente convergente é aplicado a uma função genérica, mas

que na expansão em Série de Taylor é dominada pelo termo quadrático, espera-se
que o método tenha uma convergência rápida;

• Muitos métodos quadraticamente convergentes se baseiam no conceito de

“direções conjugadas”;

9
Aula 2 – Métodos de OSR

Métodos de ORDEM ZERO

Direções Conjugadas no Método de Powell:

• Se um método de minimização sempre encontra o mínimo de uma função quadrática

em um número de passos proporcional ao tamanho do problema (número de variáveis)
este método é dito “quadraticamente convergente” [Fonte: Fox, 1971];

• Se um método quadraticamente convergente é aplicado a uma função genérica, mas

que na expansão em Série de Taylor é dominada pelo termo quadrático, espera-se
que o método tenha uma convergência rápida;

• Muitos métodos quadraticamente convergentes se baseiam no conceito de

“direções conjugadas”;

1
• Seja 𝑞 𝒙 uma função quadrática: 𝑞 𝒙 = 𝒙𝑡 𝑸 𝒙 − 𝒙𝑡 𝒃
2
onde 𝑸 é uma matriz simétrica, positiva definida. Duas direções 𝒅𝑖 e 𝒅𝑗 são ditas
Q-conjugadas, se:
𝑡
𝒅𝑖 𝑸 𝒅𝑗 = 0

10
Aula 2 – Métodos de OSR

Métodos de ORDEM ZERO

Direções Conjugadas no Método de Powell:

• Se uma função quadrática é minimizada sequencialmente, uma vez em cada direção

de um conjunto de “n” direções L.I. e Q-conjugadas, o mínimo GLOBAL será obtido
em até “n” passos, independentemente do ponto inicial;

• O método de Powell gera direções Q-conjugadas;

11
Aula 2 – Métodos de OSR

Métodos de ORDEM ZERO

Direções Conjugadas no Método de Powell:

• Se uma função quadrática é minimizada sequencialmente, uma vez em cada direção

de um conjunto de “n” direções L.I. e Q-conjugadas, o mínimo GLOBAL será obtido
em até “n” passos, independentemente do ponto inicial;

• O método de Powell gera direções Q-conjugadas;

• O método de Powell converge para o mínimo de uma função quadrática 𝑞(𝒙), de “𝑛”
variáveis, em um número finito de passos dado por 𝑛 + 1 2

12