Captulo 6.

Optimizacin multivariable sin restricciones

6.1 Mtodos que usan nicamente valores de la funcin Bsqueda aleatoria. Seleccionar un vector de partida x0. Evaluar f(x0). Seleccionar otro vector de forma aleatoria x1. Evaluar f(x1). Tanto la direccin como el tamao de paso se han seleccionado simultneamente. Despus de una o ms etapas, el valor de f(xk) es comparado con el mejor valor previo de todas las etapas anteriores, y se toma la decisin de continuar o terminar con la bsqueda.

Bsqueda en malla

x2 xk x1

x2 xk x1

Bsqueda univariada
f1 (x) = ci x i
i =1 n 2

x0

f 1 (x) = d ij x i x j
i =1 j=1

x0

Mtodo de bsqueda Simplex

3 4

f(x1) > f(x2)

9

4 X
1 0

f(x1) > f(x3)

10

11 5

0 1

2 0

0 0

Bsqueda en direcciones conjugadas

Dos direcciones s i y s j se dicen conjugadas con respecto a una matriz positiva definida Q si,
i T j

(s ) Q (s ) = 0 (s ) Qs
i T j

En general un conjunto de n direcciones linealmente independientes s 0 , s1 ,... , s n 1 son conjugadas con respecto a una matriz cuadrada positiva definida si =0 0 i j n -1 En optimizacin la matriz Q es la matriz de Hess de la funcin objetivo, H.

La ortogonalidad es un caso especial, debido a que si Q = I, s i s j = 0.

( )

Ejercicio. Clculo de direcciones conjugadas

Se desea minimizar f(x)=2x12+x22-3 empezando en (x0)T=[1 1] con la direccin de bsqueda inicial s0=[-4 -2]T. Buscar una direccin conjugada a la direccin inicial s0. Ejecutar la bsqueda del ptimo para las direcciones de bsqueda conjugadas.

2. Mtodos que usan la primera derivada

Una buena direccin de bsqueda (s) debe cumplir con el criterio,

T f (x)s < 0

f ( x k )
sk xk

f ( x k )

Mtodo del descenso ms pronunciado

s k = f (x k )
x k +1 = x k + x k = x k k f (x k )
Si k se selecciona para obtener el mnimo,
d f ( x k + s k ) = 0 d g k ( ) = f x k + s k

gk()=f(xk+sk)

)
T

f (x k + s k ) k d k k si f ( x + s ) = x i d i = s k f x k + s k

Pendiente = f T x k + k s k s k = 0
k

( )

=0

Mtodos de gradiente conjugado

Paso 1 : Calcular f x 0 s 0 = f x 0

( )

( ) ( )

Paso 2 : Guardar f x 0 y calcular x1 = x 0 + 0s 0 Paso 3 : Calcular f x 1 , f x 1 . La nueva direccin de bsqueda es s = f x + s

1 1

( ) (

( ) ( ) f ( x )f (x ) f ( x )f (x )
T 1 1 T 0 0 k

Para la k - esima iteracin,

k +1 k +1

T f ( x k +1 )f x k +1 s = f x +s T f ( x k )f x k Paso 4 : Aplicar el test de convergencia. Si no se cumple con el criterio de convergencia, regresar al paso 3.

( ) ( )

Paso n : Terminar el algoritmo cuando f(x k ) sea menor a alguna tolerancia prescrita.

Para una bsqueda en lnea, se puede optimizar el tamao de paso, mediante una aproximacin cuadrtica de la funcin, 1 k T f (x ) = f (x + s ) = f x + f (x )s + s H (x k )s k 2 T d f (x k + s k ) = 0 = T f (x k )s k + s k H (x k )s k d Tf xk sk opt = k T (s ) H (x k )s k
k k k T k k

( )

( )

( )

( )

Mtodo de Newton

La aproximaxin cuadrtica en series de Taylor para f(x) es, f (x ) f (x k ) + T f x k x k +

T 1 x k H (x k )x k 2 El mnimo de la aproximacin cuadrtica es,

( )

f (x ) = f (x k ) + H(x k )x k = 0 Para ejecutar la bsqueda unidimensional, x s =Hx

k k +1

= x H x
k k

[ ( )]
k

f x k

( )

[ ( )]
k

f x k

( )