Semana1 Convexidad

Optimizacion Convexa
Erik Papa Quiroz

erikpapa@gmail.com
Doctor en Ciencias por la Universidad

Federal de Rio de Janeiro
Agosto del 2017
minerva
Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Contenido
1 Convexidad
Conjuntos Convexos
Funciones Convexas
Continuidad de Funciones Convexas
Derivada Direccional de Funciones Convexas
2 Optimizacion Convexa
Ejemplos de Optimizacion Convexa
Propiedades
Condiciones de Optimalidad
minerva

Conjuntos Convexos
Convexidad Funciones Convexas
Optimizacion Convexa Continuidad de Funciones Convexas
Palabras claves
Convexidad
Definicion
Un conjunto C Rn es llamado convexo si C = o x, y C y

[0, 1] se tiene
x + (1 )y C.
minerva

Conjuntos Convexos
Palabras claves
Convexidad
y
x
Figura: C es un conjunto convexo.

minerva

Conjuntos Convexos
Palabras claves
Convexidad
C
x
Figura: C no es un conjunto convexo.

minerva

Conjuntos Convexos
Palabras claves
Convexidad
R2+
Figura: R2+ es conjunto convexo.

minerva

Conjuntos Convexos
Palabras claves
Convexidad
Figura: R2+ R2+ no es un conjunto convexo.

minerva

Conjuntos Convexos
Palabras claves
Convexidad
Ejemplo
El epacio euclidiano Rn es un conjunto convexo.
En efecto, sean x, y Rn y [0, 1], por ser Rn un espacio

vectorial tenemos que
x Rn y (1 )y Rn .
As tambien
x + (1 )y Rn ,
por lo tanto, Rn es un conjunto convexo. minerva

Conjuntos Convexos
Palabras claves
Convexidad
Ejemplo
La bola abierta B(x, ), donde x Rn y > 0, es un conjunto
convexo
En efecto, sean [0, 1] y x, y B(x, ), luego
kx + (1 )y xk = kx + (1 )y (x + (1 )x)k
= k(x x) + (1 )(y x)k
kx xk + (1 ) ky xk
As tenemos que
kx + (1 )y xk < + (1 ) = , minerva
esto es, x + (1 )y B(x, ).

Conjuntos Convexos
Palabras claves
Convexidad
Ejemplo
El ortante no negativo Rn+ es un conjunto convexo
En efecto, sean x, y Rn+ y [0, 1], entonces es claro que
xi + (1 )yi 0 i = 1, 2, . . . , n
as, x + (1 )y Rn+ y por lo tanto Rn+ es un conjunto

convexo.
minerva

Conjuntos Convexos
Palabras claves
Convexidad
Ejemplo
El semiespacio {x Rn : Ax b}, A Rmn , b Rm ; es un
conjunto convexo
minerva

Conjuntos Convexos
Palabras claves
Convexidad
Ejemplo
El hiperplano {x Rn : aT x = }, donde a Rn y R, es un
conjunto convexo
minerva

Conjuntos Convexos
Palabras claves
convexidad
Definicion
Sea f : C Rn R, donde C es un conjunto convexo y C 6= .
La funcion f es llamada convexa si
f (x1 + (1 )x2 ) f (x1 ) + (1 )f (x2 )
para todo x1 , x2 C y [0, 1].

f sera estrictamente convexa en C si la desigualdad es estricta
para todo x1 , x2 C, x1 6= x2 , y (0, 1).
minerva

Conjuntos Convexos
Palabras claves
convexidad
f (y)
)
f (y
)
1 y)
) +( )
f (x ( 1
x+
f(
f (x)
x x +(1 )y y
minerva
Figura: Grafica de una funcion convexa

Conjuntos Convexos
Palabras claves
convexidad
Caracterizacion 1
Sea C 6= un conjunto convexo de Rn .
f : C R, es una funcion convexa si y solo si el conjunto
Epi(f ) := {(x, r ) C R : f (x) r }
es convexo en Rn R.
minerva

Conjuntos Convexos
Palabras claves
convexidad
f
Epi(f )
minerva

Conjuntos Convexos
Palabras claves
convexidad
Caracterizacion 2
Sea C un conjunto convexo abierto de Rn y f : C R una
funcion diferenciable en C. Entonces, f es convexa si y solo si
f (y) f (x) + hf (x), y xi , x, y C.
minerva

Conjuntos Convexos
Palabras claves
convexidad
)
T (y
x
)
f(x
) +
f(x
minerva
x

Conjuntos Convexos
Palabras claves
convexidad
Caracterizacion 3
Sea C un conjunto convexo abierto de Rn y f : C R una
funcion dos veces continuamente diferenciable en C.
Entonces, f es convexa si y solo si
2 f (x) 0, x C.
minerva

Conjuntos Convexos
Palabras claves
convexidad
Ejemplo
La funcion f : (0, 1)n R tal que
n
X
f (x) = (2xi 1)(ln xi ln(1 xi )),
i=1
es convexa
minerva

Conjuntos Convexos
En efecto, Como
n
X
f (x) = fi (xi ),
i=1
donde fi (xi ) = (2xi 1)(ln xi ln(1 xi )). As, la funcion f es
separable con terminos de la misma forma, por tanto, para
hallar la Hessiana de f es suficiente estudiar la funcion
g(t) = (2t 1)(ln t ln(1 t)), t (0, 1).
Hallando la primera y segunda derivada tenemos
respectivamente

1 1
g (t) = 2(ln t ln(1 t)) + (2t 1) +
t 1t
1
g (t) = >0 minerva
t 2 (1 t)2
luego
Conjuntos Convexos

1
x12 (1x1 )2
0 0
1

0 x22 (1x2 )2
0
2
f (x) = ,

.. .. .. ..

. . . .

1
0 0 xn2 (1xn )2
de donde se deduce
2 f (x) 0,
as tenemos que f es estrictamente convexa y en particular
convexa.
minerva

Conjuntos Convexos
Palabras claves
convexidad
Ejemplo
La funcion f : R3 R tal que
f (x) = ln(ex1 + ex2 + ex3 )
es convexa
minerva

Conjuntos Convexos
Las derivadas de primer y segundo orden de f son
f e xi
= x , i = 1, 2, 3.
xi e 1 + e x2 + e x3
2f exi (ex1 + ex2 + ex3 ) exi exi

= , i = 1, 2, 3
xi2 (ex1 + ex2 + ex3 )2
2f ex1 ex2
= x ,
x1 x2 (e 1 + ex2 + ex3 )2
2f ex1 ex3
= x ,
x1 x3 (e 1 + ex2 + ex3 )2
2f ex2 ex3
= x .
x2 x3 (e 1 + ex2 + ex3 )2 minerva

Conjuntos Convexos
Luego, la matriz hessiana es
ex1 ex2 ex1 ex3

1
2
f (x) = ex1 ex2 2 ex2 ex3 ,
ex1 ex3 ex2 ex3 3
donde
1
=
(ex1 + e x2 + e x3 ) 2
y
i = exi (ex1 + ex2 + ex3 ) exi exi , i = 1, 2, 3
minerva

Conjuntos Convexos
Sea z = (ex1 , ex2 , ex3 ) y e = (1, 1, 1), entonces

z1 0 0
1
2 f (x) = T 2 eT z 0 z2 0 zz T
(e z)
0 0 z3
minerva

Conjuntos Convexos
Sea v R3 , veamos si se cumple v T 2 f (x)v 0.

3
" #
1 X
v T 2 f (x)v = T 2 eT z vi2 zi (v T z)z T v
(e z)
i=1
" 3 3 3
#
1 X X
2
X
2
= T 2 ( zi )( vi zi ) ( zi vi ) .
(e z)
i=1 i=1 i=1

Definiendo ai = zi , bi = vi zi , para todo i = 1, 2, 3, tenemos
3 3 3
!2
X X X
T 2
v f (x)v = ( ai2 )( bi2 ) ai bi 0,
i=1 i=1 i=1
donde la desigualdad anterior es obtenida por la desigualdad minerva
de Cauchy-Schwartz, por lo tanto, la funcion f es convexa.

Conjuntos Convexos
Palabras claves
convexidad
Ejemplo
La funcion f (x) = 21 x T Ax bT x + c, donde A Rnn es
simetrica y semidefinida positiva, b Rn , c R es convexa
En efecto, dom f = Rn es un conjunto abierto y convexo,

ademas f es dos veces diferenciable.
Luego como A = AT y A 0 por hipotesis, se tiene que
2 f (x) = A 0,
As f es convexa. minerva

Conjuntos Convexos
Palabras claves
convexidad
Teorema
Sea C un conjunto convexo y f : C R una funcion convexa.
Si x int(C), entonces f es continua en x. As, f es continua
en int(C).
minerva

Conjuntos Convexos
Palabras claves
convexidad
Observacion
Una funcion convexa puede ser discontinua en la frontera de
un conjunto cerrado. Por ejemplo, considere la funcion
f : R+ R definida por
(
x 2 , si x > 0
f (x) =
1, si x = 0
Se puede verificar facilmente que f es una funcion convexa en

R+ pero no es continua en x = 0.
minerva

Conjuntos Convexos
Palabras claves
convexidad
Definicion
Sean C un conjunto convexo y f : C R una funcion.
Dado x C y d Rn , d 6= 0, si el siguiente limite
f (x + d) f (x)
f (x, d) = lim ,
0
>0
existe, entonces f (x, d) es llamada la derivada direccional de f

en la direcion d en el punto x.
minerva

Conjuntos Convexos
Palabras claves
convexidad
Teorema
Dado x int(C), entonces existe > 0 tal ) C.
que B(x,
n
Para d R , d 6= 0, definimos la funcion : 0, ||d|| R tal
que
f (x + d) f (x)
() = .

Sean C un conjunto convexo con int(C) 6= y f : C R una
funcion convexa, entonces para x int(C) y d Rn , d 6= 0, se
tiene que:
i. La funcion es no decresciente
ii. La derivada direccional f (x, d) existe. minerva

Convexidad
Propiedades
Palabras claves
problema convexo
Definicion
El problema de optimizacion convexa consiste en resolver el
siguiente problema de optimizacion:
opt{f (x) : x X Rn }
donde f : X Rn R es una funcion convexa y X es un

conjunto convexo.
minerva

Convexidad
Propiedades
Palabras claves
problema convexo
Ejemplo
El problema de optimizacion lineal:
min{c T x : Ax = b, x 0}
donde A Rmn , b Rm , c Rn , es un problema de

optimizacion convexa.
minerva

Convexidad
Propiedades
Palabras claves
problema convexo
Ejemplo
El problema de optimizacion:

1 T T
min x Qx c x : Ax = b, x 0 ,
2
donde Q es una matriz simetrica y semidefinida positiva, es un

problema de optimizacion convexa.
minerva

Convexidad
Propiedades
Palabras claves
problema convexo
Propiedades
Si f : X Rn R es una funcion convexa definida en el
subconjunto convexo X , entonces todo mnimo local es
global.
El conjunto de las soluciones optimas del problema, X , es
convexo.
Si f : X Rn R es una funcion estrictamente convexa
definida en el subconjunto convexo X y x es un mnimo de
f , entonces x es el unico mnimo global.
minerva

Convexidad
Propiedades
Teorema
Caso Irrestricto
min{f (x) : x Rn }
donde f : X Rn R es una funcion convexa diferenciable.
x es un mnimo global si y solo si
f (x) = 0.
minerva

Convexidad
Propiedades
Ejemplo
Considere
3
min{f (x1 , x2 ) = x12 + x1 x2 + x22 2x1 x2 + 2 : (x1 , x2 ) R2 }
2
Observe que f es convexa pues

2 2 1
f (x1 , x2 ) = 0.
1 3
As, la condicion necesaria y suficiente es f (x) = 0.

minerva

Convexidad
Propiedades
Ejemplo (Cont.)
Derivando y formando la ecuacion:
2x1 + x2 = 2
x1 + 3x2 = 1.
x = (1, 0) es el unico punto solucion del problema.
minerva

Convexidad
Propiedades
Ejemplo
Considere
min{f (x1 , x2 ) = (x1 3)2 + (x2 5)2 : (x1 , x2 ) R2 }
Observe que f es convexa pues

2 2 0
f (x1 , x2 ) = 0.
0 2
As, la condicion necesaria y suficiente es f (x) = 0.

Resolviendo el sistema obtenemos que (3, 5) es solucion del
problema.
minerva

Convexidad
Propiedades
Teorema
Caso con Restricciones

Consideremos el problema de optimizacion no lineal:

min f (x)
s.a :

(PNL)
h(x) = 0

c(x) 0

donde h : Rn Rm y c : Rn Rp .
Si f , h, c son funciones convexas y ademas h es afn, entonces
las condiciones de KKT son suficientes para obtener los
optimos globales. minerva

Convexidad
Propiedades
Palabras claves
problema convexo
Caso General
Considere el problema de minimizacion:
min{f (x) : x X Rn }
donde f : X Rn R es diferenciable en Rn y convexa en el

conjunto convexo X entonces, x es un mnimo global si y solo
si
hf (x), y xi 0, y X .
minerva

Convexidad
Propiedades
Ejemplo
Consideremos el problema:
min{x1 2x2 : 2x1 + x2 6; x1 + x2 4; x1 0; x2 0}.
minerva

Convexidad
Propiedades
(0, 4)
(2, 2)
(0, 0) (3, 0) (4, 0)
Figura: Region viable. minerva

Convexidad
Propiedades
Observemos inicialmente que el problema dado es un

problema de optimizacion convexa con restricciones de
desigualdad dadas por funciones convexas, entonces por
Teorema las condiciones de KKT seran suficientes para
obtener el punto optimo.
minerva

Convexidad
Propiedades
La funcion de Lagrange es:
L(x1 , x2 , 1 , 2 , 3 , 4 ) = x1 2x2 +1 (2x1 +x2 6)+2 (x1 +x2 4)3 x
El gradiente de la funcion de Lagrange es:
x L(x1 , x2 , 1 , 2 , 3 , 4 ) = (1+21 +2 3 , 2+1 +2 4 ).
Luego el sistema KKT queda establecido por:
minerva

Convexidad
Propiedades
1 + 21 + 2 3 = 0

2 + 1 + 2 4

= 0

1 (2x1 + x2 6) = 0

2 (x1 + x2 4) = 0
3 x1 = 0

4 x2 = 0
2x1 + x2 6

x1 + x2 4

x1 , x2 0

1 , 2 , 3 , 4 0
minerva

Convexidad
Propiedades
De la tercera ecuacion tenemos que
1 = 0 2x1 + x2 6 = 0.
Si 2x1 + x2 6 = 0, llegamos a una contradiccion con el

sistema dado, por lo tanto debemos tener que
1 = 0.
De aqu, la primera y segunda ecuacion se reducen,

respectivamente, a
minerva

Convexidad
Propiedades
2 3 = 1
2 4 = 2.
De ambas ecuaciones se tiene que 2 6= 0 (Si 2 = 0 entonces
3 < 0 el cual contradice la condicion de no negatividad de la
variable). Luego de la cuarta ecuacion del sistema se tiene que
x1 + x2 = 4.
minerva

Convexidad
Propiedades
Tambien se tiene que 3 6= 0 (pues de lo contrario tendriamos

2 = 1 y 4 = 1 < 0 lo que es una contradiccion). As de la
quinta ecuacion del sistema se obtiene que
x1 = 0 y as x2 = 4.
Usando este resultado en la sexta ecuacion del sistema

obtenemos 4 = 0 y de ah se tiene 2 = 2.
Finalmente, obtenemos 3 = 1.
Concluimos as que el unico punto que resuelve la ecuacion es
(0, 4) con los multiplicadores
1 = 4 = 0, 2 = 2 y 3 = 1.
minerva

Convexidad
Propiedades
Referencias
1 IZMAILOV A. and SOLODOV M., Otimizacao Volume 1,

IMPA, Rio de Janeiro, Brazil, 2005.
2 MARTINEZ J.M. and SANTOS S. A., Metodos
Computacionais de Otimizac cao, 20 Coloquio Brasileiro
de Matematica, IMPA, 1995.
minerva

Semana1 Convexidad

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Semana1 Convexidad

Enviado por

Direitos autorais:

Formatos disponíveis

Optimizacion Convexa

Erik Papa Quiroz

Doctor en Ciencias por la Universidad

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Un conjunto C Rn es llamado convexo si C = o x, y C y

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Figura: C es un conjunto convexo.

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Figura: C no es un conjunto convexo.

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Figura: R2+ es conjunto convexo.

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Figura: R2+ R2+ no es un conjunto convexo.

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

En efecto, sean x, y Rn y [0, 1], por ser Rn un espacio

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

esto es, x + (1 )y B(x, ).

En efecto, sean x, y Rn+ y [0, 1], entonces es claro que

as, x + (1 )y Rn+ y por lo tanto Rn+ es un conjunto

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

f (x1 + (1 )x2 ) f (x1 ) + (1 )f (x2 )

para todo x1 , x2 C y [0, 1].

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Epi(f ) := {(x, r ) C R : f (x) r }

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

f (y) f (x) + hf (x), y xi , x, y C.

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

f (x) = ln(ex1 + ex2 + ex3 )

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Las derivadas de primer y segundo orden de f son

2f exi (ex1 + ex2 + ex3 ) exi exi

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Luego, la matriz hessiana es

ex1 ex2 ex1 ex3

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Sea z = (ex1 , ex2 , ex3 ) y e = (1, 1, 1), entonces

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Sea v R3 , veamos si se cumple v T 2 f (x)v 0.

donde la desigualdad anterior es obtenida por la desigualdad minerva

de Cauchy-Schwartz, por lo tanto, la funcion f es convexa.

En efecto, dom f = Rn es un conjunto abierto y convexo,

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Se puede verificar facilmente que f es una funcion convexa en

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

existe, entonces f (x, d) es llamada la derivada direccional de f

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

donde f : X Rn R es una funcion convexa y X es un

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

donde A Rmn , b Rm , c Rn , es un problema de

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa

donde Q es una matriz simetrica y semidefinida positiva, es un

Erik Papa Quiroz erikpapa@gmail.com Optimizacion Convexa