Universidad Centroccidental Lisandro Alvarado

UCLA
Un M

etodo de Multilplicadores que Conduce a

una Cuasidistancia Homog

enea de Tercer Orden

Lic. Jorge Campos
Barquisimeto, Venezuela
2005
Universidad Centroccidental Lisandro Alvarado
Maestr

a en Ciencias
UCLA
Un M

etodo de Multilplicadores que Conduce a

una Cuasidistancia Homog

enea de Tercer Orden

Trabajo de grado presentado como requisito parcial
para optar al t

tulo de Magister Scientiarum

Menci

on Matem

atica
Autor: Lic. Jorge Campos
Tutor: Dr. R

omulo Castillo
Barquisimeto, Venezuela
2005
A Dios, A Dorka, A mi Familia
Y en especial A mis Padres
Agradecimientos
A Dios Omnisapiente, que sin su iluminaci on y gua no podra haber alcanzado
esta y otras tantas metas en mi vida espiritual, personal y profesional.
A mis padres, que por medio de ellos se me otorg o el don de la vida. Mam a, eres
ejemplo de humildad y paciencia. Pap a, aunque estes ausente, tus sabias palabras y
tu buen ejemplo siempre estar an vivos en m.
A mi amada Dorka, que sin su amor y bondad hacia a m el camino fuese sido m as
largo y tortuoso. Te amo mucho mi coraz on.
A mi muy querida hermana Juanita, siempre tendr as un lugar especial en mi vida.
A mis hermanos y hermanas que siempre me han apoyado en cada una de las etapas
de mi vida academica.
A mi amigo y tutor R omulo Castillo, sus conocimientos y experiencia fueron inva-
luables en la realizaci on del presente trabajo.
A mis amigos y colegas Eibar Hern andez y Mal on Mendoza, han sido unos faros
de sabidura en mi vida personal y laboral.
A mi amigo y colega Eduardo Villegas, el morocho, por su amistad incondicional.
A mi amigo y colega Abelardo Monsalve por su ayuda en la transcripci on de estas
lneas.
A todos mis compa neros de clase y mis colegas, que de una u otra forma me han
ayudado en mis estudios.
A todos los profesores que me impartieron clase y me formaron intelectualmente.
A la UCLA donde recib mi formaci on profesional.
A todos aquellos que que no nombro pero que han sido copartcipes en este trabajo,
mil perdones por la omisi on.
A todos mis m as sinceras gracias.
ii
Resumen
En el presente trabajo se considera el problema de programaci on convexa y en
particular algunos metodos de resoluci on como los propuestos en [3] y en [9], los cuales
est an basados en metodos de multiplicadores, tambien conocidos como metodos de
lagrangeano aumentado. En esta metodologa se minimiza iterativamente una funci on
auxiliar, que se conoce como funci on lagrangeano aumentado, e involucra una funci on
de penalidad comunmente conocida. Se genera adem as, va Dualidad de Fenchel,
una cuasidistancia en el espacio dual desconocida hasta ahora, la cual es analizada.
Presentamos un metodo de multiplicadores totalmente novedoso en el sentido que
involucra potencias c ubicas de los multiplicadores en la funci on lagrangeano, lo cual
no haba sido considerado hasta la fecha, adem as presentamos un algoritmo que
genera un par de sucesiones de las cuales enunciamos y demostramos resultados
concernientes a su convergencia.
Finalmente, a un cuando nuestro objetivo principal es el estudio te orico y no el
estudio numerico del metodo propuesto, mostramos un programa en MATLAB que
fue implementado a n de observar la ecacia computacional del mismo. Cabe desta-
car que los resultados obtenidos en este particular son bastante alentadores, basados
en los seis ejemplos presentados al nal de este trabajo, se pudo observar un buen
desempe no del metodo.
iii

Indice general
Agradecimientos II
Resumen III

Indice general IV
Introducci on 1
1. Conceptos Preliminares 6
1.1. Funciones Convexas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2. Dualidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2. Metodos de Multiplicadores y Punto Proximal 14
2.1. Metodos de Punto Proximal . . . . . . . . . . . . . . . . . . . . . . . 15
2.1.1. El Metodo de Punto Proximal Cl asico . . . . . . . . . . . . . 15
2.1.2. Metodo de Punto Proximal con Operadores Mon otonos Maxi-
males . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.1.3. Metodo de Punto Proximal con Cuasidistancias . . . . . . . . 19
2.2. Metodos de Lagrangeano Aumentado . . . . . . . . . . . . . . . . . . 22
2.2.1. El Lagrangeano Cl asico . . . . . . . . . . . . . . . . . . . . . . 23
2.2.2. Lagrangeano Aumentado . . . . . . . . . . . . . . . . . . . . . 24
3. Metodo Propuesto 27
3.1. Desarrolo del Metodo . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2. An alisis de Convergencia . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.3. Implementaci on del Metodo . . . . . . . . . . . . . . . . . . . . . . . 44
Conclusiones 59
Bibliografa 60
iv
Introducci on
En ingeniera, as como tambien en economa, es bastante com un que se presen-
ten problemas en los que es necesario minimizar costos de producci on o maximizar
ganancias, en general, las variables involucradas en el problema est an sujetas a una
o varias restricciones, las cuales varian con cada problema. Al formular el modelo
matem atico del problema en cuesti on, nos damos cuenta que con mucha frecuencia
aparecen funciones no lineales, estos problemas son conocidos como problemas de pro-
gramaci on no lineal. Cuando las funciones involucradas en el problema son funciones
convexas y continuamente diferenciables, el problema se convierte en un problema de
programaci on no lineal convexo diferenciable con restricciones, digamos
(P)
minimizar f
0
(x)
sujeto a f
i
(x) 0, i {1, . . . , m}.
donde f
0
, f
1
, ..., f
m
son funciones convexas de clase C
1
en R
n
.
Los metodos de lagrangeano aumentado, llamados tambien metodos de multiplica-
dores, son los que generalmente se usan para resolver este tipo de problemas. Su buen
desempe no computacional y su estrecha relaci on con los metodos de punto proximal,
que se usan para resolver el problema dual de (P), es la raz on por la cual son usados
tan frecuentemente en su resoluci on.
El problema dual de (P), el cual es un problema c oncavo, viene dado por:
(D) sup{d() : R
m
+
}
donde
d() = inf{l(x, ) : x R
n
}
es la funci on dual objetivo de (P) y
l : R
n
R
m
++
R
1
2
dada por
l(x, ) = f
0
(x) +
m

i=1

i
f
i
(x)
es la funci on lagrangeano cl asico para (P).
En [9] Polyak y Teboulle presentan una metodologa en metodos de multipli-
cadores que denominan Nonlinear Rescaling (NR), la cual consiste, b asicamen-
te, en transformar el problema inicial en uno equivalente cuya funci on lagrangeano
L
r
(x, ) : R
n
R
m
++
viene dada por
L
r
(x, ) = f
0
(x) + r
m

j=1

_
f
i
(x)
r
_
(0.0.1)
donde r es un n umero real positivo y : R R es una funci on de penalidad la cual
deniremos en el captulo 2. La funci on dada por (0.0.1) es la funci on objetivo del
metodo tipo lagarangeano aumentado considerado por ellos. La cuasidistancia aso-
ciada a esta funci on va conjugacidad, es conocida actualmente como -divergencia.
Polyak y Teboulle presentan, en primer lugar, un metodo de multiplicadores para
resolver (P), generando un metodo de punto proximal que usan para resolver (D).
La sucesi on primal generada por el metodo converge de manera erg odica a una
soluci on optima de (P) y la sucesi on de puntos duales converge globalmente a una
soluci on optima de (D).
Ben-Tal y Zibulevsky en [3] presentan un metodo de multiplicadores que llaman
The Penalty/Barrier Multiplier Method (PBM) y usan para resolver (P). Al con-
siderar (D), se encuentran con un metodo de punto proximal cuyo n ucleo es una cua-
sidistancia que involucra una funci on sublineal. Al hacer el estudio de convergencia
obtienen que cualquier punto lmite de la sucesi on primal converge a una soluci on
optima de (P) y cualquier punto lmite de la sucesi on dual converge a una soluci on
optima de (D). La funci on lagrangeano aumentado L(x, , p) : R
n
R
m
++
R
m
++
usada
3
por ellos viene dada por:
L(x, , p) = f
0
(x) +
m

j=1

j
p
j

_
f
i
(x)
p
j
_
(0.0.2)
donde es como en (0.0.1). Es de hacer notar que al tomar p = r en (0.0.2), con r
un n umero real positivo, se genera, en el n ucleo del metodo de punto proximal, una
cuasidistancia homogenea de segundo orden.
Auslender, Teboulle y Ben-Tiba en [1], comienzan generando un algoritmo que lla-
man Basic Iterations Scheme (BIS), que es una versi on aproximada del metodo
de punto proximal, el cual usa una cuasidistancia homogenea de segundo orden y
es usado para resolver (D). Se estudian dos clases de algoritmos basados en BIS,
estos son Interior Proximal Method (IPM) y Regularized Interior Proximal Met-
hod (RIPM). Al considerar (P) va dualidad, utilizan un metodo de multiplicadores
inexactos. En el an alisis de convergencia se obtienen dos resultados para los dos
algoritmos antes mencionados. La correspondiente funci on lagrangeano aumentado
L
r
(x, ) : R
n
R
m
++
que se obtiene es dada por:
L
r
(x, ) = f
0
(x) + r
m

j=1
(
j
)
2

_
f
i
(x)
r
j
_
(0.0.3)
donde r y son como en (0.0.1).
Al observar las funciones lagrangeno aumentado dadas por (0.0.1), (0.0.2) y (0.0.3),
surge la interrogante en el sentido de analizar si es o no posible considerar potencias
c ubicas de los multiplicadores que aparecen en las funciones objetivos y que conside-
raciones y resultados adicionales se podran obtener.
En esta direcci on, hemos formulado nuestro principal objetivo, el cual consiste en
obtener un metodo de multiplicadores alternativo, en este caso utilizando potencias
c ubicas en los multiplicadores, que nos permita resolver (P) usando la funci on la-
grangeano aumentado L
r
(x, ) : R
n
R
m
++
dada por:
L
r
(x, ) = f
0
(x) + r
m

j=1
(
j
)
3

_
f
i
(x)
r(
j
)
2
_
(0.0.4)
4
con r y como en (0.0.1).
Dicho esto, en el captulo 1 haremos una sntesis de toda la teora que usaremos
en los captulos subsecuentes, comenzando por el concepto de conjunto afn, pasando
por funciones convexas, hasta llegar al teorema de dualidad de Fenchel.
En el captulo 2 hablaremos del metodo de punto proximal cl asico, referiremos al-
gunos detalles de este metodo usando operadores mon otonos maximales y hablaremos
del metodo en su versi on con cuasidistancias. Este metodo es una poderosa herra-
mienta te orica, m as no computacional, para los problemas de programaci on no lineal.
Nuestra intenci on es aplicar este metodo para resolver (D). Seguidamente haremos
una sntesis de los metodos de lagrangeano aumentado. En la actualidad estos est an
siendo estudiados por muchos investigadores, quienes han obtenido grandes avances
te oricos y computacionales en relaci on a estos. Los metodos de lagrangeano aumenta-
do guardan una interesante relaci on con los metodos de punto proximal va dualidad
de Fenchel, lo cual es una gran ventaja, pues estos ultimos, como ya dijimos antes, son
una fuerte herramienta te orica. Uno de los problemas de los metodos de lagrangeano
aumentado, es la dicultad que presentan a la hora de probar la convergencia de la
sucesi on primal.
Finalmente, en el captulo 3, que es nuestro trabajo en s, atacaremos (P) usando
un metodo de multiplicadores con la funci on (0.0.4) que conduce, va dualidad de
Fenchel, a un metodo de punto proximal distinto a los considerados anteriormente
en [9], [3] y [1], por tener un n ucleo que es una cuasidistancia homogenea de tercer
orden. Al igual que los metodos ya conocidos, este genera dos sucesiones, una suce-
si on de puntos primales y otra de puntos duales, mediante la aplicaci on de un
algoritmo iterativo. Enunciaremos y demostraremos resultados de convergencia para
estas dos sucesiones. El objetivo principal de este captulo, y el de nuestro trabajo en
general, es el estudio te orico del metodo propuesto, sin embargo, tambien incluimos
5
una implementaci on en MATLAB del mismo, con algunos ejemplos seleccionados
adecuadamente, para estudiar su ecacia computacional.
Captulo 1
Conceptos Preliminares
La idea de este captulo es presentar gran parte de la terminologa, junto con
algunos teoremas y deniciones, que vamos a usar en el presente trabajo. El lector
puede remitirse a la bibliografa, especialmente [10], para una prueba de los teoremas
de este captulo.
1.1. Funciones Convexas
Denici on 1.1. Un conjuto M R
n
es llamado afn si
x, y M, R : (1 )x + y C.
Es claro que la intersecci on arbitraria de conjuntos anes es un conjunto afn.
Denici on 1.2. Sean S R
n
cualquiera y A = {M R
n
: S M y M es afn}.
Deniremos la c apsula afn de S como el conjunto aS =

MA
M.
La observaci on hecha inmediatamente antes de esta denici on, nos permite garan-
tizar que la c apsula afn de un conjunto S R
n
, es siempre un conjunto afn, de
hecho, aS es el conjunto afn m as peque no que contiene a S.
Denici on 1.3. Un conjunto C R
n
es llamado convexo si
x, y C, [0, 1] : (1 )x + y C.
Los conjuntos anes son ejemplos de conjuntos convexos. Otros ejemplos de con-
juntos convexos, que no son anes, son las bolas (cerradas o abiertas) en R
n
, as como
6
1.1. Funciones Convexas 7
tambien los paraleleppedos, los rect angulos, las pir amides y los tri angulos. No son
conjuntos convexos, la regi on en R
3
entre dos esferas concentricas, la regi on en R
2
bajo la curva y = sen x.
Teorema 1.1 (ver [10], Teorema 2.1). La intersecci on arbitraria de conjuntos
convexos es un conjunto convexo.
Denici on 1.4. Sean S R
n
cualquiera y
C = {M R
n
: S M y M es convexo}.
Deniremos la c apsula convexa de S como el conjunto convS =

MC
M.
Seg un el teorema anterior, convS es un conjunto convexo, m as a un, es el conjunto
convexo m as peque no que contiene a S.
Denici on 1.5. Sea f una funci on a valores reales extendidos con dominio S R
n
.
El conjunto
epif = {(x, ) : x S, R, f(x)}
es llamado el epgrafo de f.
Denici on 1.6. Sea f una funci on denida sobre un conjunto S R
n
. Diremos
que f es convexa sobre S si epif es un subconjunto convexo de R
n+1
. Diremos que f
es c oncava sobre S si f es convexa sobre S.
Denici on 1.7. El dominio efectivo de una funci on convexa f denida sobre un
conjunto S R
n
, el cual denotaremos por domf, est a dado por
domf = {x S : f(x) < +}
Obviamente, la convexidad de f es equivalente a que la restrici on de f sobre domf
lo sea. Realmente el interes se centra sobre esta restricci on, y S mismo tiene un rol
secundario en esto.
1.1. Funciones Convexas 8
Como lo arma Rockafellar en [10], uno podra limitar su atenci on a las funciones
las cuales nunca son +, as que S siempre coincidira con domf. O uno podra
limitar su atenci on a las funciones dadas sobre todo R
n
, dado que una funci on con-
vexa f sobre S puede ser extendida a una funci on convexa sobre todo R
n
tomando
f(x) = + para x / S.
El segundo enfoque es el que adoptaremos. As que de ahora en adelante por una
funci on convexa entenderemos una funci on convexa a valores reales extendidos la cual
est a denida en todo R
n
, a menos que se especique otra cosa. Este enfoque tiene
la ventaja que las molestias tecnicas del dominio efectivo pueden ser suprimidas casi
por completo. Por ejemplo, cuando una funci on convexa f es construida de acuerdo a
ciertas f ormulas, las mismas f ormulas especican el dominio efectivo de f de manera
implcita, pues esta especica donde f(x) es o no +. En otras palabras, uno siempre
tendra descrito el dominio efectivo de f explcitamente antes que los valores de f o
de su dominio puedan darse.
Existen varias caracterizaciones de funciones convexas que en la pr actica son m as
utiles que la denici on en si, algunas de ellas son.
Teorema 1.2 (ver [10], Teorema 4.1). Sea C R
n
un conjunto convexo. Una
funci on f : C (, +] es convexa sobre C si y s olo si
f((1 )x + y) (1 )f(x) + f(y)
para todo 0 1 y para cualesquiera x, y C.
En muchos textos esta caraterizaci on se usa como la denici on de funci on con-
vexa. Si la desigualdad en el teorema anterior es estricta, la funci on f es llamada
estrictamente convexa.
1.1. Funciones Convexas 9
Teorema 1.3 (ver [10], Teorema 4.2). Sea f una funci on a valores reales exten-
didos denida sobre R
n
. Entonces f es convexa si y s olo si
(0, 1) : f((1 )x + y) < (1 ) +
siempre que f(x) < y f(y) < .
Teorema 1.4 (Desigualdad de Jensen)(ver [10], Teorema 4.3). Sea f una
funci on de R
n
en (, +]. Entonces f es convexa si y s olo si
f
_
m

i=1

i
x
i
_

i=1
f(
i
x
i
)
siempre que
1
, . . . ,
m
0 y
m

i=1

i
= 1.
Las funciones c oncavas satisfacen resultados an alogos bajo hip otesis similares, sal-
vo que las desigualdades ser an contrarias. Otros resultados interesantes sobre la
convexidad de funciones son.
Teorema 1.5 (ver [10], Teorema 4.4). Una funci on f a valores reales dos veces
diferencible denida en un intervalo (a, b) es convexa si y s olo si f

es no negativa
en (a, b).
Teorema 1.6 (ver [10], Teorema 4.5). Sea f una funci on a valores reales dos
veces diferenciable sobre un conjunto convexo abieto C R
n
. Entonces f es convexa
si y s olo si su matrz Hessiana
H(c) =
_

2
f
x
i
x
j
(c)
_
nn
es semidenida positiva para todo c C.
Para funciones estrctamente convexas, se obtienen resultados similares, basta cam-
biar no negativa por positiva en el Teorema 1.5 y semidenida por denida en el Teo-
rema 1.6. Adem as, los an alogos de los teoremas anteriores para funciones c oncavas,
1.1. Funciones Convexas 10
se obtienen al cambiar no negativa por no positiva en el Teorema 1.5 y semidenida
positiva por semidenida negativa en el Teorema 1.6.
Denici on 1.8. Una funci on convexa f es llamada propia si su epgrafo es no vaco
y no contiene rectas verticales, es decir, si f(x) < + para al menos un valor de x
y f(x) > para todo valor de x. Una funci on convexa que no es propia es llamada
impropia.
En la siguiente denici on B[x, ] = {y : y x }.
Denici on 1.9. Sea C R
n
un conjunto convexo. Deniremos el relativo interior
de C al conjunto riC formado por todos los puntos x aC tales que
> 0 : B[x, ] aC C.
El relativo interior de un conjunto convexo es tambien un conjunto convexo. El
siguiente teorema es muchas veces m as facil de usar que la denici on anterior.
Teorema 1.7 (ver [10], Corolario 6.4.1). Sea C R
n
un conujunto convexo no
vaco. Entonces x riC si y s olo si para todo y R
n
existe > 0 tal que x+y C.
Denici on 1.10. Una funci on a valores reales extendidos f denida sobre un con-
junto S R
n
es llamada semicontinua inferiormente en un punto x S si
f(x) = lminf
yx
f(y) = lm
0
+
_
inf
|yx|
f(y)
_
.
La semicontinuidad superior se dene tomando lmsup en lugar de lminf. Una fun-
ci on f se dice semicontinua inferiormente (o superiormente) en S si es semicontinua
inferiormente (o superiormente) en todo punto x S. Es claro que f es semicontinua
inferior y superiormente en x si y s olo si es continua en x.
Denici on 1.11. Una funci on f : R
n
(0, +] es cerrada si epif es un conjunto
cerrado en R
n+1
.
1.2. Dualidad 11
La importancia de la semicontinuidad inferior, en el estudio de la convexidad de
funciones, es puesta de maniesto en el siguiente teorema.
Teorema 1.8 (ver [10], Teroema 7.1). Sea f : R
n
[, +]. Entonces las
siguientes condiciones son equivalentes
1. f es semicontinua inferiormente en R
n
;
2. {x : f(x) } es cerrado para todo R;
3. f es cerrada.
1.2. Dualidad
El estudio de la dualidad en los problemas de programaci on convexa es de vital im-
portancia. A continuaci on presentaremos algunos resultados, relativos a la dualidad,
que nos ser an utiles en el ultimo captulo.
En lo que resta del trabajo, si x = (x
1
, . . . , x
n
)
T
y y = (y
1
, . . . , y
n
)
T
son vectores
en R
n
, entonces xy =
n

i=1
x
i
y
i
denota el producto interno o producto escalar de x con
y.
Denici on 1.12. Dada una funci on convexa f : R
n
(0, +], deniremos la
conjugada de f como la funci on f

: R
n
(, +] dada por
f

(s) = sup
x
{xs f(x)}.
Esta denici on nos ser a muy util en el captulo 3, y es una pieza clave en el estudio
del porblema que nos proponemos presentar en este trabajo.
Se puede probar que f

es una funci on convexa y cerrada, adem as f

es propia si
y s olo si f lo es. Cuando f es c oncava, la conjugada se dene de manera an aloga s olo
que en lugar de tomar supremo se toma nmo. Es de notar que si f es c oncava, f

no est a denida como (f)

, el siguiente teorema aclara esto.

1.2. Dualidad 12
Teorema 1.9. Sea g : R [, +) una funci on c oncava y denamos f = g.
Entonces g

(s) = f

(s)
Demostraci on
g

(s) = inf
x
{xs g(x)}
= inf
x
{xs + f(x)}
= sup
x
{xs f(x)}
= sup
x
{x(s) f(x)}
= f

(s)

Teorema 1.10 (ver [6], Proposici on X.1.3.1). Sean

f : R
n
(, +], f
1
, . . . , f
m
: R (, +]
funciones convexas propias cerradas.
1. Si R y h(x) = f(x) + , entonces h

(s) = f

(s) .
2. Si > 0 y h(x) = f(x), entonces h

(s) = f

_
s

_
.
3. Si = 0 y h(x) = f(x), entonces h

(s) = f

_
s

_
.
4. Si y R
n
y h(x) = f(x y), entonces h

(s) = f

(s) + sy.
5. Si x = (x
1
, . . . , x
n
) y h(x) =
m

j=1
f
j
(x
j
), entonces h

(s) =
m

j=1
f

j
(s
j
) para
s = (s
1
, . . . , s
m
).
La siguiente denici on, es una especie de extensi on del concepto de gradiente, para
el caso de funciones convexas no necesariamente diferenciables.
1.2. Dualidad 13
Denici on 1.13. Sea f : R
n
(, +] una funci on convexa. Un vector s R
n
es un subgradiente de f en x R
n
si
y R
n
: f(y) f(x) + s(y x).
El conjunto formado por todos los vectores subgradientes de f en x, denotado por
f(x), es llamado el subdiferencial de f en x.
Para una funci on c oncava f : R
n
[, +) las deniciones son an alogas, s olo
hay que invertir la desigualdad.
Si f es diferenciable en x, entonces f(x) = {f(x)}
Teorema 1.11 (ver [6], Corolario X.1.4.4). Sea f : R
n
(, +] una funci on
convexa propia cerrada. Entonces para todo s, x R
n
se cumple que
x f

(s) s f(x) f(x) + f

(s) sx = 0.
Teorema 1.12 (Dualidad de Fenchel)(ver [10], Teroema 31.1). Supongamos
que f : R
n
(, +] es una funci on convexa propia y que g : R
n
[, +)
es una funci on c oncava propia. Si algunas de las siguientes condiciones se cumple
(a) ri(domf) ri(domg) = ,
(b) f y g son cerradas y ri(domf

) ri(domg

) = ,
entonces
inf
xR
n
{f(x) g(x)} = sup
sR
n
{g

(s) f

(s)}.
Adem as, si (a) se satisface, el supremo es alcanzado en alg un s; si (b) se satisface,
el nmo es alcanzado en alg un x; si (a) y (b) son satisfechas simultaneamente, el
nmo y el supremo son nitos.
Captulo 2
Metodos de Multiplicadores y Punto
Proximal
En este captulo presentaremos algunos resultados ya estudiados sobre los metodos
de multiplicadores y punto proximal, mayormente extraidas de [7]. Haremos algunas
observaciones sobre la ventajas y desventajas de cada uno y sobre la relaci on de
dualidad entre ellos.
En lo que resta del trabajo, usaremos las siguientes notaciones
(i) P(R
m
) representa el conjunto de partes o conjunto potencia de R
m
.
(ii) Dado x = (x
1
, . . . , x
n
)
T
R
n
, diremos que x > 0 si y s olo si x
i
> 0 para todo
i {1, . . . , n}.
(iii) Dado x = (x
1
, . . . , x
n
)
T
R
n
, diremos que x 0 si y s olo si x
i
0 para todo
i {1, . . . , n}.
(iv) R
n
+
= {x R
n
: x > 0}.
(v) R
n
++
= {x R
n
: x 0}.
(vi) Si S R
n
, denotaremos por S y S a la clausura y la frontera de S respecti-
vamente.
(vii) Si f : R
n
R
m
R es una funci on diferenciable, denotaremos por
1
f(x, y)
y
2
f(x, y) a los gradientes de f tomados respecto a la primera y segunda
variable respectivamente.
14
2.1. Metodos de Punto Proximal 15
2.1. Metodos de Punto Proximal
Nuestro interes principal, es aplicar este metodo para resolver un problema de
minimizaci on de una funci on convexa denida en R
m
+
, usando una cuasidistancia que
deniremos en el captulo 3.
2.1.1. El Metodo de Punto Proximal Clasico
Consideremos el problema
inf{f(x) : x R
m
} (2.1.1)
donde f : R
m
R es una funci on convexa propia cerrada.
El metodo de punto proximal cl asico (ver [7]), aplicado a este problema, genera
una sucesi on {x
k
} mediante el siguiente algoritmo
x
0
R
m
(2.1.2)
x
k+1
= argumn{f(x) +
k
x x
k

2
: x R
m
} (2.1.3)
donde
k
R y 0 <
k

para alg un

> 0.
Quisieramos que la sucesi on generada por (2.1.2), (2.1.3) converja a una soluci on
del problema (2.1.1), esto es posible bajo ciertas hip otesis especcas.
2.1.2. Metodo de Punto Proximal con Operadores Mon otonos
Maximales
Seguidamente daremos algunas deniciones y resultados ya probados en [7] en
relaci on al metodo de punto proximal usando operadores maximales mon otonos.
Denici on 2.1. Un operador punto a conjunto T : R
m
P(R
m
) es mon otono si
(x y)(u v) 0, x, y R
m
, u T(x), v T(y).
2.1. Metodos de Punto Proximal 16
Ejemplo 2.1 (ver [7]). Si f : R
m
R es una funci on convexa, entonces T = f
es un operador mon otono.
En efecto, sean x, y R
m
, u f(x) y v f(y) cualesquiera, de la denici on de
subgradiente de una funci on convexa, se tiene
u(y x) f(y) f(x)
y
v(x y) f(x) f(y),
por lo tanto
(x y)(u v) = u(y x) v(x y) 0.

Denici on 2.2. Un operador T : R

m
P(R
m
) es mon otono maximal si
(i) T es mon otono.
(ii) Para todo operador mon otono

T tal que T(x)

T(x) para todo x, se cumple
que T =

T.
Ejemplo 2.2 (ver [7]). Sea f : R
m
R una funci on convexa. Se puede probar que
f es un operador mon otono maximal. Este resultado es importante para el estudio
que haremos m as adelante.
Como lo arma Iusem en [7], el concepto de operador mon otono maximal, dado
en la denici on anterior, viene a generalizar el concepto de transformaci on lineal
semidenida positiva para el caso no lineal. En el ejemplo anterior vemos que el
subgradiente de una funci on mon otona es un operador mon otono maximal, lo cual es
una ventaja para nuestro posterior estudio.
2.1. Metodos de Punto Proximal 17
Denici on 2.3. Un operador T : R
m
P(R
m
) es llamado no expansivo si
T(x) T(y) x y
para todo x, y R
m
.
Denici on 2.4. Un operador T : R
m
P(R
m
) es llamado rmemente no expansivo
si
T(x) T(y)
2
x y
2
(x y) (T(x) T(y))
2
para todo x, y R
m
.
Denici on 2.5. Una sucesi on {y
k
} es Fejer convergente a un conjunto U R
m
con respecto a la norma Euclidiana si
y
k+1
u y
k
u, k 0, u U.
Teorema 2.1 (ver [7], Proposici on 4.1). Si T es rmemente no expansivo, en-
tonces la sucesi on denida por
x
0
R
m
x
k+1
= T(x
k
)
es Fejer convergente al conjunto de puntos jos de T
Observaci on 2.1 (ver [7]). Dado un operador punto a conjunto T : R
m
P(R
m
),
si suponemos que T(x) = para alg un x R
m
, se puede denir un nuevo operador
T
1
: R
m
P(R
m
) (una especie de operador inverso de T) como sigue
y T
1
(x) x T(y).
Denici on 2.6. Diremos que x R
m
es un cero del operador mon otono maximal
T : R
m
P(R
m
) si 0 T(x).
2.1. Metodos de Punto Proximal 18
Volvamos a nuestro problema original dado por (2.1.1). Se tiene que
0 f(x) y : 0 = 0(y x) f(y) f(x)
y : f(x) f(y),
es decir, x es un cero de f si y s olo si x es una soluci on de (2.1.1), as que, el problema
de encontrar ceros de un operador mon otono maximal, generaliza el problema de
minimizaci on de funciones convexas.
Usando la condici on de optimalidad en (2.1.3) obtenemos
0 f(x
k+1
) + 2
k
(x
k+1
x
k
)
que es equivalente a
2
k
(x
k
x
k+1
) f(x
k+1
),
por lo que en el contexto de operadores mon otonos maximales sera natural escribir

k
(x
k
x
k+1
) T(x
k+1
)
o bien
x
k
(I +
1

k
T)(x
k+1
),
es decir,
x
k+1
(I +
1

k
T)
1
(x
k
)
El siguiente teorema (ver [7], Teorema 4.2) garantiza que la sucesi on {x
k
} denida
por
x
0
R
m
(2.1.4)
x
k+1
(I +
1

k
T)
1
(x
k
) (2.1.5)
con 0 <
k


, converge a un cero del operador (I +
1

k
T)
1
. Al tomar T = f,
obtenemos la convergencia del algortmo de punto proximal dado en (2.1.2), (2.1.3).
2.1. Metodos de Punto Proximal 19
Teorema 2.2 (ver [7] Teorema 4.2). Si T : R
m
P(R
m
) es un operador mon oto-
no maximal y existe x tal que 0 T(x), entonces la sucesi on denida por (2.1.4),
(2.1.5) converge a un vector x

tal que 0 T(x

).
2.1.3. Metodo de Punto Proximal con Cuasidistancias
Existen versiones del metodo de punto proximal usando las llamadas cuasidistan-
cias. B asicamente se sustituye el n ucleo cuadr atico xx
k

2
en el algoritmo original
por D(x, x
k
) donde D es una cuasidistancia.
Denici on 2.7. Sea X un subconjunto no vaco de R
m
. Una funci on D : XX R
es llamada una cuasidistancia en X si
(i) x, y X : D(x, y) 0;
(ii) D(x, y) = 0 x = y.
Entre las cuasidistancias que se han usado para generalizar el metodo de punto
proximal, est an las llamadas distancias de Bregman y las -divergencias, ambas son
casos particulares de las llamadas medidas divergentes.
Denici on 2.8. Dado S R
m
, una funci on d : S S R es llamada una medida
divergente en S si
(i) x, y S : d(x, y) 0;
(ii) Si {x
k
} S y x S, entonces lm
k+
d(x, x
k
) = 0 lm
k+
x
k
= x;
(iii) Los conjuntos de nivel
1
(y, ) = {x S : d(x, y) } son acotados para todo
y S y todo > 0;
(iv) Los conjuntos de nivel
2
(x, ) = {y S : d(x, y) } son acotados para todo
x S y todo > 0.
2.1. Metodos de Punto Proximal 20
La condici on (ii) implica que
d(x, y) = 0 x = y,
es decir, toda medida divergente es una cuasidistancia. Un caso particular de las
medidas divergentes son las llamadas -divergencias.
Denici on 2.9. Sea : R
++
R una funci on continua tal que
(i) es decreciente en (0, 1) y creciente en (1, +);
(ii) (1) = 0;
(iii) lm
t+
(t) = +.
Denamos la funci on d

: R
n
++
R
n
++
R como
d

(x, y) =
n

j=1
y
j

_
x
j
y
j
_
.
La funci on d

es llamada -divergencia.
Un estudio detallado del algoritmo de punto proximal usando este tipo de funciones
se puede enconntrar en [7], [8] y [9].
Otra caso particular de las medidas divergentes son las llamadas distancias de
Bregman.
Denici on 2.10. Sea S R
n
un conjunto abierto convexo. Consideremos una
funci on convexa h : S R diferenciable en S. Denamos la funci on D
h
: S S R
por
D
h
(x, y) = h(x) h(y) h(y)(x y).
h es llamada una funci on de Bregman con zona S (y D
h
la distancia de Bregman
inducida por h) si se cumplen las siguientes condiciones
2.1. Metodos de Punto Proximal 21
(B1) h es continuamente diferenciable en S.
(B2) h es estrctamente convexa y continua en S.
(B3) Para todo R los conjuntos de nivel
1
(y, ) = {x S : D
h
(x, y) }

2
(x, ) = {y S : D
h
(x, y) } son acotados para todo y S y todo x S
respectivamente.
(B4) Si {y
k
} S converge a y

, entonces D
h
(y

, y
k
) converge a 0.
(B5) Si {x
k
} S y {y
k
} S son sucesiones tales que {x
k
} es acotada, lm
k+
y
k
= y

y lm
k+
D
h
(x
k
, y
k
) = 0, entonces lm
k+
x
k
= y

Se prueba que toda distancia de Bregman es una cuasidistancia. (B4) y (B5) son
consecuencia de (B1), (B2) y (B3) si {x
k
} S y y

S, as que (B4) y (B5) s olo

necesitan ser vericadas si {x
k
} S o y

S.
Denici on 2.11. Una funci on de Bregman h con zona S es llamada coerciva en la
frontera cuando satisface que
(B6) Si {y
k
} S es tal que lm
k+
y
k
= y S, entonces
lm
k+
h(y
k
)(x y
k
) = .
Denici on 2.12. Una funci on de Bregman h con zona S es llamada coerciva en la
zona cuando satisface que
(B7) Para todo y R
n
existe x S tal que h(x) = y.
Un estudio del metodo de punto proximal usando distancias de Bregman es hecho
en [7].
Sea S R
m
un conjunto abierto y f : R
m
R una funci on convexa en S.
Consideremos el problema
inf{f(x) : x S} (2.1.6)
2.2. Metodos de Lagrangeano Aumentado 22
El algoritmo de punto proximal aplicado a este problema, usando una cuasidistan-
cia D : S S R, genera una sucesi on {x
k
} dada por
x
0
S (2.1.7)
x
k+1
= argumn{f(x) +
k
D(x, x
k
) : x S}. (2.1.8)
donde
k
R y 0 <
k

para alg un

> 0.
Bajo ciertas hip otesis se puede probar que la sucesi on dada por (2.1.7) y (2.1.8)
converge a una soluci on optima de (2.1.6).
2.2. Metodos de Lagrangeano Aumentado
En la secci on anterior estudiamos el algoritmo de punto proximal. Cabe destacar
que este tipo de metodos no es ecaz computacionalmente, el hecho es que cada
iteraci on del metodo requiere una minimizaci on de una funci on en R
m
. Sin embargo,
resultan muy utiles como una herramienta conceptual en el an alisis de convergencia
de algoritmos en problemas de optimizaci on.
En esta secci on estudiaremos los metodos de lagrangeano aumentado, que con-
trariamente a los metodos de punto proximal, resultan una ecaz herramienta com-
putacional, m as no te orica, en el estudio de convergencia de los algoritmos antes
mencionados. Estos metodos sustituyen un problema de minimizaci on con restric-
ciones, por una secuencia de problemas irrestrictos. Adem as, est an estrechamente
relacionados, como veremos luego, con los metodos de punto proximal va dualidad
de Fenchel.
2.2. Metodos de Lagrangeano Aumentado 23
2.2.1. El Lagrangeano Clasico
Consideremos el problema de programaci on convexa
(P)
minimizar f
0
(x)
sujeto a f
i
(x) 0, i {1, . . . , m}.
donde f
0
, f
1
, . . . , f
m
: R
n
R son funciones convexas propias cerradas. El lagrangea-
no cl asico l : R
n
R
m
++
R para este problema est a dado por
l(x, ) = f
0
(x) +
m

i=1

i
f
i
(x).
El metodo de lagrangeano cl asico genera dos sucesiones {x
k
} y {
k
} mediante el
siguiente algoritmo, comenzando con
0
R
n
++
denimos
x
k+1
= argumn{l(x,
k
) : x R
n
} (2.2.1)
la actualizaci on para
k
no es especicada, sin embargo, debe hacerse de manera
apropiada.
Las hip otesis que comunmente se dan para este tipo de problemas son las siguientes
(A1) El conjunto de soluciones optimas de (P) es compacto y no vaco.
(A2) Existe x domf
0
tal que f
i
( x) < 0 para i = 1, ..., m (Condici on de Calicaci on
de Slater).
El problema dual del problema (P), el cual sabemos que es un problema c oncavo,
viene dado por:
(D) sup{d() : R
m
+
}
donde
d() = inf{l(x, ) : x R
n
}
es la funci on dual objetivo del problema (P).
2.2. Metodos de Lagrangeano Aumentado 24
Observaci on 2.2. (A2) implica que el conjunto de soluciones optimas del problema
(D) es compacto y no vaco (ver [10] secciones 28 y 29) y que

f =

d donde

f = inf{f
0
(x) : x R
n
, f
i
(x) 0, i = 1, ..., m}
y

d = sup{d() : R
m
+
}.
Adem as, para cada <

d, el conjunto de nivel
{ R
m
+
: d() }
es compacto.
2.2.2. Lagrangeano Aumentado
Consideremos el problema (P) dado en la secci on anterior. El lagrangeano aumen-
tado cl asico L

: R
n
R
m
++
R para este problema est a dado por
L

(x, ) = f
0
(x) +
1
4
m

i=1
{[(
i
+ 2f
i
(x))
+
]
2

2
i
}
donde > 0 y a
+
= m ax{0, a}
Esta funci on es diferenciable y adem as

1
L

(x, ) = f
0
(x) +
m

i=1
(
i
+ 2f
i
(x))
+
f
i
(x)
Al aplicar el metodo del lagrangeano aumentado al problema (P), se obtienen dos
sucesiones {x
k
}, {
k
} de la siguiente manera. Escojamos
0
R
n
++
y denamos
x
k+1
= argumn{L

(x,
k
) : x R
n
} (2.2.2)

k+1
i
= (
k
i
+ 2f
i
(x
k+1
))
+
, para i = 1, . . . , m. (2.2.3)
2.2. Metodos de Lagrangeano Aumentado 25
Al aplicar la condici on de optimalidad a x
k+1
se obtiene
f
0
(x
k+1
) +
m

i=1
(
k
i
+ 2f
i
(x
k+1
))
+
f
i
(x
k+1
) = 0
y al usar (2.2.3) nos queda
f
0
(x
k+1
) +
m

i=1

k+1
i
f
i
(x
k+1
) = 0
es decir, x
k+1
,
k+1
satisfacen la condici on de optimalidad para el lagrangeano cl asico,
de aqu el por que de la actualizaci on en (2.2.3), ya que esta es una condici on necesaria
para que x
k+1
sea soluci on (no necesariamente optima) de (P).
Otros tipos de lagrangeano aumentado surgen al considerar las llamadas funciones
de penalidad. Por ejemplo, dado r (0, 1] y una funci on creciente, diferenciable y
estrrtamente convexa : (, a) R donde a (0, +] tal que
i. (0) = 0;
ii.

(0) = 1;
iii. lm
ta

(t) = +;
iv. lm
t

(t) = 0.
Las siguientes funciones pueden denirse como el lagrangeano aumentado del pro-
blema (P).
1. L
r
: R
n
R
m
R dada por L
r
(x, ) = f
0
(x) + r
m

i=1

_
f
i
(x)
r
_
(ver [9]).
2. L
r
: R
n
R
m
R dada por L
r
(x, ) = f
0
(x) + r
m

i=1
(
i
)
2

_
f
i
(x)
r
i
_
(ver [1]).
Los respectivos algoritmos que se obtienen al aplicar el metodo de lagrangeano
aumentado se obtienen al sustituir L

(x,
k
) en (2.2.2) por L
r
(x,
k
) y

k+1
i
= (
k
i
+ 2f
i
(x
k+1
))
+
2.2. Metodos de Lagrangeano Aumentado 26
en (2.2.3) por

k+1
i
=
k
i

_
f
i
(x
k+1
)
r
_
para (1);

k+1
i
=
k
i

_
f
i
(x
k+1
)
r
k
i
_
para (2).
Estas ultimas actualizaciones permiten probar, al igual que para el caso del lagran-
geano aumentado cl asico, que
k+1
, x
k+1
satisfacen la condici on de optimalidad para
el lagrangeano cl asico, de aqu el porque se toman de esta manera.
Bajo hip otesis especcas, que pueden diferir en cada caso, se puede probar que los
puntos lmites de la sucesi on {x
k
}, o bien la sucesi on de promedios de esta ultima,
converge a una soluci on optima del problema (P) y que cualquier punto lmite de la
sucesi on {
k
}, o la sucesi on completa, converge a una soluci on optima del problema
(D).
Captulo 3
Metodo Propuesto
En [9] Polyak y Teboulle presentan una metodologa en metodos de multipli-
cadores que denominan Nonlinear Rescaling (NR), la cual consiste, b asicamen-
te, en transformar el problema (P) en uno equivalente cuya funci on lagrangeano
L
r
(x, ) : R
n
R
m
++
viene dada por
L
r
(x, ) = f
0
(x) + r
m

j=1

_
f
i
(x)
r
_
(3.0.4)
donde r es un n umero real positivo, y es una funci on de penalidad. La cuasidistancia
asociada a L
r
(x, ) va conjugacidad, es una -divergencia. Polyak y Teboulle presen-
tan, en primer lugar, un metodo de multiplicadores para resolver (P), generando un
metodo de punto proximal que usan para resolver (D). La sucesi on primal generada
por el metodo converge de manera erg odica a una soluci on optima de (P), esto es, la
sucesi on de promedios de la sucesi on primal converge a una soluci on optima de (P),
en cambio, la sucesi on de puntos duales converge de manera global a una soluci on
optima de (D).
Ben-Tal y Zibulevsky en [3], al igual que Polyak y Teboulle en [9], presentan en
primer lugar un metodo de multiplicadores que llaman The Penalty/Barrier Multi-
plier Method (PBM) que usan para resolver (P). Al considerar (D), se encuentran
con un metodo de punto proximal cuyo n ucleo es una cuasidistancia que involucra
una funci on sublineal. Al hacer el estudio de convergencia, obtienen que cualquier
punto lmite de la sucesi on primal converge a una soluci on optima de (P) y cualquier
punto lmite de la sucesi on dual converge a una soluci on optima de (D). La funci on
27
2.2. Metodos de Lagrangeano Aumentado 28
lagrangeano aumentado L(x, , p) : R
n
R
m
++
R
m
++
usada por ellos viene dada por:
L(x, , p) = f
0
(x) +
m

j=1

j
p
j

_
f
i
(x)
p
j
_
(3.0.5)
con una funci on de penalidad. Es de hacer notar que al tomar p = r en (3.0.5),
con r un n umero real positivo, se genera, en el n ucleo del metodo de punto proximal
asociado, una cuasidistancia homogenea de segundo orden.
Auslender, Teboulle y Ben-Tiba en [1], a diferencia de Polyak y Teboulle en [9] y
Ben-Tal y Zibulevsky en [3], comienzan generando un algoritmo que llaman Basic
Iterations Scheme (BIS), que es una versi on aproximada del metodo de punto pro-
ximal, el cual usa una cuasidistancia homogenea de segundo orden y es usado para
resolver (D). Se estudian dos clases de algoritmos basados en BIS, estos son Interior
Proximal Method (IPM) y Regularized Interior Proximal Method (RIPM). Al
considerar (P) va dualidad, utilizan un metodo de multiplicadores inexactos. En el
an alisis de convergencia se obtienen dos resultados para los dos algoritmos antes men-
cionados. La correspondiente funci on lagrangeano aumentado L
r
(x, ) : R
n
R
m
++
es
dada por:
L
r
(x, ) = f
0
(x) + r
m

j=1
(
j
)
2

_
f
i
(x)
r
j
_
(3.0.6)
donde r es un n umero real positivo y una funci on de penalidad.
La funci on dada en (3.0.6), es un caso particular de la dada en (3.0.5), sin embargo,
los resultados dados por Auslender, Teboulle y Ben-Tiba en [1] se obtienen por una
va distinta a los resultados obtenidos por Ben-Tal y Zibulevsky en [3].
Al observar las funciones lagrangeno aumentado dadas por (3.0.4), (3.0.5) y (3.0.6),
surge la interrogante en el sentido de analizar si es o no posible considerar potencias
c ubicas de los multiplicadores que aparecen en las funciones objetivos y que conside-
raciones y resultados adicionales se podran obtener.
En esta direcci on, hemos formulado nuestro principal objetivo, el cual consiste en
3.1. Desarrolo del Metodo 29
obtener un metodo de multiplicadores alternativo, en este caso, utilizando potencias
c ubicas para los multiplicadores, que nos permita resolver (P).
A continuaci on presentaremos este nuevo metodo de multiplicadores que genera,
va dualidad de Fenchel, un metodo de punto proximal, que usaremos para resolver
el problema (D), y que tiene como n ucleo una cuasidistancia homogenea de tercer or-
den. Seguidamente estudiaremos un algoritmo generado por este metodo, este estudio
incluir a, entre otras cosas, un an alisis de convergencia del mismo. Adem as, aunque
nuestro objetivo principal es el estudio te orico del metodo y no su estudio numerico,
haremos una implementaci on en MATLAB del metodo al nal del captulo e incluire-
mos algunos ejemplos, escogidos de manera adecuada, que resolveremos usando esta
implementaci on.
3.1. Desarrolo del Metodo
Consideremos el problema de programaci on convexa
(P)
minimizar f
0
(x)
sujeto a f
i
(x) 0, i {1, . . . , m}.
donde f
0
, f
1
, ..., f
m
son funciones convexas de clase C
1
en R
n
. Los resultados que se
van a derivar en este trabajo continuan siendo v alidos en el caso de que las funciones
f
0
, f
1
, ..., f
m
sean convexas propias cerradas (no necesariamente diferenciables).
Supongamos adem as que se cumplen las condiciones (A1) y (A2) dadas en el captu-
lo anterior.
Consideremos adem as el problema dual del problema (P)
(D)
maximizar d()
sujeto a 0
donde d es la funci on dual objetivo del problema (P) ya denida en el captulo
anterior.
3.1. Desarrolo del Metodo 30
Denamos una clase de funciones que nos ayudar a a establecer el metodo. Sea
una funci on de clase C
2
en el intervalo (, a) con 0 < a +, la cual satisface
las siguientes propiedades
(1) es estrctamente creciente, esto es,

(t) > 0 para todo t (, a),

(2) es estrctamente convexa, es decir,

(t) > 0 para t (, a),

(3) (0) = 0,

(0) = 1,
(4) lm
ta

(t) = +,
(5) lm
t

(t) = 0,
(6) Existe M > 0 tal que

(t) M para todo t [0, a].

Llamemos a la clase de funciones que cumplen con estas propiedades.
Observaci on 3.1. Dada , (2) garantiza que

es creciente, en consecuencia
t < 0

(t)

(0) = 1 t

(t) t
0 < t < a

(t)

(0) = 1 t

(t) t.
Es decir, t

(t) t para todo t (, a).

Para y r > 0 denamos la funci on
L
r
(x, ) = f
0
(x) + r
m

i=1
(
i
)
3

_
f
i
(x)
r(
i
)
2
_
.
Llamaremos a esta funci on el lagrangeano aumentado del problema (P). No se debe
confundir esta funci on con el lagrangeano cl asico l(x, ).
Considerando esta funci on, formaremos el siguiente algoritmo para resolver el pro-
blema (P).
3.1. Desarrolo del Metodo 31
Algoritmo. Dados ,
0
R
m
++
y r > 0, generamos iterativamente las
sucesiones {x
k
} y {
k
} como sigue
x
k+1
argumn{L
r
(x,
k
) : x R
n
}, (3.1.1)

k+1
i
=
k
i

_
f
i
(x
k+1
)
r(
k
i
)
2
_
, i = 1, . . . , m. (3.1.2)
Se puede variar el valor r en cada iteraci on bajo la condici on de que estos valores
esten en un intervalo cerrado [ r, r] con r > 0.
Usando la Proposici on 1 dada en [3], aplicada al problema mn
x
L
r
(x, ), se garantiza
que el mnimo en el paso (3.1.1) es alcanzado y en consecuencia el algoritmo est a bien
denido.
De la condici on de optimalidad para x
k+1
tenemos que:
f
0
(x
k+1
) +
m

i=1

k
i

_
f
i
(x
k+1
)
r(
k
i
)
2
_
f
i
(x
k+1
) = 0. (3.1.3)
Sustituyendo (3.1.2) en (3.1.3) obtenemos
f
0
(x
k+1
) +
m

i=1

k+1
i
f
i
(x
k+1
) = 0. (3.1.4)
Es decir, x
k+1
,
k+1
satisfacen la condici on de optimalidad para la minimizaci on del
lagrangeano cl asico,
1
l(x
k+1
,
k+1
) = 0. M as a un

f =

d d(
k+1
) = inf
x
l(x,
k+1
) = l(x
k+1
,
k+1
). (3.1.5)
Adem as, dado que
0
> 0, por (1) y (5) tenemos que la sucesi on generada
por (3.1.2) satisface que
k
> 0 para todo k, y por lo tanto son puntos factibles
del problema (D). Sin embargo, la sucesi on generada por (3.1.1) no necesariamente
genera puntos factibles del problema (P). Pero al nal el captulo veremos que esta
ultima sucesi on satisface que dado > 0
f
i
(x
k
) <
3.1. Desarrolo del Metodo 32
para todo i = 1, . . . , m y para k sucientemente grande, es decir, si bien no se puede
garantizar la factibilidad de los puntos de la sucesi on, al menos se puede garantizar
que son asint oticamente factibles. Adem as, veremos que los puntos lmites de las
sucesiones dadas por (3.1.1) y (3.1.2), son soluciones de (P) y (D) respectivamente.
De (3.1.5) se tiene que
d() d(
k+1
) = inf
x
l(x, ) inf
x
l(x,
k+1
)
l(x
k+1
, ) l(x
k+1
,
k+1
)
=
m

i=1
(
i

k+1
i
)f
i
(x
k+1
)
= (f
1
(x
k+1
), . . . , f
m
(x
k+1
))(
k+1
).
Por lo tanto
(f
1
(x
k+1
), . . . , f
m
(x
k+1
))
T
d(
k+1
). (3.1.6)
Por (2) se tiene que la funci on (

)
1
existe. Ahora bien, para todo i = 1, . . . , m

k+1
i
=
k
i

_
f
i
(x
k+1
)
r(
k
i
)
2
_


k+1
i

k
i
=

_
f
i
(x
k+1
)
r(
k
i
)
2
_
f
i
(x
k+1
) = r(
k
i
)
2
(

)
1
_

k+1
i

k
i
_
f
i
(x
k+1
) = r(
k
i
)
2
(

k+1
i

k
i
_
en la ultima igualdad usamos la relaci on (

)
1
= (

, donde

(s) = sup
t
{st (t)}
es la conjugada de , obteniendo
0 d(
k+1
) r
_
(
k
1
)
2
(

k+1
1

k
1
_
, . . . , (
k
m
)
2
(

k+1
m

k
m
__
T
. (3.1.7)
Proposici on 3.1. Sea . Entonces la funci on =

, la funci on conjugada de
, cumple con las siguientes propiedades:
(1) es una funci on diferenciable, estrctamente convexa en (0, +),
3.1. Desarrolo del Metodo 33
(2) (1) = 0,
(3)

(1) = 0,
(4) lm
s0
+

(s) = ,
(5) lm
s+

(s) = a,
(6)

(s)
1
M
para s 1.
Demostraci on
S olo probaremos las propiedades (5) y (6), para una prueba del resto de las
propiedades ver [9] (Proposici on 3.1).
De (4)
lm
s+

(s) = lm
s+
(

)
1
(s) = a,
lo cual prueba (5).
Por otro lado

(s) = [(

)
1
]

(s) =
1

[(

)
1
(s)]
=
1

(s)]
. (3.1.8)
De (1), (2) y (3),

(s) 0 para s 1, adem as, por (5) y dado que

es
continua,

(s) a, es decir,
s 1 0

(s) a. (3.1.9)
Finalmente, de (3.1.8), (3.1.9) y (6), se tiene que

(s)
1
M
para s 1.
Observaci on 3.2. Observese que
(0) =

(0) = sup
t
{(t)} = inf
t
{(t)}
pero de (1) y (3) se tiene que (t) < 0 para todo t < 0, as que
(0) > 0.

3.1. Desarrolo del Metodo 34

Observaci on 3.3. (1), (2) y (3) implican que es decreciente en (0, 1) y cre-
ciente en (1, +).
La inclusi on (3.1.7) puede ser escrita como
0 d(
k+1
) r
_
(
k
1
)
2

k+1
1

k
1
_
, . . . , (
k
m
)
2

k+1
m

k
m
__
T
. (3.1.10)
Llamaremos a la clase de funciones que satisfacen las propiedades en la propo-
sici on 3.1.
A continuaci on presentamos algunos ejemplos de funciones junto con sus
conjugadas .
1. (t) = e
t
1, con t R; (s) = s ln s s + 1.
2. (t) =
t
1 t
, con t < 1; (s) = (

s 1)
2
.
3. (t) = ln(1 t), con t < 1; (s) = s 1 ln s.
4. (t) =
1
2
_
1
(1 t)
2
1
_
, con t < 1; (s) =
(
3

s 1)
2
(2
3

s + 1)
2
.
5. (t) =
2
_
(1 t)
2, con t < 1; (s) = (
3

s 1)
2
(
3

s + 2).
En la siguiente proposici on, deniremos una cuasidistancia D

la cual es homogenea
de tercer orden y va a ser de vital importancia en el estudio del problema dual (D),
con esta cuasidistancia deniremos un metodo de punto proximal para resolver este
problema.
Proposici on 3.2 (ver [3] Proposici on 2). Dada , denamos la funci on
D

: R
m
+
R
m
++
R como
D

(x, y) =
m

i=1
(y
i
)
3

_
x
i
y
i
_
.
Entonces
3.1. Desarrolo del Metodo 35
1. La funci on D

es homogenea de tercer orden, esto es

D

(x, y) =
3
D

(x, y) para todo (x, y) R

m
+
R
m
++
y todo > 0.
2. D

(x, y) 0 para todo (x, y) R

m
+
R
m
++
.
3. D

(x, y) = 0 x = y.
4. D

(, y) es estrctamente convexa en R
m
+
para todo y R
m
++
.
5. D

(, y) tiene conjuntos de nivel acotados para todo y R

m
++
.
Demostraci on
Sean (x, y) R
m
+
R
m
++
y todo > 0. Entonces
D

(x, y) =
m

i=1
(y
i
)
3

_
x
i
y
i
_
=
3
m

i=1
(y
i
)
3

_
x
i
y
i
_
=
3
D

(x, y).
Adem as (1), (2), (3) y la observaci on 3.2 garantizan que (s) 0 para todo
s 0 y que (s) = 0 si y s olo si s = 1. Por lo tanto D

(x, y) 0 para todo

(x, y) R
m
+
R
m
++
y adem as
D

(x, y) = 0
m

i=1
(y
i
)
3

_
x
i
y
i
_
= 0
(y
i
)
3

_
x
i
y
i
_
= 0, i = 1, . . . , m

_
x
i
y
i
_
= 0, i = 1, . . . , m

x
i
y
i
= 1, i = 1, . . . , m
x = y.
De (1) se tiene que para cada > 0 jo la funci on h

() =
3

_
es es-
trctamente convexa en [0, +). As que para cada y R
m
++
la funci on D

(, y) es
estrctamente convexa en R
m
+
.
3.2. An alisis de Convergencia 36
Sean N > 0 y y R
m
++
jos. Entonces
D

(x, y) N (y
i
)
3

_
x
i
y
i
_
N, i {1, . . . , m}

_
x
i
y
i
_

N
(y
i
)
3
, i {1, . . . , m}.
Pero los conjuntos
A
i,N
=
_
t 0 :
_
t
y
i
_

N
(y
i
)
3
_
son acotados, pues la funci on es continua. Por lo tanto D

(, y) tiene conjuntos de
nivel acotados para todo y R
m
++
.
3.2. Analisis de Convergencia
En esta secci on se dar an a conocer los resultados m as importantes de nuestro tra-
bajo, el estudio de la convergencia de las sucesiones generadas en (3.1.1) y (3.1.2).
Comenzaremos por estudiar el problema (D) a traves de un metodo de punto proxi-
mal.
La inclusi on (3.1.10) puede ser reescrita en terminos de la funci on D

como sigue
0 d(
k+1
) r
1
D

(
k+1
,
k
), (3.2.1)
y esta ultima inclusi on no es sino la condici on de optimalidad para el problema
c oncavo

k+1
= argum ax{d() rD

(,
k
) : R
m
+
}. (3.2.2)
Proposici on 3.3 (ver [9] Proposici on 4.1). La sucesi on {d(
k
)} es no decreciente
y acotada, y por lo tanto convergente.
Demostraci on
Por (3.2.2), dado que D

(x, y) 0 y r > 0, tenemos que

d(
k+1
) d(
k+1
) rD

(
k+1
,
k
) d() rD

(,
k
), 0
3.2. An alisis de Convergencia 37
en particular, para =
k
, pero D

(
k
,
k
) = 0, por lo tanto d(
k+1
) d(
k
), es
decir, {d(
k
)} es no decreciente. Adem as, por el Teorema de la Dualidad Debil (ver
[2], Teorema 6.2.1), d(
k
)

f, en consecuencia {d(
k
)} es convergente.
Proposici on 3.4 (ver [9] Proposici on 4.2). La sucesi on {
k
} es acotada.
Demostraci on
Por la observaci on 2.2 se tiene que el conjunto = { R
m
+
: d() d(
0
)} es
compacto, adem as, por la proposici on 3.3,
k
para todo k, por lo tanto {
k
} es
acotada.
De la proposici on 3.4 se tiene que existe > 0 tal que
0 <
k
, k. (3.2.3)
Proposici on 3.5 (inspirada en [3] Lema 2). (s
0
)
M
2
[

(s
0
)]
2
para todo
s
0
1.
Demostraci on
Sea s
0
1. Denamos la funci on cuadr atica
q(s) = (s s
0
)

(s
0
) +
(s s
0
)
2
2M
,
entonces
q

(s) =

(s
0
) +
s s
0
M
= 0 s = s
0
M

(s
0
)
por lo tanto el minimizador de q es s

= s
0
M

(s
0
).
De la observaci on 3.3 y dado que s
0
1, se tiene que

(s
0
) 0 y as s

s
0
.
Por otro lado, de (2) y en virtud del Teorema del Valor Medio

(s
0
) =

(s
0
)

(1) = (s
0
1)

(s)
para alg un s [1, s
0
].
3.2. An alisis de Convergencia 38
De (6)

(s)
1
M
Por lo tanto

(s
0
)
s
0
1
M
,
es decir,
1 s
0
M

(s
0
) = s

,
en consecuencia 1 s

s
0
.
Usando nuevamente el Teorema del Valor Medio, se tiene que para todo s [1, s
0
]

(s
0
)

(s) = (s
0
s)

( s)
para alg un s [s, s
0
].
De nuevo por (6) y dado que s s 1

( s)
1
M
,
as que

(s
0
)

(s)
s
0
s
M
,
es decir

(s)

(s
0
) +
s s
0
M
= q

(s), s [1, s
0
].
Integrando a ambos lados de esta ultima desigualdad desde s

hasta s
0
(s
0
) (s

) =
_
s
0
s

(s)ds
_
s
0
s

(s)ds = q(s
0
) q(s

) = q(s

)
pero (s

) 0 y
q(s

) = (s

s
0
)

(s
0
) +
(s

s
0
)
2
2M
= M

(s
0
)

(s
0
) +
[M

(s
0
)]
2
2M
=
M
2
[

(s
0
)]
2
3.2. An alisis de Convergencia 39
Por lo tanto
(s
0
) (s
0
) (s

)
M
2
[

(s
0
)]
2
.

Proposici on 3.6 (inspirada en [3] Proposicion 2 (D4)). Sea . Dado

> 0, existe > 0 tal que si (y
i
0
)
2

_
x
i
0
y
i
0
_
> para alg un i
0
{1, . . . , m}, entonces
D

(x, y) >

y
i
0
.
Demostraci on
Sea > 0 cualquiera, y supongamos que
(y
i
0
)
2

_
x
i
0
y
i
0
_
>
para alg un i
0
{1, . . . , m}.
(y
i
0
)
2

_
x
i
0
y
i
0
_
>

_
x
i
0
y
i
0
_
>

(y
i
0
)
2
> 0

x
i
0
y
i
0
> 1,
esta ultima implicaci on es v alida gracias al observaci on 3.3.
Por lo tanto, por la proposici on anterior

_
x
i
0
y
i
0
_

M
2
_

_
x
i
0
y
i
0
__
2
>
M
2
2(y
i
0
)
4
o bien
(y
i
0
)
3

_
x
i
0
y
i
0
_
>
M
2
2y
i
0
tomando =
M
2
2
, tenemos que
D

(x, y) =
m

i=1
(y
i
)
3

_
x
i
y
i
_
(y
i
0
)
3

_
x
i
0
y
i
0
_
>

y
i
0
.

La siguiente proposici on es el resultado m as importante de todo nuestro trabajo.

3.2. An alisis de Convergencia 40
Proposici on 3.7 (inspirada en [3] Torema 1). Las sucesiones {x
k
} y {
k
} dadas
en el algoritmo satisfacen que
a. La sucesi on {[f
i
(x
k
)]
+
} converge a cero para cada i = 1, . . . , m.
b. La sucesi on {
k
i
f
i
(x
k
)} converge a cero para todo i = 1, . . . , m.
c. La sucesi on {f
0
(x
k
)} converge a

f.
d. La sucesi on {x
k
} es acotada.
e. Cada punto lmite de la sucesi on {x
k
} es soluci on optima de (P) y cada punto
lmite de la sucesi on {
k
} es soluci on optima de (D).
Demostraci on
Para probar (a) procederemos por reducci on al absurdo. Supongamos que existe
i
0
{1, . . . , m} tal que la sucesi on {[f
i
0
(x
k
)]
+
} no converge a cero. As que existen
> 0 y un conjunto innito de ndices {k
j
} tales que f
i
0
(x
k
j
+1
) > r.
Pero para i = 1, . . . , m
f
i
(x
k
j
+1
) = r(
k
j
i
)
2

k
j
+1
i

k
j
i
_
,
luego
(f
1
(x
k
j
+1
), . . . , f
m
(x
k
j
+1
))
T
=
_
r(
k
j
1
)
2

k
j
+1
1

k
j
1
_
, . . . , r(
k
j
m
)
2

k
j
+1
m

k
j
m
__
T
= r
1
D

(
k
j
+1
,
k
j
).
Por lo tanto
1
r
(f
1
(x
k
j
+1
), . . . , f
m
(x
k
j
+1
))
T
=
1
D

(
k
j
+1
,
k
j
)
y
1
r
f
i
0
(x
k
j
+1
) >
3.2. An alisis de Convergencia 41
Por la proposici on anterior, existe > 0 tal que
D

(
k
j
+1
,
k
j
) >

k
j
i
0
.
Por otro lado, de (3.2.2)
d(
k
j
+1
) rD

(
k
j
+1
,
k
j
) d(
k
j
) rD

(
k
j
,
k
j
) = d(
k
j
)
o bien
d(
k
j
+1
) d(
k
j
) rD

(
k
j
+1
,
k
j
) >
r

k
j
i
0
.
Pero por (3.2.3) se tiene que
r

k
j
i
0

r

i
0
> 0,
De la proposici on 3.3
lm
j+
[d(
k
j
+1
) d(
k
j
)] = 0
por lo tanto
r

i
0
0, lo cual es una contradicci on. En consecuencia
[f
i
(x
k
)]
+
0, i = 1, . . . , m.
Pasemos ahora a probar (b). Procedamos nuevamente por reducci on al absurdo,
supongamos que existen i
0
{1, . . . , m}, > 0 y un conjunto innito de ndices {k
j
}
tales que
|
k
j
+1
i
0
f
i
0
(x
k
j
+1
)| , j
Por (3.2.3)
|
k
j
+1
i
0
f
i
0
(x
k
j
+1
)|
i
0
|f
i
0
(x
k
j
+1
)|
|f
i
0
(x
k
j
+1
)|


i
0
Pero por (a) f
i
0
(x
k
j
+1
)


i
0
puede ser v alida s olo para una cantidad nita de
ndices k
j
, as que podemos suponer, sin perder generalidad, que
f
i
0
(x
k
j
+1
)


i
0
. (3.2.4)
3.2. An alisis de Convergencia 42
para todo j.
Por (3.1.6) y debido a la concavidad de d, se tiene que
m

i=1
f
i
(x
k
j
+1
)(
k
j
+1
i

k
i
) d(
k
j
+1
) d(
k
j
),
por (3.1.2) se tiene que para cada i {1, . . . , m}
f
i
(x
k
j
+1
)(
k
j
+1
i

k
j
i
) =
k
j
i
f
i
(x
k
j
+1
)
_

k
j
+1
i

k
j
i
1
_
=
k
j
i
f
i
(x
k
j
+1
)
_

_
f
i
(x
k
j
+1
)
r(
k
j
i
)
2
_
1
_
=
k
j
i
f
i
(x
k
j
+1
)

_
f
i
(x
k
j
+1
)
r(
k
j
i
)
2
_

k
j
i
f
i
(x
k
j
+1
)
= r(
k
j
i
)
3
_
f
i
(x
k
j
+1
)
r(
k
j
i
)
2

_
f
i
(x
k
j
+1
)
r(
k
j
i
)
2
__

k
j
i
f
i
(x
k
j
+1
),
y por la observaci on 3.1
f
i
(x
k
j
+1
)(
k
j
+1
i

k
j
i
) r(
k
j
i
)
3
_
f
i
(x
k
j
+1
)
r(
k
j
i
)
2
_

k
j
i
f
i
(x
k
j
+1
)
=
k
j
i
f
i
(x
k
j
+1
)
k
j
i
f
i
(x
k
j
+1
) = 0.
As que
0
m

i=1
f
i
(x
k
j
+1
)(
k
j
+1
i

k
j
i
) d(
k
j
+1
) d(
k
j
),
adem as, por la proposici on 3.3 lm
j+
[d(
k
j
+1
) d(
k
j
)] = 0, por lo tanto
lm
j+
m

i=1
f
i
(x
k
j
+1
)(
k
j
+1
i

k
j
i
) = 0,
y como f
i
(x
k
j
+1
)(
k
j
+1
i

k
j
i
) 0 para todo i = 1, . . . , m, entonces
lm
j+
f
i
(x
k
j
+1
)(
k
j
+1
i

k
j
i
) = 0, i = 1, . . . , m. (3.2.5)
Pero
f
i
(x
k
j
+1
)(
k
j
+1
i

k
j
i
) =
k
j
i
f
i
(x
k
j
+1
)
_

_
f
i
(x
k+1
)
r(
k
j
i
)
2
_
1
_
, i = 1, . . . , m.
3.2. An alisis de Convergencia 43
As que
lm
j+

k
j
i
f
i
(x
k
j
+1
)
_

_
f
i
(x
k
j
+1
)
r(
k
j
i
)
2
_
1
_
= 0, i = 1, . . . , m. (3.2.6)
Por otro lado, usando (3.2.3) y (3.2.4), se tiene que
f
i
0
(x
k
j
+1
)
r(
k
j
i
0
)
2

r(
i
0
)
3
< 0.
Por (1), (2) y (3), se tiene que
0 <

_
f
i
0
(x
k
j
+1
)
r(
k
j
i
0
)
2
_

_

r(
i
0
)
3
_
<

(0) = 1.
Y por (3.2.6)
lm
j+

k
j
i
0
f
i
0
(x
k
j
+1
) = 0.
Esto ultimo junto con (3.2.5) garantiza que
lm
j+

k
j
+1
i
0
f
i
0
(x
k
j
+1
) = 0.
lo cual contradice nuestra suposici on inicial. En consecuencia

k
i
f
i
(x
k
) 0, i = 1, . . . , m.
Para probar (c) notemos que (a) nos dice que la sucesi on {x
k
} es asint oticamente
factible, as que dado > 0
f
0
(x
k
)

f
para k sucientemente grande.
Por la observaci on 2.2, se tiene que

f =

d d(
k
) = inf
x
{l(x,
k
)} = l(x
k
,
k
) = f
0
(x
k
) +
m

i=1

k
i
f
i
(x
k
). (3.2.7)
Usando (b) se tiene que para todo > 0

f f
0
(x
k
)

f
m

i=1

k
i
f
i
(x
k
) <

f +
3.3. Implementaci on del Metodo 44
para k sucientemente grande.
Por lo tanto
f
0
(x
k
)

f.
Seguidamente probaremos (d) y (e). De (a) y (b), dado > 0
f
i
(x
k
) < , f
0
(x
k
) <

f + , i {1, . . . , m}. (3.2.8)
para k sucientemente grande.
Por (A1) , para cualesquiera
0
,
1
, . . . ,
m
, el conjunto
{x R
n
: f
i
(x)
i
, i {0, 1, . . . , m}}
es compacto (ver [5], Corolario 20) y por lo tanto acotado.
Tomando
0
=

f + 2 y
1
= . . . =
m
= 2 se tiene que el conjunto
= {x R
n
: f
i
(x) < , f
0
(x) <

f + , i {1, . . . , m}}
es acotado.
Pero de (3.2.8) x
k
para k sucientemente grande, es decir, la sucesi on {x
k
} es
acotada.
Finalmente, sea (x, ) un punto lmite de la sucesi on {(x
k
,
k
)}. Por (a) y (c)
tenemos que x es una soluci on optima de (P). Usando esto ultimo junto con (3.2.7)
y (b), se obtiene que d() =

f =

d. Luego es una soluci on optima de (D).
3.3. Implementaci on del Metodo
Con el animo de estudiar el desempe no del metodo propuesto anteriormente, pre-
sentaremos a continuaci on un programa en MATLAB que usaremos para su imple-
mentaci on numerica. Usaremos como funci on de penalidad la funci on
(t) =
_
_
_

1
4t
si t < 1/2
1 + t si t 1/2
3.3. Implementaci on del Metodo 45
sin embargo, podemos hacer una peque na variaci on en el programa principal para
as variar la funci on de penalidad. Adem as, en cada iteraci on haremos una actuali-
zaci on de r, haciendo r
k+1
=
r
k
2
. Las aproximaciones que daremos ser an de 4 cifras
decimales exactas.
Programa Principal:
% Metodo de multiplicadores con multiplicadores cubicos format
short clear all global y2 y1 objetivo epsibfgs epsigold epsilon n
m restrito teta ...
restric delta ...
kmax ifeval igradobjetivo ibfgslanau igolden ipenalty iconstr p
ifeval=0; igradobjetivo=0; ibfgslanau=0; igolden=0; ipenalty=0; irestric=0;
problema=input(Problema (P1): ,s);
if length(problema)==0 problema=P1; end;
eval(problema);
k=0;
xk=x0;
rk=r0;
muk=mu0;
if (n==2)& (m==2),
disp(k x(1) x(2) muk(1) muk(2) fobjetivo agrangeana),
fprintf( %4.0f %14.8f %14.8f %14.8f %14.8f %14.8f %14.8f \n,
k,xk(1),xk(2),muk(1),muk(2),feval(f,xk),feval(anau,xk,rk,muk));
plot(x0(1),x0(2),r.)
hold on
end;
3.3. Implementaci on del Metodo 46
goon=1;
while goon==1,
k=k+1;
y1=f(xk);
xk1=bfgslanau(xk,rk,muk);
y2=f(xk1);
yk1=feval(restric,xk1);
irestric=irestric+1;
for i=1:m, %Actalizacion del multiplicador
if norm(muk(i))<.000000001,
muk1(i)=.000000001;
else
muk1(i)=muk(i)*tetakg(yk1(i)/((muk(i))

(p-1)*rk(i)));
end
end;
% regla de parada: test KKT .
if (norm(muk1-muk)<.00001 )| (k==kmax)| (norm(y2-y1)<.00001), goon=0; end;
rk=rk/2;
xk=xk1;
muk=muk1;
if (n==2)& (m==2),
plot(xk1(1),xk1(2),r.)
hold on
fprintf( %4.0f %14.8f %14.8f %14.8f %14.8f %14.8f %14.8f \n,
k,xk1(1),xk1(2),muk1(1),muk1(2),feval(f,xk),feval(anau,xk,rk,muk));
hold on
3.3. Implementaci on del Metodo 47
end;
end
y=f(xk)
fprintf(Nro de evaluaciones de la funcion %8.0f \n, ifeval);
fprintf(Evaluaciones del Gradiente %8.0f \n, igradobjetivo);
fprintf(Nro de busquedaslineales %8.0f \n, igolden);
fprintf(Nro de iteraciones del BFGS %8.0f \n, ibfgslanau);
zoom on
Seguidamente presentaremos algunos ejemplos en los cuales resolveremos un pro-
blema de minimizaci on convexo usando el programa anterior, las hip otesis generales
de nuestro algoritmo son satisfechas en cada uno de los problemas en cuesti on. Ca-
be destacar que la mayor parte de estos problemas fueron tomados de [2] y algunos
fueron modicados para nuestro prop osito.
Ejemplo 3.1.
minimizar f(x
1
, x
2
) = 0,77(x
1
2)
2
+ (x
2
1)
2
sujeto a x
2
1
x
2
0
x
1
+ x
2
2 0.
Soluci on
En el Cuadro II mostramos las sucesiones que se generan al aplicar el metodo,
obteniendo que el minimizador aproximado para el problema dado es
(x

1
; x

2
) = (1,00000057; 0,99999829),
el multiplicador optimo aproximado es
(

1
;

2
) = (0,51559029; 0,51080927).
3.3. Implementaci on del Metodo 48
y estos son encontrados en 10 iteraciones, el mnimo aproximado de la funci on es
f(x

1
, x

2
) = 0,76999912.
En la gura 3.1 se representan las restricciones del problema y las sucesi on x
k
,
cerca de (x

1
, x

2
).
0.9998 0.9999 1 1.0001 1.0002 1.0003 1.0004
0.9994
0.9996
0.9998
1
1.0002
1.0004
1.0006
1.0008
Figura 3.1: Representaci on gr aca de la sucesi on x
k
junto con las restricciones. Ejemplo 3.1.
N umero de evaluaciones de la funci on 484
N umero de evaluaciones del Gradiente 30
N umero de busquedas lineales 20
N umero de iteraciones del BFGS 10
Cuadro I: N umero de evaluaciones de las funciones y de algunas de las subrutinas.
Ejemplo 3.1.
Ejemplo 3.2.
minimizar f(x
1
, x
2
) = (x
1
5)
2
+ (x
2
3)
2
sujeto a x
1
+ x
2
3 0
x
1
+ 2x
2
4 0.
3.3. Implementaci on del Metodo 49
k x
k
1
x
k
2

k
1

k
2
f(x
k
) L
r
k(x
k
,
k
)
0 0,00000000 0,00000000 0,16666667 0,16666667 4,08000000 4,07251179
1 1,03432088 1,01523801 0,49415676 0,46402002 0,71828504 0,77957509
2 1,00453467 1,00459039 0,51236764 0,50335047 0,76305351 0,77036190
3 1,00040655 1,00067337 0,51345974 0,51193226 0,76937450 0,77000843
4 1,00006152 0,99985883 0,51757632 0,51068766 0,76990528 0,77000253
5 0,99991074 0,99999437 0,51223182 0,50771477 0,77013747 0,77000195
6 1,00001364 0,99999353 0,51434011 0,50816663 0,76997900 0,77000007
7 0,99999999 1,00001446 0,51253740 0,50998685 0,77000002 0,77000002
8 1,00000716 1,00001050 0,51349024 0,51441927 0,76998898 0,77000010
9 0,99999784 0,99999719 0,51273636 0,51194459 0,77000333 0,77000002
10 1,00000057 0,99999829 0,51559029 0,51080927 0,76999912 0,77000002
Cuadro II: Sucesiones x
k
,
k
, f(x
k
) y L
r
k(x
k
,
k
). Ejemplo 3.1.
Soluci on
N otese que aparentemente los valores de
k
2
en el Cuadro III, son iguales a cero a
partir k = 3, en realidad son valores muy cercanos a cero, m as todos son distintos de
cero, los valores en el Cuadro han sido aproximados a 8 cifras decimales.
Minimizador aproximado
(x

1
; x

2
) = (2,50004157; 0,49995831).
Multiplicador optimo aproximado
(

1
;

2
) = (4,99993065; 0,00000000).
Mnimo aproximado
f(x

1
; x

2
) = 12,50000058.
En la gura 3.2 s olo se ve una peque na parte de la gr aca de la segunda restricci on,
esto se debe a que el minimizador est a sobre la gr aca de la primera restricci on (fjese
en la columna correspondiente a
k
2
de el Cuadro III).
3.3. Implementaci on del Metodo 50
k x
k
1
x
k
2

k
1

k
2
f(x
k
) L
r
k(x
k
,
k
)
0 0,00000000 0,00000000 1,00000000 1,00000000 34,00000000 32,28219975
1 3,53190126 1,45557458 2,98747584 0,05410375 4,54056380 11,80010348
2 3,10327555 1,10283912 3,79492315 0,00000404 7,19678305 12,54055800
3 2,79323200 0,79345606 4,41331572 0,00000000 9,73866113 12,63986841
4 2,60436276 0,60421829 4,79140976 0,00000000 11,47884779 12,55088516
5 2,52448743 0,52437609 4,95458019 0,00000000 12,25687620 12,50668496
6 2,50269853 0,50260239 4,98881709 0,00000000 12,47350945 12,50013502
7 2,50057465 0,50048508 5,00241210 0,00000000 12,49470189 12,50001749
8 2,49999310 0,49990692 4,99985373 0,00000000 12,50049993 12,50000028
9 2,50004314 0,49995859 4,99994241 0,00000000 12,49999134 12,50000000
10 2,50004157 0,49995831 4,99993065 0,00000000 12,50000058 12,50000000
Cuadro III: Sucesiones x
k
,
k
, f(x
k
) y L
r
k(x
k
,
k
). Ejemplo 3.2.
N umero de evaluaciones de la funci on 402
N umero de evaluaciones del Gradiente 25
N umero de busquedas lineales 15
N umero de iteraciones del BFGS 10
Cuadro IV: N umero de evaluaciones de las funciones y de algunas de las subrutinas.
Ejemplo 3.2.
1 1.5 2 2.5 3 3.5
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
2
2.2
2.4
Figura 3.2: Representaci on gr aca de la sucesi on x
k
junto con las restricciones. Ejemplo 3.2.
3.3. Implementaci on del Metodo 51
Ejemplo 3.3.
minimizar f(x
1
, x
2
) = 2x
2
1
+ x
2
2
2x
1
x
2
4x
1
6x
2
sujeto a x
1
+ x
2
8 0
x
1
+ 2x
2
10 0.
Soluci on
Minimizador aproximado
(x

1
; x

2
) = (2,99990967; 5,00008896).
Multiplicador optimo aproximado
(

1
;

2
) = (1,99983974; 0,00000000).
Mnimo aproximado
f(x

1
, x

2
) = 28,99999723.
k x
k
1
x
k
2

k
1

k
2
f(x
k
) L
r
k(x
k
,
k
)
0 3,00000000 3,00000000 0,33333333 0,33333333 21,00000000 21,10573890
1 3,19759604 5,29206809 1,80232570 0,00354291 29,93135908 28,91579074
2 3,05236878 5,07855582 1,94760976 0,00000000 29,25842094 28,98582858
3 3,00875949 5,01357454 1,99347938 0,00000000 29,04456814 28,99904484
4 3,00031717 5,00063141 1,99728609 0,00000000 29,00189695 28,99999877
5 2,99998326 5,00025499 1,99919468 0,00000000 29,00047642 28,99999966
6 2,99990027 5,00013375 1,99973916 0,00000000 29,00006797 28,99999993
7 2,99989476 5,00008955 1,99923695 0,00000000 28,99996857 28,99999993
8 2,99991275 5,00010002 2,00005499 0,00000000 29,00002551 28,99999995
9 2,99990737 5,00009029 1,99975661 0,00000000 28,99999530 28,99999996
10 2,99991139 5,00009166 2,00053931 0,00000000 29,00000607 28,99999996
11 2,99990967 5,00008896 1,99983974 0,00000000 28,99999723 28,99999996
Cuadro V: Sucesiones x
k
,
k
, f(x
k
) y L
r
k(x
k
,
k
). Ejemplo 3.3.
3.3. Implementaci on del Metodo 52
2 2.2 2.4 2.6 2.8 3 3.2
4.8
5
5.2
5.4
5.6
5.8
6
Figura 3.3: Representaci on gr aca de la sucesi on x
k
junto con las restricciones. Ejemplo 3.3.
N umero de evaluaciones de la funci on 457
N umero de evaluaciones del Gradiente 29
N umero de busquedas lineales 18
N umero de iteraciones del BFGS 11
Cuadro VI: N umero de evaluaciones de las funciones y de algunas de las subrutinas.
Ejemplo 3.3.
3.3. Implementaci on del Metodo 53
Ejemplo 3.4.
minimizar f(x
1
, x
2
) = e
x
1
x
1
x
2
+ x
2
2
sujeto a x
2
1
+ x
2
2
4 0
2x
1
+ x
2
2 0.
Soluci on
Minimizador aproximado
(x

1
; x

2
) = (1,85550259; 0,74639827).
Multiplicador optimo aproximado
(

1
;

2
) = (0,24336359; 0,00000000).
Mnimo aproximado
f(x

1
, x

2
) = 0,67145922.
k x
k
1
x
k
2

k
1

k
2
f(x
k
) L
r
k(x
k
,
k
)
0 0,00000000 0,00000000 0,33333333 0,33333333 1,00000000 0,89944273
1 1,84871452 0,74337610 0,24439350 0,00143759 0,66424274 0,66823113
2 1,85546625 0,74638711 0,24315558 0,00000000 0,67142236 0,67145896
3 1,85551181 0,74640327 0,24384499 0,00000000 0,67146935 0,67145910
4 1,85549884 0,74639725 0,24334673 0,00000000 0,67145546 0,67145915
5 1,85550259 0,74639827 0,24336359 0,00000000 0,67145922 0,67145916
Cuadro VII: Sucesiones x
k
,
k
, f(x
k
) y L
r
k(x
k
,
k
). Ejemplo 3.4.
N umero de evaluaciones de la funci on 333
N umero de evaluaciones del Gradiente 17
N umero de busquedas lineales 12
N umero de iteraciones del BFGS 5
Cuadro VIII: N umero de evaluaciones de las funciones y de algunas de las subrutinas.
Ejemplo 3.4.
3.3. Implementaci on del Metodo 54
1.8 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 0.2
0.5
0
0.5
1
1.5
Figura 3.4: Representaci on gr aca de la sucesi on x
k
junto con las restricciones. Ejemplo 3.4.
Ejemplo 3.5.
minimizar f(x
1
, x
2
) = 4x
2
1
5x
1
x
2
+ x
2
2
sujeto a x
2
1
x
2
+ 2 0
x
1
+ x
2
6 0.
Soluci on
Minimizador aproximado
(x

1
; x

2
) = (1,56155411; 4,43844741).
Multiplicador optimo aproximado
(

1
;

2
) = (2,61184120; 1,54270818).
Mnimo aproximado
f(x

1
, x

2
) = 5,20075859.
3.3. Implementaci on del Metodo 55
1.56 1.58 1.6 1.62 1.64 1.66 1.68
4.35
4.4
4.45
4.5
4.55
4.6
Figura 3.5: Representaci on gr aca de la sucesi on x
k
junto con las restricciones. Ejemplo 3.5.
N umero de evaluaciones de la funci on 555
N umero de evaluaciones del Gradiente 32
N umero de busquedas lineales 23
N umero de iteraciones del BFGS 9
Cuadro IX: N umero de evaluaciones de las funciones y de algunas de las subrutinas.
Ejemplo 3.5.
k x
k
1
x
k
2

k
1

k
2
f(x
k
) L
r
k(x
k
,
k
)
0 0,00000000 0,00000000 0,16666667 0,16666667 0,00000000 12,32457358
1 1,69823227 4,54330187 2,21081258 1,61587152 6,40034602 5,16824917
2 1,59463951 4,37559856 2,36213847 1,57903452 5,57014826 5,19719935
3 1,57885853 4,41408097 2,49543004 1,56114890 5,39075910 5,19529897
4 1,56694110 4,43055798 2,57476364 1,54833310 5,26105532 5,19927631
5 1,56275359 4,43733992 2,60495736 1,54929941 5,21356373 5,20061665
6 1,56159656 4,43809094 2,61101193 1,54284498 5,20155126 5,20074150
7 1,56155433 4,43843485 2,61143046 1,54239588 5,20077416 5,20074626
8 1,56155317 4,43844755 2,61146686 1,54245558 5,20074932 5,20074627
9 1,56155411 4,43844741 2,61184120 1,54270818 5,20075859 5,20074626
Cuadro X: Sucesiones x
k
,
k
, f(x
k
) y L
r
k(x
k
,
k
). Ejemplo 3.5.
3.3. Implementaci on del Metodo 56
Ejemplo 3.6.
minimizar f(x
1
, x
2
) = x
2
1
2x
1
x
2
+ x
2
2
+ e
x
1
x
2
sujeto a x
2
1
+ x
2
2
4 0
x
1
+ x
2
1 0.
Soluci on
Minimizador aproximado
(x

1
; x

2
) = (0,50000018; 0,50000018).
Multiplicador optimo aproximado
(

1
;

2
) = (0,00000000; 0,36788246).
Mnimo aproximado
f(x

1
, x

2
) = 0,36787931.
0.4 0.5 0.6 0.7 0.8 0.9 1 1.1
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
Figura 3.6: Representaci on gr aca de la sucesi on x
k
junto con las restricciones. Ejemplo 3.6.
3.3. Implementaci on del Metodo 57
k x
k
1
x
k
2

k
1

k
2
f(x
k
) L
r
k(x
k
,
k
)
0 1,00000000 1,00000000 0,16666667 0,16666667 0,13533528 3,30200195
1 0,51629554 0,51629554 0,00008383 0,36221320 0,35608312 0,37082051
2 0,50036664 0,50036664 0,00000000 0,36626206 0,36760978 0,36788129
3 0,50008157 0,50008157 0,00000000 0,36804372 0,36781943 0,36787976
4 0,49995286 0,49995286 0,00000000 0,36599459 0,36791412 0,36787981
5 0,50002305 0,50002305 0,00000000 0,36801001 0,36786248 0,36787954
6 0,49999891 0,49999891 0,00000000 0,36781963 0,36788025 0,36787944
7 0,50000018 0,50000018 0,00000000 0,36788246 0,36787931 0,36787944
Cuadro XI: Sucesiones x
k
,
k
, f(x
k
) y L
r
k(x
k
,
k
). Ejemplo 3.6.
N umero de evaluaciones de la funci on 193
N umero de evaluaciones del Gradiente 15
N umero de busquedas lineales 8
N umero de iteraciones del BFGS 7
Cuadro XII: N umero de evaluaciones de las funciones y de algunas de las subrutinas.
Ejemplo 3.6.
Observese que el valor optimo aproximado de la funci on lagrangeano, en todos
los ejemplos presentados, es bastante pr oximo al mnimo aproximado de la funci on
objetivo.
Algo m as que puede observarse, es que el n umero de evaluaciones de la funci on ob-
jetivo y de los gradientes, es relativamente bajo, adem as, la convergencia del metodo,
con una tolerancia de cuatro cifras decimales exactas, se obtiene con una cantidad de
iteraciones bastante peque na.
Es de hacer notar que los ejemplos presentados aca, fueron escogidos de tal manera
que fuesen todos de dos varibles y dos restricciones, principalmente para poder gra-
car las restricciones, sin embargo, se hicieron pruebas del metodo con mayor cantidad
de variables y mayor n umero de restricciones, en los cuales se obtuvieron resultados
tan buenos como los obtenidos en estos ejemplos.
Conclusiones
Se ha realizado un estudio de los metodos de multiplicadores que conducen, va
dualidad de Fenchel, a metodos de punto proximal con cuasidistancias del tipo
-divergencias. Al respecto, se ha introducido un nuevo metodo de multiplicadores
que contiene potencias c ubicas en los multiplicadores que denen la funci on lagrangea-
no aumentado. Esto trae como consecuencia el realizar un estudio tanto algortmico
como analtico del metodo. Se han obtenido resultados de convergencia similares a
los obtenidos para el caso con multiplicadores con potencias lineales y/o cuadr aticas
de los casos ya conocidos, mencionando por ejemplo, la acotabilidad de la sucesi on
de iterados primal, todo punto lmite de esta es soluci on optima de (P). En el estu-
dio computacional del metodo, se obtuvieron resultados alentadores en el sentido de
que se obtuvieron las respuestas correctas a los problemas considerados, incluso en
algunos con multiplicadores iguales a cero en la soluci on optima.
Como futuro trabajo que debe continuar al presente, se plantea la interrogante de
estudiar metodos con potencias reales en los multiplicadores en la funci on objetivo,
as como tambien el de efectuar un estudio comparativo en estas metodologas para
estimar la mejor potencia en alg un sentido, por ejemplo, estudiando la rapidez de
convergencia.
59
Bibliografa
[1] Alfred Auslender, Marc Teboulle and Sami Ben-Tiba, Interior Proximal and Mul-
tiplier Methods Based on Second Order Homogeneous Kernels, Mathematics of
Operations Research, Vol. 24, N
o
3, (1999), 645-668.
[2] Mokhtar S. Bazaraa and C. M. Shetty, Nonlinear Programming. Theory and Al-
gorithms, Jhon Wiley and Sons, (1979).
[3] Aharon Ben-Tal and Michael Zibulevsky, Penalty/Barrier Multiplier Methods,
Society for Industrial and Applied Mathematics, 7, (1997), 346-366.
[4] Castillo R omulo, Metodos de Lagrangeano Aumentado Usando Fun c oes de Pe-
nalidades Generalizadas para Programa c ao n ao Linear, COPPE, UFRJ, Brasil,
(1998).
[5] Anthony V. Fiacco and Garth P. McCormick, Nonlinear Programming. Sequential
Unconstrained Minimization Techniques, SIAM, (1990).
[6] Jean B. Hirriart-Urruty and Lemarrechal C., Convex Analysis and Minimization
Algorithms II, New York, Springer-Verlag, (1993).
[7] Alfredo Iusem, Metodos de Ponto Proximal em Otimiza c ao, 20
o
Col oquio Brasi-
leiro de Matem atica, IMPA, 24-28 julho, (1995).
[8] Alfredo N. Iusem, B. F. Svaiter and Marc Teboulle, Entropy-Like Proximal Met-
hods in Convex Programming, Mathematics of Operations Research, Vol. 19, N
o
4,
(1994), 790-814.
[9] Roman Polyak and Marc Teboulle, Nonlinear Rescaling and Proximal-Like Met-
hods in Convex Optimization, Mathematical Programming, 76, (1997), 265-284.
60
Bibliografa 61
[10] R. T. Rockafellar, Convex Analysis, Princenton University Press, Princeton, N.
J. (1970).