1

Curso de Mtodos Cuantitativos

Banco Central de Reserva del Per
Curso de Extensin 2010
Profesor: Ramn Garca-Cobin Juregui
Notas de clases basadas en el texto de E. Cerd Tena, Optimizacin Dinmica.

1. Clculo de Variaciones

Formulacin del problema (PCV): Dados los nmeros t0 < t1 en , la funcin de clase C2,
t1
3
F: , y los nmeros reales a y b; se quiere maximizar la F ( x(t ), x (t ), t )dt
t0
sujeta

a que la funcin x() := {x: [t0, t1] tal que x C2}, x(t0) = a y x(t1) = b.
Ntese que si el problema consistiera en minimizar, en vez de maximizar, no hara falta
una nueva teora, pues la solucin que minimiza la integral de F es la que maximiza la
integral de F.

Ejemplo: Hallara la funcin real de variable real cuya grfica tenga longitud mnima
entre las que pasan por dos puntos dados, (a, ) y (b, ), siendo a b. Este problema se
b

formula como: min

a
1 x (t ) 2 dt sujeto a: x (a) = x (b) = .

Nociones preliminares:
En se definen las operaciones de adicin y de multiplicacin por escalares as:
1) Si x y , entonces x + y : [t0, t1] , se define por (x + y) (t):= x(t) + y(t). 2) Si x
, entonces x : [t0, t1] , se define por ( x)(t):= x(t).
Se comprueba fcilmente que , provisto de estas dos operaciones, es un espacio
vectorial real. Ahora bien, en dicho espacio vectorial se define una norma as: x:= max
{|x(t)|: t[t0, t1]}.
Ejemplos: Si t0 = 1 y t1 = 5, entonces para x(t) = t2 ser x = max {t2 : t [1, 5]} = 25; y
si y(t) = 1 + t t2/4, se tendr y = max {1 + t t2/4 : t [1, 5]} = 2.

Dada una norma en un espacio vectorial, ella induce una mtrica en l, i. e., una funcin
de distancia entre elementos del espacio, como se indica a continuacin. Si x y y son
elementos de , entonces la distancia entre ellos ser d (x, y):= x - y. As, para las
funciones del ejemplo anterior sera d (x, y) = max {t2 (1 + t t2/4): t[1, 5]} = 25.
Teniendo ya una mtrica el espacio vectorial, en l puede definirse la bola abierta de
centro x y de radio r como B(x, r) := {z : d(x, z) < r}.
En el contexto de optimizacin, que es el nuestro, se distingue entre mximo global y
mximo local. El primero es el que lleva a su mximo valor posible a la integral de la
funcin objetivo; el segundo es uno tal que en alguna bola abierta centrada en l ningn
otro elemento lleva a la integral de la funcin objetivo a un valor mayor que aquel que
alcanza con el mximo local. As, x* de es un mximo global del PCV si y de ,
t1 t1

F ( x * (t ), x * (t ), t )dt F ( y(t ), y (t ), t )dt si es que y(t ) = a = x*(t ) y(t ) = b =

t0 t0
0 0 1

x*(t1).
 2

Pero, una x de es mximo local del PCV si r > 0 tal que y de B(x, r), se tiene que
t1 t1

F ( x(t ), x (t ), t )dt F ( y(t ), y (t ), t )dt si es que y(t ) = a = x(t ) y(t ) = b = x(t ).

t0 t0
0 0 1 1

Ecuacin de Euler como condicin necesaria de primer orden:

Teorema: Una funcin x de es un mximo local del PCV slo si satisface a la siguiente
d
ecuacin diferencial, llamada de Euler: 0 = Fx ( x (t ), x (t ), t ) - Fx ( x(t ), x (t ), t ) en
dt
F F dF
[t0, t1]. En esta ecuacin Fx := , Fx := y , derivada total de F, es igual a
x x dt
Fx ( x (t ), x (t ), t ) x Fx ( x (t ), x (t ), t ) x Ft ( x, x , t ) .

Ejemplo: Para el PCV de la pgina anterior, min a

1 x (t ) 2 dt sujeto a: x (a) = x

(b) = , vemos que, ya que l equivale a: max

a
1 x (t ) 2 dt sujeto a: x (a) = x

x
(b) = , se tendr : F ( x (t ), x (t ), t ) = 1 x (t ) 2 , por lo que Fx = 0 y Fx
(1 x 2 )
.
Entonces, la ecuacin de Euler resulta ser: 0 = ( 1 x (t ) 2 )-3/2 x , i. e., 0 = x , ya que el
otro factor es distinto de 0. Las soluciones de esa ecuacin diferencial son todas las que
se obtienen dando valores arbitrarios a los parmetros h y k en x(t) = h + kt. Entre ellas,
las condiciones extremas exigen que = h + a k = h + kb, de donde slo queda que k
= ( - )/(b - a) h = - a ( - )/(b - a). Luego, si el problema tuviera solucin, ella
habra de ser la funcin x (t) = - a ( - )/(b - a) + (( - )/(b - a)) t.

(12tx x
2
Otro ejemplo: Se pide max ) dt sujeto a: x(0) = 2 x(2) = 12.
0

d
La ecuacin de Euler resulta ser: 0 = -12 t - ( 2 x ) = -12t + 2 x , i. e., x = 6t.
dt
Entonces, integrando, se obtienen todas las extremales (as se llaman las soluciones de
la ecuacin de Euler) son dadas por x(t) = t3 + ht + k. Las condiciones extremas exigen
que 2 = k 12 = 8 + 2h +k, de donde, h = 1 k = 2, por lo que la nica candidata a
solucin es la funcin x (t) = t3 + t +2.

Nota: Para problemas de minimizacin, la ecuacin de Euler es la misma, como

fcilmente puede comprobar el estudiante diligente.

Casos especiales de la ecuacin de Euler:

1) En la funcin F no aparece x:
d
Como Fx = 0, se obtiene que 0 = Fx , lo que equivale a Fx = h, siendo h una
dt
constante arbitraria.
1

(t x 2 )dt sujeto a: x(0) = 1 x(1) = 2.

2
Ejemplo: max
0
 3

La ecuacin de Euler es: -2 x = h , de donde x(t) = -ht/2 + k, que con las condiciones
extremas da: 1 = x(0) = k 2 = x(1) = -h/2 + k. De esto resulta que h = -2 k = 1, por lo
que la nica posible solucin es x(t) = t + 1.

2) En la funcin F no aparece x :
Como Fx = 0, se obtiene que 0 = Fx , que es una ecuacin algebraica que no depende de
constantes arbitrarias, por lo que difcilmente se satisfarn las condiciones extremas.

Ejemplo:
1

(t x
2 3
Se pide min ) dt sujeto a: x(0) = x(1) = , con y dados.
0

La ecuacin de Euler es: 0 = Fx = 3 (-t + x2) 2x, de donde x(t) = 0, t x(t) = t x(t) = -
t . Hay cuatro casos posibles, a saber, (1) = 0 = ; entonces la nica posible solucin
sera x(t) = 0 t ; (2) = 0 = 1; entonces la nica posible solucin sera x(t) = t t ;
(3) = 0 = -1; entonces la nica posible solucin sera x(t) = - t t . En cualquier
otro caso, no habra solucin al problema planteado.

3) En la funcin F no aparece t:
d
Como F no depende de t, F Fx x Fx x , y como segn la ecuacin de Euler Fx =
dt
d d d d
Fx , se obtiene F ( Fx ) x Fx x = ( Fx x ) , de lo cual se sigue que ha de
dt dt dt dt
ser constante la expresin F - Fx x .
1

(2 3xx
2
Ejemplo: Se pide max ) dt sujeto a: x(0) = 0 x(1) = 1.
0

H
Entonces, (2 3x x 2 ) - (-6x x ) x = h, de donde xx 2 H (cte.). As, pues, x
x
,
3
de donde x dx = H dt ; ahora, de esto se sigue que x3/2 =
2
( H t K ) , que

con las condiciones extremas dan: K = 0 H = 4/9. Por lo tanto, la nica posible
solucin sera la funcin x(t) = t2/3.

Condicin de Legendre como condicin necesaria de 2 orden para optimalidad:

Teorema: Una funcin x* de el un mximo local del PCV slo si Fxx ( x * (t ), t ) 0, t
de [t0, t1]. Adems, una funcin x* de es un mnimo local del PCV slo si
Fx
x ( x * (t ), t ) 0, t de [t0, t1].
1

Ejemplo: Dado el problema de opt ( x x 2 xe )dt sujeto a: x(0) = 0 x(1) = , la

2 2 t

ecuacin de Euler es 0 = (2x + 2e ) d(2 x )/dt , que equivale a: x x et , cuya

t

t t
solucin general es x(t) = A et + B e-t + e . Las condiciones extremas dan como nica
2
e t
posible solucin a la funcin x(t) = (e t et ) et . Como Fx x = 2, slo se
2(1 e) 2
 4

cumple la condicin de Legendre necesaria para un mnimo local. As, no hay solucin
para el problema si se tratase de maximizar, pero quiz s la haya para el problema de
minimizar.

Condiciones de transversalidad

El PCV planteado es uno de momentos inicial y final dados as como de estados inicial
y final tambin dados. Adems de ste, hay otros tipos de problemas, a saber:
a) problema de estado final libre pero estado inicial y momentos inicial y final dados;
b) problema de estado y momento finales libres pero estado y momento iniciales dados;
c) problema de momento final libre pero estado final y momento y estado iniciales
dados;
d) problema de estado y momentos iniciales parcialmente determinados por cierta
ecuacin dada: 0 = g(t, x), con estado y momento iniciales dados.

En todos estos casos siguen vigentes las condiciones necesarias dadas por la ecuacin
de Euler y la condicin de Legendre, pero aparece una nueva condicin necesaria, a
saber, la llamada condicin de transversalidad que se abreviar por . Para enunciarla,
se requiere definir el vector de ortogonalidad : v := (F - x Fx , Fx ) . Ahora bien, el
enunciado general de la condicin es el siguiente. En el punto terminal (t1*, x(t1*)) de
una curva ptima, x*(), el vector de ortogonalidad, v , ha de ser perpendicular (u
ortogonal) a cualquier direccin admisible1 desde el punto terminal.
Veamos qu se sigue de esto en cada uno de los casos antes mencionados.
Caso (a): Como la nica direccin admisible es la vertical, el v ha de ser horizontal, por
lo cual su segundo componente ha de ser nulo, i. e., es: 0 = Fx ( x * (t1 ), x * (t1 ), t1 ) .
Caso (b): Como toda direccin desde el punto terminal (t1, x*(t1)) es direccin admisible
puesto que son libres el momento y el estado finales, entonces el v ha de ser el vector
nulo. i. e., es:
0 = F ( x * (t1 ), x * (t1 ), t1 ) - x (t1 ) Fx ( x * (t1 ), x * (t1 ), t1 ) 0 = Fx ( x * (t1 ), x * (t1 ), t1 )
.
Ha de notarse que esto equivale a:
F ( x * (t1 ), x * (t1 ), t1 ) = 0 0 = Fx ( x * (t1 ), x * (t1 ), t1 ) .
Caso (c): como en este caso la nica direccin admisible desde un punto terminal es la
horizontal, el v ha de ser vertical, por lo cual su primer componente habr de anularse
en el punto terminal, i. e., es: 0 = F ( x * (t1 ), x * (t1 ), t1 ) -
x (t1 ) Fx ( x * (t1 ), x * (t1 ), t1 ) .
Caso (d): Como en este caso la nica direccin admisible desde el punto terminal es la
de la recta tangente en dicho punto a la grfica de la funcin 0 = g (t, x), se deduce que
el vector v habr de ser paralelo al gradiente de la funcin g en el punto terminal, i. e.,
es: grad g (t1 , x*(t1)) // (F - x Fx , Fx ) en (t1 , x*(t1)).
Ha de notarse que incluso en el PCV se cumple el enunciado general de la condicin de
, pues, no habiendo ninguna direccin admisible en el punto terminal, el vector de
ortogonalidad en dicho punto es absolutamente libre de tomar cualesquiera valores, ya
que no est obligado a ser perpendicular a ninguna direccin en particular.

Ejemplos

1
Se llama direccin admisible desde el punto terminal a cualquier recta tangente a una curva que parta
desde dicho punto terminal y satisfaga por un lapso positivo las condiciones finales dadas.
 5

(tx x
2
1) Se pide optimizar )dt sujeto a: x (0) = 0. Entonces, la ecuacin de Euler
0

d
es: 0 = (t 2 x ) , de donde se sigue que ha de ser constante la expresin t 2 x
dt
= k. Esta ecuacin se resuelve fcilmente dando como solucin general x (t) = -t2/4
+ kt/2 + h. La condicin inicial da por resultado que 0 = h. As, slo quedan como
posibles soluciones las funciones de la forma x (t) = -t2/4 + kt/2. Veamos lo
referente a la condicin de Legendre: como Fx x (en t = 2) = 2 0, se ve que slo
puede haber mnimos locales. Finalmente, la condicin de exige que 0 = Fx (en t
= 2) = (t 2 x ) |t = 2 = 2 + 2(-1 + k/2) = k, por lo que la nica posible solucin es
x*(t) = -t2/4.
1

(x x 2 )dt sujeto a: x(0) = 0 x(1) 1.

2
2) Se pide optimizar
0

d
La ecuacin de Euler es: 0 = 2 x (2 x ) 0 x x , de donde se sigue que las
dt
extremales del problema son dadas por x(t) = Aet + Be-t, que con la condicin inicial
da 0 = A + B, por lo que las extremales se reducen a x(t) = A(et + e-t).
Adems, ya que x(1) 1, ha de ser A(e + e-1) 1, de lo que se sigue que A > 0.
La condicin de Legendre: Fx x = 2 0, de donde se sigue que slo puede haber
mnimos locales.
Ahora, supongamos, momentneamente, que x(1) > 1; entonces la condicin de
implicara que 0 = Fx |t = 1 = 2x (1) = 2 A (e + 1/e), que es imposible ya que A ha
de ser positivo como se estableci cuatro lneas arriba.
De todo esto concluimos que x(1) = 1, i. e., A = e /(e2-1), y que la nica posible
e
solucin es x* (t) = 2 (et e t ) .
e 1
t1

( x 10tx )dt sujeto a: x(0) = 1 t1 > 0.

2
3) Se pide optimizar
0
d
La ecuacin de Euler: 0 = 10t (2 x ) 10t 2 x por lo que las extremales son
dt
5
dadas por x 5t 2 / 2 h x(t ) t 3 ht k . Con la condicin inicial se obtiene que
6
5
las extremales se reducen a x (t) = t 3 ht 1 .
6
La condicin de Legendre: Fx x = 2 0, por lo que slo puede haber mnimos
locales.
La condicin de : 0 = ( F x Fx ) |pto. term. 0 = Fx |pto. term.. As, se obtiene que
5 2 3 5 2 5
2( t1 h ) = 0 0 ( x 2 10tx 2 x 2 ) 10t1 ( t1 ht1 1) ( t1 h) 2 .
2 6 2
Finalmente, de estas dos ltimas condiciones se obtiene que t1 = (3/5)1/3 h =
5 3 2/3
( ) , por lo que la nica posible solucin es x (t) = (5/6) t3 (5/2)(3/5)2/3t +
2 5
1, con t1 = (3/5)1/3.
 6

t1

(3x x )dt sujeto a: x (0) = 0 x (t1) = 5.

2
4) Se pide optimizar
0
d
La ecuacin de Euler: 0 = 1 - (6 x ) = 1 - 6 x , por lo que las extremales son
dt
1 t2
dadas por x t h x(t ) ht k . Ahora, con la condicin inicial sale que
6 12
k = 0. La condicin de Legendre: Fx x 6 0 , por lo que slo puede haber
2
t1
mnimo local. Las condiciones extremas: 5 = x (t1) = ht1 .
12
La condicin de : 0 = ( F x Fx ) |pto. term.= ( x 3 x 2 ) |.= 5 3 (t1/6 + h)2.
De estas dos ltimas condiciones se obtiene que t1 = 60 h = 0, por lo que la
nica posible solucin es x (t) = t2/12.
5) Encontrar, si existe, la senda ms corta desde el punto (0, 1) hasta la recta de
ecuacin: x = 3t. El problema puede ponerse en la forma tpica del cculo de
t1

variaciones: min 1 x dt sujeto a: x (0) = 1 x (t1) 3t1 = 0.

2

0
d x x
La ecuacin de Euler: 0 = dt ( ) , de donde resulta: constante, por lo
1 x 2 1 x 2
que queda x = h, es decir, x = h t + k, y con la condicin inicial se obtiene k = 1.
1
La condicin de Legendre: Fx x > 0, por lo que slo puede haber
(1 x 2 )3 / 2
mnimos locales. De la condicin terminal se obtiene h t1 + 1 = 3 t1. La condicin de
: v (pto. term.) // grad (pto. term.), donde (t , x) := - 3 t + x. Esto es: - 3 =
F x Fx
( ) |pto. term. , i. e., x (t1 ) 1 = h t1 = 3/10. Entonces, la nica posible
Fx 3
solucin es la funcin x (t) = 1 t /3 con t1 = 3/10.

Condiciones suficientes para ptimos del PCV

Han de considerarse algunas variantes del problema tpico del Clculo de Variaciones.
La diferencia entre ellas consiste en la condicin final solamente. As, los problemas
que han de ocuparnos ahora son:
t1

PCV1: max F ( x, x , t )dt

t0
sujeto a: x (t0) = a x (t1) = b ;

t1

PCV2: max F ( x, x , t )dt

t0
sujeto a: x (t0) = a x (t1) b ;

t1

PCV3: max F ( x, x , t )dt

t0
sujeto a: x (t0) = a x (t1) libre.

Para todos estos problemas vale la siguiente condicin suficiente.

Teorema: Si la funcin F es cncava en ( x, x ) y x* () satisface la condicin de , la
ecuacin de Euler y las condiciones extremas; entonces x*() es un mximo global.
Nota: Si en vez de maximizar se quisiera minimizar, entonces la concavidad en ( x, x )
de la funcin F ha de sustituirse por la convexidad en ( x, x ) para garantizar que se
tiene un mnimo global .
 7

(x x 2 )dt sujeto a: x (0) = 1 x (1) libre.

2
Ejemplo: Se quiere min
0

La funcin F es convexa en ( x, x ) pues su matriz hessiana correspondiente a esas

Fxx Fxx 2 0
variables es positivo-definida, pues es , matriz todos cuyos
Fx x Fx x 0 2
autovalores son positivos. As, la posible solucin hallada mediante la ecuacin de
Euler, la condicin de y la condicin inicial, a saber x*(t) = (1 + e2)-1 (et + e2-t), es un
mnimo global.

Extensiones del Clculo de Variaciones:

1) Funcional objetivo ms general:
t1

El problema ahora es el PCV: max ( F ( x, x , t )dt + S (x (t1))) sujeto a: x (t0) =

t0

a, en donde son datos los nmeros t0 y t1 as como las funciones F y S.

Teorema: Una funcin x() es un mximo local del problema PCV slo si satisface la
d
ecuacin de Euler: 0 = Fx Fx , la condicin de Legendre: Fx x 0 , la condicin
dt
inicial y la nueva condicin de : 0 = ( Fx S ( x(t )) )|pto. term..
t1
d
Como
dt
S ( x(t )) S ( x (t )) x (t ) , se tiene que S ( x) x dt S ( x(t )) S ( x(a)) .
t0
1

t1

Entonces, la funcional objetivo es ( F ( x, x , t ) S ( x) x )dt S (a) . Ya que maximizar

t0

una funcin equivale (en trminos de soluciones) a maximizar dicha funcin sumada
con una constante cualquiera, el problema puede formularse como el de
t1

max ( F ( x, x , t ) S ( x) x )dt sujeto a: x (t ) = a. Para ste, la ecuacin de Euler es: 0

t0
0

d
= Fx S ( x ) x
( Fx S ( x)) Fx Fx x .
dt
2
La condicin de Legendre: 0 2 ( F S ( x) x ) ( Fx S ( x )) Fx x .
x x

La condicicin de : 0 ( F ( x, x , t ) S ( x ) x ) |pto. term.= ( Fx S (x ) )|pto. term..
x
Teorema: Si F es cncava en ( x, x ) y S() es cncava, entonces cualquier funcin
x ()
que satisfaga la ecuacin de Euler, la condicin de Legendre, la condicin de y las
condiciones extremas es un mximo global.
Nota: Si se quisiera minimizar, en vez de concavidad en ( x, x ) para la funcin F,
habra de exigirse convexidad en ( x, x ); adems, para la funcin S() tambin habra
que exigirse convexidad en lugar de concavidad.
1

Ejemplo: Se pide min ( ( x x )dt x(1) ) sujeto a: x (0) = 1.

2 2 2

La ecuacin de Euler: x x = 0, de donde x (t) = A et+ Be-t.De la condicin inicial sale

que 1 = A + B, por lo que x(t) = A et + (1 - A) e-t .
La condicin de Legendre: Fx x 2 0 , por lo que slo puede haber mnimos locales.
 8

La condicin de : 0 = (2 x 2 x) |pto. term. = 2 ( x (1) x (1) ), de donde A = 0 B = 1.

Entonces, la nica posible solucin es x (t) = e-t. Como la funcin S() es convexa y la F
es ( x, x )-convexa, se satisfacen las condiciones suficientes para que sea un mnimo
global la funcin x (t) = e-t.

2) Espacio de estados multidimensional:

Ahora la variable x es vectorial de dimensin n, i. e., que x n.
t1

El problema es el de max F ( x (t ),..., x

t0
1 n (t ), x1 (t ),..., x n (t ), t ) dt sujeto a: x

(t0) = a x1 (t1) = b1 xk (t1) = bk con xk+1(t1), , xn(t1) libres.

d
Ahora se tienen n ecuaciones de Euler: 0 Fx Fx i n . Hay tambin n k
i
dt i
condiciones de : 0 Fx i ( pto.term.)i k . La condicin de Legendre consiste en
que sea negativo-semidefinida la matriz hessiana Fx x en ( x, x ). La condicin
suficiente es que F sea ( x, x )-cncava para todo momento t.
1

Ejemplo: Se pide min ( x1 x 2 2 x1 ) dt sujeto a: x (0) = (1, 0) x (1) = (3/2, 1).

2 2

Las ecuaciones de Euler: 0 = 2 - 2 x1 0 = 0 - 2 x2 , de donde: x1(t) = t2/2 + At + B

x2(t) = Ct + D. De las condiciones extremas se sigue: A = 0 B = 1 C = 1 D = 0. As,
la nica candidata a mnimo local es la funcin vectorial (x1(t), x2(t)) = (t2/2 + 1, t). La
2 0
condicin de Legendre: Fx x = que es positivo-definida, por lo cual slo
0 2
puede haber mnimos locales. Para ver si se cumplen las condiciones suficientes hay que
0 0 0 0
0 0 0 0
examinar la convexidad de F en ( x, x ): H xx que es positivo-
0 0 2 0

0 0 0 2
semidefinida, y por ende, s se cumple la suficiencia pudiendo afirmarse que la funcin
antes hallada s es un mnimo global.

3) Derivadas de orden superior en la funcional objetivo:

t1

F ( x, x , x,..., x
(n)
Ahora el problema es: max , t ) dt sujeto a:
t0

x(t0 ) a x (t0 ) a ... x ( n 1) (t0 ) a n 1 x(t1 ) b x (t1 ) b1 ... x ( n 1) (t1 ) b n 1

1

d d2 dn
La ecuacin de Euler-Poisson es: 0 = Fx Fx 2 Fx x ... (1) n n Fx ( n ) .
dt dt dt
1

Ejemplo: Se quiere min x dt sujeto a: x(0) = 0 = x(1) x (0) a x (1) b .

2

d d2 d2
La ecuacin de Euler-Poisson es: 0 = Fx Fx 2 Fx x = 0 0 + 2 ( 2 x) = 2 x(4).
dt dt dt
3 2
De esto se sigue que x(t) = h t /6 + k t /2 + l t + m. Las condiciones extremas dan: m = 0
l = a h = 6 (a + b) k = -2 (b + 2a), luego x(t) = (a + b) t3 (b + 2a) t2 + at es la nica
posible solucin. Adems se verifica fcilmente que se cumplen las condiciones de
Legendre y la de concavidad.
 9

Interpretacin econmica:

Se considera un modelo de gestin de reservas: En un momento dado, t0 , la empresa

posee una cantidad dada, x0 , de reservas de cierto producto. Por almacenamiento se
paga S/. c diariamente por unidad del producto.
En cada momento de un lapso dado, [t0 , t1], se venden q(t) unidades por da del
producto. Esto genera un beneficio de S/. (q (t)) por da. Se quiere hallar la manera de
ir vendiendo a fin de maximizar las ganancias en el horizonte temporal dado. Esto es:
t1

max ( (q (t )) cx(t )) dt sujeto a: x q x (t0 ) x0 x(t1 ) 0 .

t0
t1

Esto equivale a hallar una x* (t) tal que max ( ( x (t )) cx(t ))dt
t0
sujeto a:

x (t 0 ) x 0 x (t1 ) 0 .
Se asume que () es estrictamente cncava y que despus del momento t1 el producto es
d d
nulo. Entonces, la ecuacin de Euler es: 0 = Fx Fx = -c + (q ) , i. e. , c =
dt dt
d d
(q ) = ( q )(t ). Como c es constante, se sigue que ct + h = (q(t)). Puesto
dt dt
que () < 0, ()-1, por lo cual ()-1(ct + h) = q(t) = - x (t ) , de donde x (t) = k +
t1 t

() (ct h)dt x0 x(t0 ) k 0 , de donde k = x0 x(t) = x0 - () (ct h)dt .

1 1

t0 t0

1 1
Si, por ejemplo, (q) = q , entonces (q) = () 1 ( z ) , luego
2 q 4z2
t t t0
1 1 1
() (ct h)dt t 4(ct h)2 dt 4c ct h con lo que
1

t0 0 t

1 1 1 1 1 1
x (t ) x0 ( ) 0 x(t1 ) x0 ( ) de donde sale el
4c ct h ct0 h 4c ct1 h ct0 h
valor de h . Como Fx x ( x ) < 0, puede haber mximo local. F es ( x, x )-cncava,
as que s es mximo global.

El modelo de crecimiento de Ramsey

Siendo k el capital per cpita; c, el consumo per cpita; u, la funcin de utilidad del
consumo, y T el horizonte temporal, se quiere hallar la senda temporal del capital per
cpita que maximice la utilidad acumulada durante el lapso de 0 a T, sujetndose a la
ley dinmica : f (k) = c + k + k, y conociendo los valores inicial y final de k: k0 y kT .
Se asume que las funciones u() y f () son estrictamente cncavas y crecientes.
El problema puede ponerse en el marco del Clculo de Variaciones expresando c en
T

trminos de k y k como sigue: max u ( f (k ) k k )dt

0
sujeto a: k(0) = k0 y k(0) = kT

.
 10

d d d
La ecuacin de Euler: 0 = Fk Fk u(c)( f ( k ) ) u(c) , y como u (c ) =
dt dt dt
u(c)
u() c , se obtiene: c ( f (k ) ) .Esta ecuacin, junto a la que se obtiene de la
u(c )
ley dinmica: k f ( k ) k c , forman un sistema de dos ecuaciones diferenciales no
lineales.
Se obtiene un equilibrio, (k*, c*), del sistema imponiendo las condiciones de nulidad de
las velocidades de cambio k y c . As, k* = (f)-1() y c* = f (k*) - k*.
Puede comprobarse que, debido a las asunciones hechas, este equilibrio es uno de tipo
de ensilladura. En efecto, la matriz jacobiana del sistema evaluada en el equilibrio es:
f (k *) 1
J* = u ( c*)
f (k *) 0 . Porque J*11 = 0 > J*21 , se encuentra que es nula la traza
u (c*)
de J* y que es negativo su determinante. Esto hace que los autovalores de J* sean de
signos opuestos, por lo que el equilibrio correspondiente ha de ser una ensilladura.

Caso de horizonte temporal infinito

Considrese el problema de max F ( x, x , t )dt sujeto a la condicin inicial x(0) = a y

0

tal vez a una condicin final asinttica: b = limt x(t).

Como el integrando es una funcin dada, podra ser que la integral impropia no fuese
convergente. Por tal motivo, en muchas aplicaciones se agrega la condicin de que
F ( x, x , t ) G ( x, x , t ) e-t, siendo G una funcin acotada, i. e., que M tal que
( x, x , t ), M G ( x, x , t ) . En tal caso, la integral impropia s que converge, pues

G ( x, x , t )e dt
t
, t ) e t dt M e t dt
G ( x, x
M

e
t 0

M

.
0 0 0

Para este problema siguen vigentes la ecuacin de Euler, la condicin de Legendre, pero
ahora la condicin de toma una forma algo diferente. As, para el caso de haber una
condicin terminal asinttica b = limt x(t), la condicin de es ( F x Fx )|t = = 0; y
para el caso en que no hay condicin terminal, es: ( F x Fx )|t = = 0 = Fx |t = .

Ejemplo
En el modelo de crecimiento de Ramsey con horizonte temporal infinito:

u (c )e
t
max dt sujeto a: f (k) = c + k + k k(0) = k0 k() = k , la condicin de
0

es: 0 = limt( F kFk ) = limte-t(u(c(t)) + k (t) u(c(t))).

Si no se exigiera que k() = k , se tendra, adems, la condicin: 0 = limt( Fk ) = limte-
t
(u(c(t)) (-1).
 11

2.Control ptimo

Formulacin de Bolza
t1

PCOB: max F ( x, u , t )dt S ( x(t1 )) sujeto a: x f ( x, u, t ) x(t0 ) a u (t ) t t .

t0

En la funcin objetivo se halla una evaluacin de la dinmica mediante la integral y

tambin hay otra evaluacin separada del modo de terminar, mediante la funcin S.
Los datos del problema son: los momentos inicial t final, t0 y t1 ; las funciones F, S y f;
el valor a y la coleccin de conjuntos de valores admisibles para la variable de control,
{t : t[t0 , t1]}. A la variable x, fcilmente reconocible por ser aquella cuya derivada
temporal aparece en la ley dinmica x f ( x, u , t ) , se la llama variable de estado, as
como a la u se la llama variable de control. Si no se especifica cul es la familia de los t
, entenderemos que todos ellos son , es decir, que cualquier valor numrico es
admisible para la variable de control en cualquier momento.
Es de notarse que en este problema hay una jerarquizacin natural entre las variables de
estado y de control, siendo la principal esta ltima, pues para cada forma especfica que
ella asuma, en condiciones bastante generales, hay slo una forma funcional para la
variable de estado correspondiente, ya que, entonces, la ley dinmica se habra
convertido en una ecuacin diferencial en una incgnita: la variable de control.
Teniendo en cuenta que los trminos causa y efecto son de muy discutible
precisin, parece preferible calificar a las variables de control y de estado como
estmulo y respuesta, respectivamente.

Formulacin de Mayer
PCOM : max S (x (t1)) sujeto a x f ( x, u, t ) x(t0 ) a u (t ) t t .
Resulta evidente que es esta formulacin un caso particular de la de Bolza y que
corresponde al caso en que en sta se da la funcin nula en el papel de la F.
Que la de Bolza sea representable como la de Mayer es algo que se muestra a
continuacin.
Defnanse las variables x1 y x2 as: x1 := x x 2 := F(x1 , u, t) con x2(t0) = 0. Entonces, el
t1

x (t )dt max x 2 (t ) t10 = max x2 (t1) sujeto

t
problema puede formularse como: max 2
t0

x1 f ( x1 , u , t )
a: , donde S(x1 , x2) := x2.
x 2 F ( x1 , u , t )
Formulacin de Lagrange
t1

PCOL : max F ( x, u , t )dt sujeto a: x f ( x, u, t ) x(t0 ) a u (t ) t t .

t0

Resulta evidente que es esta formulacin un caso particular de la de Bolza

correspondiente al caso en que es nula la funcin S.
 12

Que la de Bolza sea representable como la de Lagrange es algo que se muestra a

continuacin.
t1 t
d 1

Ya que S(x(t1)) - S(x(t0)) = dt

t0
S ( x (t )) dt S ( x) x dt , se obtiene como funcional
t0
t1

objetivo: ( F ( x, f ( x, u, t ), t )dt S ( x) f ( x, u, t ))dt , puesto que maximizar una

t0

funcin cualquiera equivale, en trminos de mximos, a maximizar dicha funcin

sumada de una constante cualquiera.
Por lo tanto, las tres formulaciones son equivalentes entre s.

Condiciones necesarias para que una u*(), con su respuesta x*(), den un mximo local
del problema PCOL
1) Ha de haber una funcin *(), llamada covariable de estado, tal que:
* (t ) H x ( x*, u*,t ) * (t1 ) 0 x * (t ) f ( x*,u*, t ) x * (t0 ) a , en
donde la funcin H, llamada hamiltonianase define como H (x, u, , t) := F(x, u,
t) + f(x, u, t). Las ecuaciones diferenciales de esta condicin se conocen como
las ecuaciones cannicas.
2) t [t0 , t1], u*(t) ha de ser un mximo global de H(x*(t), , *(t), t). sta
condicin se conoce como principio del mximo de Pontriaguin.

Ejemplo: max ( x u )dt

0
sujeto a: x 1 u 2 x(0) 1 .

Entonces la hamiltoniana es: x + u + ()(1 u2) las ecuaciones cannicas son:

x 1 u 2 H x 1 . De esta ltima, con (1) = 0, se obtiene *(t) = 1 t.
Como la funcin H es cncava en u, el principio del mximo implica: 0 =
1
H 1 2 u , por lo que u*(t) = . Entonces, la ley dinmica es:
u 2(1 t )
1
x 1 con x(0) = 1, de donde sale:
4(1 t ) 2
1 1
x * (t ) t dt t k , que con x (0) = 1, da k = 5/4. As, x *(t) =
4(1 t ) 2
4(1 t )
1 5
t .
4(1 t ) 4

Condicin general de transversalidad

Definiendo el vector de ortogonalidad, v := (H, -), se tiene como condicin necesaria
para ptimo local el que dicho vector evaluado en el punto terminal sea perpendicular u
ortogonal a toda direccin admisible en dicho punto terminal.
Para el problema planteado como PCOL , no hay sino una direccin admisible, a saber,
la vertical; luego, el v evaluado en el punto terminal debe ser horizontal, esto es, que su
segundo componente se anule: 0 = (t1).
 13

Ejemplos
5

(ux u x 2 ) dt sujeto a: x x u x(1) 2 .

2
1) max
1

Entonces, H = ux u2 x2 + ()(x + u) H x u 2 x (5) 0 . Como

H es u-cncava, del principio del mximo se sigue: 0 = Hu = x 2u -. Por lo
tanto, u = (x + ). Si esta expresin se lleva a las ecuaciones cannicas
resulta: x 3x/2 + /2 3x/2 - 3/2 con x(1) = 2 (5) = 0. De la primera
de estas dos ltimas ecuaciones se obtiene = 2 x 3 x 2 x 3 x , lo que
3 9
llevado a la segunda da: 2 x 3x x 3 x x . De aqu: x 3 x 0 , por lo
2 2
que x(t) = A e3 t + B e-3 t que con la condicin inicial da: 2 = A e3 + B e-3. Ahora,
llevando la expresin de x(t) a la que da (t), sale: = 2 x 3 x = 2A3 e3 t
2B 3 e-3 t 3A e3 t 3B e-3 t y con la condicin 0 = (5) da los valores de las
constantes A y B. Finalmente, la nica candidata a ser control ptimo es: u (t) =
(x(t) + (t)) = A (3 - 1) e3 t B (3 + 1) e-3 t.
1

2) Se pide min xdt

0
sujeto a: x u x(0) 1 u (t ) t : [-1, 1].

Entonces, H = -x + u H x 1 con (1) = 0. Resulta: *(t) = t 1. El

principio del mximo exige maximizar (- x + u) sujeto a: u [-1, 1] y, como ya
se tiene que *(t) = t 1, se sigue que u*(t) = -1, t de [0, 1]. Finalmente, de la
primera ecuacin cannica con su condicin inicial se sigue que x*(t) = 1 t , t
de [0, 1].
1

3) Se quiere min ( u dt x(1) ) sujeto a: x x u x(o) 1 .

2 2

Se reconoce la funcin S (x) = x2, por lo que

d
S ( x(t )) S ( x(t )) x (t ) 2 x (t )( x(t ) u (t )) . As, como
dt
1
d
0 dt S ( x(t ))dt S ( x(1)) S ( x(0)) x(1) 1 , se sigue que el problema
2

(u 2 x ( x u ))dt sujeto a las

2
equivale, en lo que toca a soluciones, al de min
0

mismas condiciones del original. Entonces, H = u2 + 2x2 + 2xu + ()(x + u). Las
ecuaciones cannicas: x x u H x 4 x 2u . Como H es u-
convexa, el principio del mximo (en verdad: mnimo): 0 = Hu = 2u + 2x +, de
donde, u = -x -/2, lo que llevado a las ec. cannicas da el sistema dinmico en x
1
y : x 2 x . De aqu, por eliminacin, sale: x x 0 , que, con la
2
condicin inicial da: x(t ) Aet Bet 1 A B . La segunda cannica da:
(t ) 2 Aet 2 Be t 0 (1) 2 Ae 2 Be 1 . Entonces, A = (e2 + 1)-1 B =
e 2 t et
e2/(e2 + 1), de lo que se sigue x * (t ) (e 2 1) 1 (et e) * (t ) 2 2 .
e 1
 14

Finalmente, resulta que la nica candidata a control ptimo es la funcin u*(t) =

2e 2 t
e .
e2 1
2

(2 x 3u u
2
4) Se pide max )dt sujeto a: x x u x(0) 5 t, t [0, 2].
0

Entonces, H = 2 x 3u u 2 H x 2 (2) 0 . De esta ltima sale:

* (t ) 2(e 2 t 1) . Como H es u-cncava, parecera oportuno intentar la
aplicacin del principio de Pontriaguin mediante: 0 = Hu, lo que dara como
nico mximo global de H vista como funcin de u = - ((t) - 3). Sin
embargo, la dificultad radica en que algunos de tales valores deu podran no caer
en el intervalo [0, 2]. En efecto, 0 ( - 3) 2 ssi 0 ( - 3) 4 ssi 3 7
ssi 2e2/9 et 2e2/5. Esto, como es fcil comprobar, equivale a: 1 := 2 ln
4.5 t 2 ln 2.5 =: 2 1.05. Entonces, slo para t [1 ,2] puede usarse la
igualdad 0 = Hu como expresin del principio de Pontriaguin. Fuera de ese
intervalo el valor de u*(t) tiene que ser 0 2. Esto se ilustra en la siguiente
grfica. Para t [0, 1], de la grfica de ((t) - 3) u u2
se sigue que u*(t) = 2. Para t [2 , 2], de la grfica de ((t) - 3) u u2
2, t [0, 1 ]
1
se sigue que u*(t) = 0. En suma, u*(t) = ( * (t ) 3), t [ 1 , 2 ] .
2
0, t [ 2 ,2]
Si se quisiera calcular la respuesta, x*(), a esta funcin de control, habra que
proceder en tres etapas.
1) para t [0, 1 ] , de x x 2 x(0) 5 , se sigue que x*(t) = 7et 2;
2) para t [ 1 , 2 ] , de x x ( (t ) 3) / 2 e 2 t 5 / 2 x( 1 ) 7e 1 2 , se
sigue: x*(t) = Bet (e2-t )/2 + 5/2, en donde B sale de la condicin inicial en 1;
2
e 5
3), para t [ 2 ,2] , de x x 0 x( 2 ) Be e , se sigue: x*(t) = Cet
2 2

2 2
en donde C sale de la condicin inicial en 2.

Interpretacin econmica
t1

Para el PCOL de max F ( x, u, t )dt

t0
sujeto a: x f ( x, u, t ) x(t0 ) a u (t ) t t ,

se define la funcin valor, V* :

t1

[t0 , t1] , (z, t) max F ( x, u, )dt sujeto a

t
x f ( x, u , ) x (t ) z .

As, V* (a, t0) da el mximo valor alcanzable en el problema original. Sea (t) :=

V * ( z, t ) , i. e., la sensibilidad de la funcin valor respecto a cambios en t del estado

z
inicial en t ; se trata del precio sombra del capital.
Sea que x (t) represente el acopio de capital de la empresa, siendo el inicial a en el
momento t0. Que sea u(t) la tasa de produccin decidida, y que sea F (x(t), u(t), t) la tasa
de beneficio instantnea, medida en soles por da. El cambio temporal en el acopio del
capital, x , depende del nivel de ste, x (t), de la decisin de la empresa, u (t), y del
momento actual, t : x (t ) f ( x (t ), u (t ), t ) .
 15

A partir de un momento t del horizonte temporal en el que el nivel del capital es x(t) y la
decisin empresarial es u(t), considrese un breve lapso dt. Entonces, Hdt = Fdt + f dt
= F dt + x dt = F dt + dx. Aqu, F dt es la contribucin directa en soles a la funcin
objetivo desde t hasta t + dt, si el estado en t era x (t) y la decisin fue u (t). Por otra
parte, dt es el valor en soles del incremento en el nivel de acopio de capital; es la
contribucin indirecta a la funcin de valorLuego, H dt es la contribucin total a la
funcin de valor durante el lapso dt. As, se ve que lo que ha de maximizarse en cada
momento t es H, y no slo F.
La condicin H x da - d = Fx dt + (fx dt), que dice que en la senda ptima ha de
igualarse la cada del precio sombra del capital y el ingreso marginal de invertir ese
capital, que es la suma de las contribuciones marginales directa e indirecta.

Condiciones suficientes de optimalidad

Para el problema PCOL se tiene el siguiente teorema debido a Mangasarian.
Teorema: Si F y f son funciones (x, u)-cncavas t y la covariable de estado, *(), que
sale junto a u*() y x*() de las ecuaciones cannicas y el principio del mximo, es
innegativa caso que f(x, u, t) no sea lineal en (x, u); entonces u*() es el control ptimo.
Nota: Si se tratara de minimizar la funcional objetivo, entonces la concavidad en (x,u)
de F y f habra de reemplazarse por convexidad.

Ejemplo: En max ( x u )dt

0
sujeto a: x 1 u 2 x(0) 1 , se ve que F y f son (x, u)-

cncavas y como f(x, u, t) no es lineal en (x, u), debe tenerse que *() sea innegativa
para que se cumplan las condiciones suficientes de Mangasarian. Como H = x + u + ()
(1 u2), la segunda ecuacin cannica es H x 1 con (1) = 0 por la condicin
de , se sigue que *(t) = 1 t, que en [0, 1] es 0. Luego, la u* (t) =
1 1
, que sale del principio del mximo: 0 = Hu, es el control ptimo.
2 * (t ) 2(1 t )

(ux u x 2 ) dt sujeto a: x x u x(1) 2 , se ve que

2
Ejemplo: En max
1
0 0
f ( x, u , t ) x u es cncava, pues es lineal, por lo que su hessiana es ,
0 0
2 1
negativo-semidefinida.La funcin F ( x, u , t ) tiene hessiana en (x, u): que
1 2
es negativo-semidefinida, pues sus menores principales valen -2 y 3. Como f ( x, u , t )
es lineal en ( x, u ) , no hay nada que exigir a la funcin *(). Luego, se cumplen las
condiciones suficientes de Mangasarian.
1

Ejemplo: En el problema de min( u dt x(1) ) sujeto a: x x u x(0) 1 , se sabe

2 2

ya que puede adoptarse la formulacin de Lagrange, puesto que como S(x) = x2, se tiene
d
que S ( x(t )) S ( x(t )) x (t ) 2 x (t )( x (t ) u (t )) , de donde, ya que
dt
1
d
dt S ( x(t ))dt = S(x(1)) S(x(0)) = x(1)2 1, y que la constante 1 en la funcional
0

objetivo, como sumando sustraendo no afecta a los ptimos del problema, resulta
 16

(u 2 x ( x u ))dt sujeto a: x x u x(0) 1 . Ahora resulta

2
equivalente pedir: max
0

4 2
que F es (x, u)-convexa, pues su hessiana es de menores principales 4 y 4;
2 2
adems, f , por ser lineal en (x, u), es convexa. Igual que antes, la condicin: si f no es
lineal en (x, u), entonces *() 0 se cumple trivialmente ya que f s es lineal. Valen,
pues, las condiciones suficientes de Mangasarian.

Hay otro juego de condiciones suficientes para mximo global en el PCOL: son las de
Arrow.
Teorema: Para el problema de PCOL defnase la funcin hamiltoniana derivada, H0,
mediante: H0 : [t0 , t1] , (x, , t) max H ( x, u , , t ) para u t. Entonces, si
H 0 ( x, * (t ), t ) es x- cncava t del [t0 , t1], se sigue que la u*() que sale de las
ecuaciones cannicas y del principio del mximo es el control ptimo.
Nota: En un problema de minimizacin, ha de reemplazarse la x- concavidad de
H0(x, *(t), t) por la x- convexidad.
1

Ejemplo: Se pide max ( x u )dt

0
sujeto a: x 1 u 2 x(0) 1 .

1
Resulta que H0(x, , t) = x + + , que es x- cncava, por lo que se cumplen las
4
condiciones suficientes de Arrow.

Extensiones del control ptimo

1) Diversos tipos de condiciones terminales

a) Momento y estado finales dados: t1 y b = x(t1) son datos. La nica modificacin

con respecto al caso ya considerado es la que concierne a la nueva condicin de
, que ahora es slo la condicin terminal: b = x(t1) en vez de lo que fue antes:
(t1) = 0. Esto vale tambin para la minimizacin.
1

u
2
Ejemplo: Se pide max dt sujeto a: x x u x(0) 1 x (1) 0.
0

Entonces, la hamiltoniana es H = u 2 ( )( x u ) ; la segunda ecuacin

cannica es: H x , de donde (t ) Ae t . El principio del mximo: 0
= Hu , pues H es u- cncava y t = , t. Luego, 0 = -2 u + , de donde u =
A t A
e . La primera ecuacin cannica es ahora: x x e t , cuya solucin
2 2
A
general es: x (t ) Bet e t . Las condiciones extremas dan: 1 = x (0) = B
4
A 4e 2 1
A/4 0 = x(1) = Be - . De aqu se deduce que A = B . Por
4e 1 e 2
1 e2
et e 2 t 4e 2 t 2e 2 t
lo tanto, x*(t) = * (t ) u * (t ) . Se ve fcilmente que
1 e2 1 e2 1 e2
se cumplen las condiciones de suficiencia de Mangasarian, por lo que u*() es el
control ptimo (a pesar de que *(t) < 0, t !).
 17

b) Momento final dado y estado final inferiormente acotado: x (t1) b.

Lo mismo que en el caso (a), la antigua condicin de se sustituye por esta
nueva: 0 = (t1 )( x(t1 b)) .
1

u
2
Ejemplo: Se pide max dt sujeto a: x x u x(0) 1 x(1) 3.
0

Igual que lneas arriba, se obtiene (t ) Ae t u (t ) (t ) / 2 Ae t / 2

A t
x (t ) Bet e . La condicin de : 0 = (1) (x(1) - 3) = (A/e) (Be A/4e
4
-3). Si A = 0, entonces de la condicin inicial para x se sigue que B = 1, de lo que
resultara B = 1, con lo que Be 3 < 0 que es una contradiccin. Por lo tanto,
A > 0, por lo que Be A /4e = 3, que con 1 = B A/4, da A = 4e (3 - e)/(e2 - 1)
B = (3 e - 1)/(e2 - 1).

c) Momento y estado finales libres.

En este caso la condicin de es: *(t1) = 0 = H(x*(t1), u*(t1), *(t1), t1).
t1

(u tx u )dt sujeto a: x 2u 1 x(0) 0 .

2
Ejemplo: Se quiere max
0

Entonces, la hamiltoniana es H = -u2 + u tx + () (2u + 1) y la segunda

ecuacin cannica: t , da (t ) t 2 / 2 h 0 (t1 ) , de donde h = -t12/2.
2
Entonces, (t ) t 2 / 2 t1 / 2 . Como H es u-cncava, el principio del mximo
lleva a 0 = Hu = -2u + 1 + 2, de donde, u(t) = (t) + = t2/2 t12/2 + .
2
La primera ecuacin cannica: x t 2 t1 2 , de donde x(t) = t3/3 + (2 t12) t
pues 0 = x (0). Por otro lado, la condicin de : 0 = H ( x (t1 ), u (t1 ), (t1 ), t1 ) ,
de donde, como x(t1 ) t1 / 3 (2 t1 )t1 (t1 ) 0 u (t1 ) 1 / 2 , se obtiene
3 2

que 0 = t1 4 - 3 t1 2 + 3/8, lo que da dos posibles valores para el momento

final, a saber, t1 0.36 t1 1.69. As, quedan dos posibles controles ptimos:
u*(t) = 0.43 + t2/2 u*(t) = -0.93 + t2/2. En el primer caso se trata de una
funcin u* definida en el intervalo [0, 0.36], y, en el segundo caso, de una
funcin definida en [0, 1.69].

d) Momento final libre y estado final dado: x (t1) = b.

En este caso la condicin de : 0 = H ( x (t1 ), u (t1 ), (t1 ), t1 ) , estando el valor
de t1 por determinarse.
t1

(t u 2 )dt sujeto a x u x(0) 4 x(t1 ) 5 , con t1

2
Ejemplo: Se pide min
0

por determinarse.
La hamiltoniana es: H t 2 u 2 ( )(u ) . La segunda ecuacin cannica:
H x 0 , de donde (t) = A. Como H es estrictamente convexa en u, el
principio del mximo implica que 0 = Hu = 2u + , de donde u(t) = -A/2. De la
primera ecuacin cannica x u = -A/2 con su condicin inicial se obtiene que
x (t) = -At/2 + 4. La condicin de : 0 = H ( x (t1 ), u (t1 ), (t1 ), t1 ) = t12 + (-A/2)2
+ (A) (-A/2), esto es, t12= A2/4. La condicin terminal 5 = x (t1) = -At1/2 + 4. De
estas dos ltimas ecuaciones salen t1 = 1 A = -2. Por lo tanto, la nica candidata
que queda a ser control ptimo es u*(t) = 1 en el intervalo [0, 1].
 18

Hamiltoniana de valor presente de valor corriente

T

G ( x, u , t ) e
t
Para el problema de max dt sujeto a: x f ( x, u , t ) x(0) a ,
0

se tiene que H = Ge t + f. Defnase la variable :=e t. Entonces resulta ser H =

G e- t + e tf = e t(G + F) =: e- t de donde = G + F. A esta funcin se
llama hamiltoniana de valor corriente.

Las ecuaciones cannicas pueden expresarse en trminos de esta nueva

hamiltoniana como sigue. La primera: x f H ; y la segunda: = -x +
, pues e- t ( - ) = e- t - e- t = = -Hx = - e- t x.

El principio del mximo: u*(t) ha de ser mximo global de H (x*(t), , *(t), t).
Pero H (x*(t), u, *(t), t) H (x*(t), u, *(t), t) ssi (x*(t), u, *(t), t)
(x*(t), u, *(t), t), de donde se sigue que el principio del mximo en trminos
de la hamiltoniana de valor corriente es as: t, u*(t) ha de ser mximo global de
(x*(t), , *(t), t).

En suma, las condiciones necesarias para ser control ptimo, en trminos de la

hamiltoniana de valor corriente son: x = -x + el principio del
mximo como se lo enuncia en el prrafo anterior.
2

e
t
Ejemplo: Se quiere min (u 2 ( x 1) 2 )dt , con positivo, sujeto a:
0
x 2 x 3u x (0) 5 .
Entonces, = u2 + (x - 1)2 + () (2x 3u). La segunda ecuacin cannica es:
= -x + = - (2 (x - 1) + 2 ) + . El principio del mximo, dada la
convexidad estricta de respecto a u es: 0 = u = 2u - 3, de donde, u = 3/2.
Entonces, reemplazando u por 3/2 en la primera cannica se obtiene un sistema
9
x 2 x
dinmico lineal en x y : 2
( 2 ) 2 x 2
Si de la primera se despeja y luego se la deriva respecto a t para reemplazar en
la segunda, se obtiene una ecuacin diferencial de segundo orden en x cuya
solucin permitir luego hallar y u. Esta ltima ser el control ptimo pues se
cumplen las condiciones de suficiencia de Mangasarian.

Caso de horizonte temporal infinito

e
t
Se considera el problema con una integral F ( x, u , t ) dt . La condicin
t0

terminal puede variar, y para cada una de diversas posibilidades se da la

condicin de .
a) Si se impone la condicin b = limt x(t), entonces la condicin de es:
0 = limt [H]t.
b) Si el estado final es libre, entonces la condicin de es: 0 = limt [H]t
0 = limt (t).
 19

c) Si la condicin terminal es que b limt x(t), entonces la condicin de es:

0 = limt (t) (x(t) b).

Problema de tiempo mnimo

Se trata, no de hallar la senda ms corta, sino la de ms breve recorrido. As, se
pretende min T sujeto a: x f ( x, u , t ) x(0) a x(T ) b u (t ) t , con T
libre.
T T

Como T = 1dt , la funcional objetivo es 1dt .

0 0

Ejemplo: Se pide min T sujeto a: x x u x(0) 5 x(T ) 11 t [-1, 1].

Entonces, la hamiltoniana es H = 1 + ()(x + u) y la segunda cannica es:
, de donde, (t) = A e-t. Como H es u-lineal, el principio del mnimo
1, 0
permite concluir que u*(t) = .
1, 0
La condicin de : 0 = Hpto.term. = 1 + (T) (x(T) + u(T)) = 1 + A e-T(11 + u (T)),
eT
de donde sale: A = , que en cualquier caso resulta ser negativo, pues
11 u (T )
u(T) {1, -1}. Luego, (t) < 0, t, por lo que u*(t) = 1, t.
La primera ecuacin cannica es, entonces, x x 1 , lo que, con las
condiciones extremas para x da x*(t) = Bet 1 con 5 = B 1. Luego, x*(t) = 6et
1. Ahora, como 11 = 6 eT 1, resulta T = ln 2.
Ya que F(x, u, t) = 1, entonces F es (x, u)-convexa; similarmente, f (x, u, t), que
es igual a x + u, tambin es (x, u)-convexa y adems (x, u)-lineal; por lo tanto, se
cumplen las condiciones de suficiencia de Mangasarian, y el control ptimo es
u*(t) = 1, t siendo su respuesta la x*(t) = 6 et 1 y T = ln 2.

Control ptimo con restricciones

T

a) Restricciones de igualdad: Se quiere max F ( x, u , u

0
1 2 , t )dt sujeto a:

x f ( x, u , t ) x(0) 5 h( x, u , t ) 0 y condiciones extremas al final y al

inicio del proceso. Entonces, como H como funcin de u sujeto a h = 0, hay que
considerar la funcin lagrangiana L:= H - h; entonces las condiciones
0 = L u1 Fu1 f u1 - h u1
necesarias de primer orden son: 0 L u 2 Fu 2 f u 2 hu 2 con las condiciones
x f h 0
extremas.
1

(2 x 2u 2 2v 2 )dt sujeto a:
2
Ejemplo: Se quiere max
0

x x 4(u v) x (u v) 1 x (0) 1 .

Entonces, la lagrangiana es L = 2x2 -2u2-2v2+() (-x-4u-4v) -(x-u-v-1).

 20

0 Lu - 4u - 4 Lx 4 x
As, las condiciones necesarias son: ,
0 Lv 4v 4 x L x 4(u v )
de donde, x = (u + v) +1 x(0) = 1.
As, pues, resulta que L = 2x2 2u2 -2v2 + ()(-x-4u-4v) - (x u v -1). Entonces,
las condiciones necesarias son:
0 Lu 4u 4 Lx 4 x x (u v ) 1
.
0 Lv 4v 4 x L x 4(u v) x(0) 1

Ahora bien, como u + v = x 1,k se sigue que x x 4( x 1) , i. e., x 5 x 4

con x (0) = 1. entonces, x*(t) = A e-5t + 4/5 1 = x(0) = A + 4/5, por lo que A = 1/5
1 5t 4
x*(t) = e . De las dos primeras se sigue que u = v, por lo cual, de h = 0 sale
5 5
1 1 5t
que u*(t) = v*(t) - ( x * (t ) 1) (e 1) . Finalmente, la covariable de estado
2 10
sale de 4 x , con =4u + 4 (de la primera), por lo que
1 1 5t
4 x 4u 4 , de donde: *(t) = B e5t + e , que con la condicin
25 50
de : *(1) = 0, da el valor de B.
T

b) Restricciones integrales: Se quiere max F ( x, u, t )dt

0
sujeto a: x f ( x, u , t )
T

G( x, u , t )dt K , constante dada, y las condiciones extremas.

0

Al precio de introducir una nueva variable de estado, este problema se reformula

t

como uno sin restricciones: y(t) := G ( x( ), u ( ), )d , de donde

0
(t )
y

T
G ( x (t ), u (t ), t ) . Ahora, el problema es el de max F ( x, u, t )dt sujeto a:
0
x f ( x, u , t )
con y(0) = 0 y(T) = K.
y G ( x, u , t )

Ejemplo: Hallar la curva desde (0, a) hasta (1, b) de longitud dada l, que maximice
1

el rea encerrada por ella y por el eje de abscisas. Entonces, se trata de max xdt
0
1

sujeto a: l =
0
1 u 2 dt x u x(0) a x (1) b .

Pongamos y 1 u2 , que sale de y(t) :=

0
1 u 2 dt . Ahora, el problema es el de

1
x u x (0) a y (0) 0
max x(t )dt
0
sujeto a:
y 1 u 2 con
x (1) b

y (1) l
.
 21

1 H x 1
2 H y 0
Entonces, la hamiltoniana es: H = x + 1u + 2 (1+u2) y el
x u
y 1 u 2
2u
principio del mximo exige que 0 = Hu = 1 + . De todo ello sale: 1 = A t
1 u2
Bu tA
2 = B, por lo que 0 = A t + que da u*(t) = B (t A) 2
2 . Ahora,
1 u 2

como x * (t ) u * (t ) , de las condiciones extremas salen los valores de las

t

constantes B y C, pues x*(t) = u * ( ) d C .

0

c) Restricciones de desigualdad: Se quiere max F ( x, u, t )dt sujeto a:

0
x f ( x, u , t )
con condiciones extremas.
h ( x, u , t ) 0
El principio del mximo implica que t, u*(t) ha de ser mximo global de
H(x*(t), , *(t), t) sujeto a: h(x*(t), , t) 0. Esto puede lograrse con la funcin
lagrangiana L := F + f - h. Entonces, las condiciones necesarias de primer
orden son las siguientes. 0 = Lu Lx x f h 0 0 0 h ,
adems de la condicin de y las condiciones extremas.
1

u
2
Ejemplo: Se quiere max dt sujeto a: x x u x (0) 1 xu 2 . Entonces,
0

la hamiltoniana es. H = - u2 + ()(x + u) L = -u2 + ()(x + u) - (xu -2). Las

condiciones necesarias son: = 0 = Lu = -2u + -x x L x u Lx = - +
x (1) = 0 xu = 2 0 0 0 = (xu - 2)

3. Programacin Dinmica

El problema tpico de la Programacin Dinmica (PD) es el siguiente. Se quiere

N 1
max F ( x ( k ), u ( k ), k ) S ( x ( N )) sujeto a: x(k+1) = f(x(k), u(k), k) x(0) = a
0

u(k) k k{0, 1, , N-1}. Esta maximizacin se da entre las diversas

sucesiones finitas (u(0), , u(N-1)). Los datos del problema son: las funciones F : 3
, S: , f :3 y los nmeros N , a , as como la sucesin de
subconjuntos de : (0, 1, , N-1), que dan, para cada momento k los valores
admisibles de la variable de control u(k).

Para resolver este problema suele usarse la llamada induccin regresiva, que es un
mtodo consistente en convertir un problema de mltiples etapas en varios
problemas de una sola etapa retrocediendo en el tiempo. Para ilustrarlo se da el
siguiente ejemplo.
 22

Ejemplo: Desde una ciudad A se quiere llegar a una ciudad H, no siendo posible
hacerlo en una sola etapa. En la primera etapa se puede llegar a una de las ciudades
B, C y D. En la segunda etapa, partiendo de una cualquiera de estas ciudades, puede
llegarse a una de las ciudades E, F y G. En la tercera etapa, partiendo de una
cualquiera de stas, puede llegarse a la ciudad H. Se pretende seguir la ruta ms
corta, siendo las distancias entre ciudades las que se indican en la siguiente figura.

En la tercera etapa, las rutas ms cortas desde E, F y G hasta H son,

respectivamente, EH(3), FH(6) y GH(2).

En la segunda etapa, las rutas ms cortas desde B, C y D hasta H son,

respectivamente, BGH(4), CEH(7) y DGH(7).

En la primera etapa, las tres posibles rutas ptimas son ABGH(11), ACEH(15) y
ADGH(12). Luego, la ruta ptima es ABGH de longitud 11.

Propiedad de causalidad en la PD

Para dos etapas cualesquiera, j y k, ocurre que si j < k, entonces x(k) slo depende de
x(j) y de los controles u(j), u(j + 1), , u(k - 1)

Esto es claro, pues si en j el estado es x(j) y se aplica el control u(j), la ley dinmica
determina el estado x(j+1) = f (x(j), u(j), j); si en j+1 se aplica u(j+1), de nuevo, la
ley dinmica determina el estado x(j+2) = f (x(j+1), u(j+1), j+1), y as sucesivamente
hasta que x(k) resulte determinado por x(k-1) y u(k-1) segn f (, , k-1).

Entonces, cada (u(k))0N-1 determina la sucesin de estados ocupados por el sistema

en las diversas etapas: (x(k))0N. Estas dos sucesiones hacen que la funcional objetivo
alcance un valor denotado por J[x(0), (u(k))0N-1]. El problema de la PD consiste en
hallar el mximo valor posible, J*(a), usando como instrumento de maximizacin
todas las posibles sucesiones (u(k))0N-1.

Teorema de Bellman:

Con el algoritmo JN(z) := S(z), , Jk(z) := max u k ( F ( z , u, k ) J k 1 ( f ( z , u , k ))) ,

, hasta llegar a J0(z), se obtendr el valor mximo buscado J*(a) como J0(a).
Adems, la sucesin (u*(0), , u*(N-1)) es la que permite alcanzar J0(a) si, y slo
si, para todo k se cumple que Jk(x(k)) =
max u k ( F ( x( k ), u , k ) J k 1 ( f ( x( k ), u , k ))) =
F ( x (k ), u * ( k ), k ) J k 1 ( f ( x (k ), u * ( k ), k )) ; es decir, que (u * ( k )) 0N 1 es el
control ptimo. La ecuacin de arriba se conoce como la ecuacin de Bellman.

Principio de optimalidad de Bellman

Si (u * ( k ))0N 1 es un control ptimo del problema de PD y ( x * (k)) 0N es la

correspondiente respuesta generada por la ley dinmica; entonces
 23

N 1
j{1, , N -1}, (u * ( k )) j es un control ptimo del problema PDj consistente en
N 1

maxu F ( x (k ), u (k ), k ) S ( x( N )) sujeto a: x(k+1) = f(x(k), u(k), k) x(j) =x*(j)

k j

u(k) k k {j, , N-1}.

Ejemplo: Se quiere minu ((u(0) - 2)2 + (u(1) - 4)2 + x(2)) sujeto a: x(0) = 1 x(1) =
3x(0) + u(0) x(2) = x(1) + 2u(1).

El algoritmo del teorema de Bellman se construye como sigue.

1) J2 (z) = S(z) = z.

2) J1 (z) = minu ((u-4)2 + J2 (f(z, u, 1))) = minu ((u-4)2 + J2 (z + 2 u))) = minu ((u-4)2 +
z + 2u) y como (u-4)2 + z + 2u es u- convexa estrictamente, el mnimo global se
obtiene haciendo 0 = 2(u - 4) + 2, i. e., u* = 3, siendo el valor mnimo
correspondiente J1 (z) = z + 7.

3) J0 (z) = minu ((u-2)2 + J1 (f(z, u, 0))) = minu ((u-2)2 + J1 (3z + u)) = minu ((u-2)2 +
3z + u + 7) y como (u-2)2 + 3z + u + 7 es estrictamente u- cncava, el mnimo
global se obtiene haciendo 0 = 2 (u - 2) + 1. i. e., u* = 3/2, y el valor mnimo es
J0 (z) = 3z + 35/4.

As, pues, el mnimo valor de la funcional del problema planteado, J*(1), se obtiene
como igual a J0 (1) = 47/4. Este valor se alcanza con la sucesinde controles
ptimos: u*(0) = 3/2 y u*(1) = 3, siendo la correspondiente respuesta del sistema:
x*(0) = 1, x*(1) = f (x*(0), u*(0), 0) = 3 x*(0) + u*(0) = 3 (1) + 3/2 = 9/2 y,
finalmente, x*(2) = f (x*(1), u*(1), 1) = x* (1) + 2 u*(1) = 9/2 + 2 (3) = 21/2.

Ejercicio: Se pide minu (x(0) u(0) + x(1) u(1) + x(2)2) sujeto a: x (k+1) = x(k)u(k) +
u(k)2 x (0) = 2 k = {1, -1, 0}.

Ejemplo: Se quiere repartir una cantidad C de cierto recurso entre N actividades. Si

a la actividad k se asigna una cantidad u, se genera un beneficio de u . Hallar el
reparto ptimo.

Si el estado en la etapa k se define como la cantidad que queda luego de haber

repartido a las actividades anteriores 0, , k-1; entonces puede plantearse el
N 1
problema como el de maxu 0
u ( k ) sujeto a: x(k 1) x(k ) u (k ) x(0) C
x( N ) 0 k [0, x(k )] .

Como S(x (N)) = 0, se tiene que JN (z) = S (z) = 0.

Luego, JN-1 (z) = maxu z ( u J N ( f ( z, u , N 1)) ) = maxu z ( u 0) , que da como

mximo global u* (z) = z y como valor mximo JN-1 (z) = z .

Ahora, JN-2 (z) = maxu z ( u J N 1 ( f ( z, u , N 2)) ) = maxu z ( u z u ) . Como

la funcin u z u es estrictamente u-cncava, pues su segunda derivada en u es
 24

1 1 1
negativa, el mximo global sale de 0 = ( u z u) = ( ) , por lo
u 2 u z u
que u* = z /2 que s [0, z]. As, resulta JN-2 (z) = 2z .

De manera enteramente similar, se obtienen JN-3 (z) = 3 z con mximo global u*(z)
= z /3, y, ms generalmente, que JN-m (z) = mz con mximo global u*(z) = z /m.
Finalmente, J*(z) = JN-N (z) = Nz con mximo global u*(z) = z /N. Por lo tanto el
valor mximo de la funcional objetivo del problema planteado es J*(C) = NC y
los controles ptimos, junto con los estados generados por ellos, son u*(0) = C/N,
x*(1) = x*(0) - u*(0) = C - C/N = (1 1/N) C, u*(1) = x*(1)/(N - 1) = C/N, x*(2) =
x*(1) - u*(1) = (1 2/N) C, u*(2) = x*(2)/(N-2) = C/N, etc.

Descuento en el problema de Control ptimo de tiempo discreto

N 1
Para el problema: maxu ( F ( x(k ), u (k ), k ) S ( x ( N )) ) sujeto a:
k N

k 0

x(0) a los , .., dados; la ecuacin de

x(k 1) f ( x (k ), u ( k ), k ) 1 N-1

Bellman tambin puede escribirse como: VN ( x( N )) S ( x ( N )) k {0, , N

-1}, Vk ( x( k )) maxu ( F ( x(k ), u (k ), k ) Vk 1 ( f ( x(k ), u (k ), k )) ).

Ha de notarse que Jk (z) es el valor mximo descontado al perodo inicial de la

funcional objetivo cuando se empieza en la etapa k en el estado z, mientras que Vk(z)
da ese mismo valor pero sin descontar, i. e., en valor corriente del periodo k.
Obviamente, J0 (a) = V0 (a).
2
Ejemplo: Se pide minu( (u (k ) ( x(k ) 2k ) ) ( x(3) 5) ) con = 0.9 y
k 2 2 3 2

sujeto a: x(k 1) x(k ) (k 1)u (k ) x(0) 0 .

V3 ( z ) ( z 5) 2 .
V2 ( z ) minu (u 2 ( z 4) 2 V3 ( z 3u )) . Como esta funcin es u-convexa, el mnimo
global sale de: 0 = 2u 2 ( z 3u 5)3 , i. e., u* = 1.48 0.3 z.
As, V2 ( z ) 1.1 z2 9z + 18.47.
Procediendo de manera similar, se halla que V1 ( z ) min u (u ( z 2) V2 ( z 2u )) =
2 2

min u (u 2 ( z 2) 2 (1.1( z 2u ) 2 9( z 2u ) 18.47)) . El mnimo global es u* =

1.63 0.4 z, por lo que V1 ( z ) 1.2 z 2 3.63 z 4.42 .
Finalmente, V0 (0) min u (u 2 V1 (u )) = min u (u 2 (1.2u 2 3.63u 4.42)) . El
mnimo global es u*(0) = 0.65 y V0(0) = 2.73. Adems, se obtiene que x*(0) = 0, u*(0)
= 0.65, x*(1) = 0.65, u*(1) = 1.37, x*(2) = 3.39, u*(2) = 0.46 y x*(3) = 4.77.
25