Economa Matemtica - Notas de clases - Control ptimo

1
Nota de clase elaborada para la ctedra Economa Matemtica
Tema: Control Optimo
Referencias: Alpha Chiang, Elements of Dynamics Optimisation, Captulos 7 y 8.
Juan Ignacio Uro
Control ptimo
El clculo variacional, el mtodo clsico para resolver problemas de optimizacin dinmica, al igual que el
clculo de optimizacin ordinaria, requiere para su aplicacin la diferenciabilidad de las funciones que entran
en el problema. Es ms, slo pueden ser tratados aquellos problemas con soluciones interiores.
Una tcnica ms moderna que puede tratar las soluciones de esquinas es la teora del control ptimo. Como lo
dice su nombre, el control ptimo es un mtodo de optimizacin dinmica que se focaliza en una o ms
variables de control que sirven como instrumento de optimizacin. En clculo variacional la motivacin era
encontrar el sendero optimo para una variable de estado; por su parte, en control ptimo se intenta determinar
un sendero ptimo para una variable de control u; por su puesto, una vez que encontramos el sendero ptimo
para la variable de control u*(t), tambien hallaremos el sendero ptimo para la variable de estado y*(t). De
hecho, los senderos optimos para u*(t) y y*(t) se hallan en el mismo proceso.
Para que una variable califique como variable de control debe poseer dos propiedades:
1. Debe ser algo que se encuentre sujeto a nuestra eleccin.
2. Nuestra eleccin sobre la variable de control debe influir en alguna variable de estado.
En la forma funcional pueden entrar las variables de control y las de estados. Las variables de estado pueden
depender no slo de la variable de control sino tambin de otras variables de estado o de la misma variable
tiempo.
Caractersticas especiales de los problemas de control ptimo
En primer lugar en los problemas de control ptimo, la variable de control no necesariamente debe ser
continua para ser admitida. La variable de control puede dar saltos pero no puede saltar hacia un valor
infinito.
Por su parte la variable de estado debe ser continua en el intervalo [0,T], es decir que no puede saltar, pero se
le permite que posea puntos en los cuales no sea diferenciable.
Otra caracterstica de control ptimo es que es capaz de manejar aquellos problemas donde la variable de
control esta sujeta a alguna restriccin. Por ultimo los porblemas de control ptimo poseen la ventaja de que
tienen un punto terminal libre.
Un problema tpico de control optimo es maximizar o minimizar:
1)

T
dt t u t y t F V
0
)). ( ), ( , (
sujeto a las restriciones:
2) ) , , ( u y t f y &
3)
A y ) 0 (
4)
libre T y ) (
Economa Matemtica - Notas de clases - Control ptimo
2
5) [ ] T t t u , 0 , ) (
donde A, Z y T vienen dadas.
La funcin objetivo aun tiene la forma de una integral definida pero ahora no esta el argumento y& como en el
calculo variacional. En su lugar hay un nuevo argumento que es la variable u. La presencia de la variable de
control u necesita que se establezca una relacin entre dicha variable y la variable y para decirnos como la
variable de control u afecta a la variable de estado y. Esta informacin esta contenida en (6)
6) ) , , ( u y t f y &
Lo que hace y& es proveer un mecanismo donde nuestra eleccin de la variable de control pueda ser
transladada a un patrn especfico de movimiento de la variable de estado y. Es por esta razn que a
a menudo se la llame ecuacin de movimiento para la variable de estado.
El principio del mximo
El resultado ms importante de la teora de control ptimo es el principio del maximo de Pontryagin. Dicho
principio envuelve conceptos tales como la funcin hamiltoniana y la variable de coestado.
Hasta ahora tenamos tres tipos de variables: t (tiempo), y (variable de estado), u (variable de control). Ahora
hacemos emerger una variable auxiliar (la variable de coestado) denotada como (la cual es similar al
multiplicador de Lagrange) y que mide el precio sombra de la variable de estado asociada. Al igual que y y u,
la variable puede tomar distintos valores en el tiempo por lo que en realidad definimos =(t). La manera
como entra en el problema de control optimo es a travs de la funcin hamiltoniana (llamada generalmente
Hamiltoniano) y que presentamos en (7):
7)
) , , ( ). ( ) , , ( ) , , , ( u y t f t u y t F u y t H +
Contrariamente al clculo variacional donde la ecuacin de Euler es una ecuacion diferencial de segundo
orden en la variable de estado y, el principio del mximo envuelve dos ecuaciones diferenciales de primer
orden en la variable de estado y y en la de coestado . Ademas el hamiltoniano debe ser maximizado respecto
a la variable de control u en cada momento del tiempo.
Las condiciones del principio del mximo para el problema son:
8)

H
y&
, Ecuacin de movimiento para y
9)
y
H

& , Ecuacin de movimiento para
10) 0 ) ( T , Condicin de transversalidad
Se podra pensar en un principio que tambin se debera imponer una condicin que establezca
0

u
H
,
pero en realidad esto debera cumplirse slo si hay una solucin interior. Si hay una solucin de esquina
puede no cumplirse dicha condicin en el ptimo. Adems bajo el principio del mximo el Hamiltoniano no
necesariamente debe ser diferenciable respecto a u.
Economa Matemtica - Notas de clases - Control ptimo
3
Racionalidad del principio del mximo
Para simplificar un poco las cosas supongamos que la variable de control u no esta restringida, por lo cual u*
es una solucion interior. Tambien supongamos que el hamiltoniano es diferenciable con respecto a u. De esta
manera un problema de control ptimo queda definido por:
11) Maximizar

T
dt t u t y t F V
0
)). ( ), ( , (
sujeto a:
12) ) , , ( u y t f y &
y
13)
0
) 0 ( y y
A continuacin incorporaremos la ecuacin de movimiento (12) en la funcin objetivo (11) y reexpresaremos
la funcin objetivo como un hamiltoniano.
Si la variable y se comporta a travs de la ecuacin de movimiento ) , , ( u y t f y & , entonces podemos
reexpresar la misma como 0 ) , , ( y u y t f & para todo [ ] T t , 0 . Usando las nociones que tenemos de los
multiplicadores de Lagrange podemos forma una expresin de la forma
[ ]
( ). ( , , ) & t f t y u y que vale cero
en todo momento de t para todo [ ] T t , 0 . Si sumamos todos los valores de dicha expresin en todos los
momentos [ ] T t , 0 tambin dara cero como se puede ver en (14):
14)
[ ] 0 . ) , , ( ). (
0

dt y u y t f t
T
&
De esta manera podemos expresar todo en una funcin:
15)
[ ] Z V t f t y u y dt
T
+

( ) . ( , , ) & .
0
y nada cambia, puesto que Z es igual a V mientras la ecuacin de movimiento se cumpla.
16)
[ ] [ ]
Z F t y u t f t y u y dt
T
+

( , , ) ( ). ( , , ) & .
0
Si definimos al hamiltoniano como:
17) ) , , ( ). ( ) , , ( ) , , , ( u y t f t u y t F u y t H +
y lo incorporamos a (16) nos queda:
18)
[ ]dt y t u y t H Z
T
. ). ( ) , , , (
0

&
que podemos reexpresar como:
19)


T T
dt y t dt u y t H Z
0 0
. ). ( ). , , , ( &
Si efectuamos la integral por partes del segundo miembro del lado derecho de (19):
20)
+ + +

( ). &. ( ). ( ) ( ).
&
. ( ). ( ) ( ). ( ) ( ).
&
. t y dt t y t y t dt T y T y y t dt
T
T T T
0
0 0 0
0 0
Economa Matemtica - Notas de clases - Control ptimo
4
y la incorporamos en (19) nos queda:
21)
[ ]
Z H t y u dt y t dt T y T y
T
+ +

( , , , ). ( ).
&
. ( ). ( ) ( ). ( ) 0 0
0
Como se puede ver el primer miembro de (21) involucra a todo el perodo t, mientras que el segundo miembro
slo concierne al momento final y el tercer miembro al momento inicial.
El valor de la variable Z depender de los senderos elegidos para las tres varaibles de eleccin que son y, u y
y tambin para los valores elegidos de T e y(T)
Primero observemos qu sucede con la variable : al ser un multiplicador de Lagrange difiere de u e y en
que la eleccin del sendero para ( ) t no produce ningn efecto en el valor de Z mientras que se cumpla la
ecuacin de movimiento ) , , ( u y t f y & , es decir mientras que se cumpla:
22)

H
y&
,
[ ] T t , 0
que justamente es una de las condiciones que impone el principio del mximo (vr la ecuacin (8)). Como
vemos, si se cumple (22) nos olvidamos de ( ) t y de su efecto en Z.
Ahora consideremos el sendero u(t) y su influencia en y(t). Sabemos que existe un u*(t) que es ptimo tal que
se cumple:
23) u(t) = u*(t) + E.p(t)
De acuerdo a la ecuacin de movimiento ) , , ( u y t f y & para cada E existir una perturbacin en y*(t). Por
lo tanto podemos escribir:
24) y(t) = y*(t) + E.q(t)
Como T e y(T) tambin son variables podemos expresarlas como:
25) T T E T + * .
26)
y T y T E y T ( ) * ( ) . ( ) +
Ahora bien, podemos expresar Z como funcin de E.
27)
) 0 ( ). 0 ( ) ( ). ( )]}. ( . * [ ] ), ( . ) ( * ), ( . ) ( * , [ {
) (
0
y T y T dt t q E y t p E t u t q E t y t H Z
E T
+ + + + +

&
y derivar Z respecto a E para encontrar el ptimo para Z.
28)
[ ] 0 .
) (
). (
) (
). ( . . . . . .
) (
0

+ +

'

+
1
]
1

E
T
T
T
T y
E
T y
T
E
T
y H dt
E
y
E
u
u
H
E
y
y
H
E
Z
T t
E T

& &
Desarrollando un poco (28) se puede llegar a (29):
29)

Z
E
H
y
q t
H
u
p t q t dt H T T y T T T y T T y T T
t T
T
+

1
]
1
+

'

+ + +

. ( ) . ( )
&
. ( ) .
&
( ). ( ). ( ). ( )
&
( ). ( ). 0
0
Economa Matemtica - Notas de clases - Control ptimo
5
Simplificando de (29) el tercer y el quinto trmino llegamos a:
30)

Z
E
H
y
q t
H
u
p t q t dt H T T y T
t T
T
+

1
]
1
+

'

+ +

. ( ) . ( )
&
. ( ) . ( ). ( ) 0
0
Por ltimo, agrupando los trminos que tienen q(t) nos queda:
31)

Z
E
H
y
q t
H
u
p t dt H T T y T
t T
T
+

1
]
1
+

'

+

&
.. ( ) . ( ) . ( ). ( ) 0
0
De (31) los tres trminos de la derivada tienen variables o senderos arbitrarios. El primer trmino tiene como
senderos arbitrarios a q(t) y a p(t), el segundo trmino tiene como arbitrario a T y por ltimo el tercer
trmino tiene como arbitrario a
y T ( )
, por lo tanto el resto de los componentes de cada trmino debe ser
cero para que los tres trminos se anulen y la derivada de Z respecto a E sea igual a cero. Esto significa que se
debe cumplir las siguientes condiciones:
32)
&

H
y
, la cual es la ecuacin de movimiento para la varaible de coestado
33)

H
u
0
, condicin de primer orden si u es diferenciable y posee solucin interior.
Como T esta fijo y y(T) es arbitraria, T =0 pero y T ( ) no. Por lo tanto para que se cumpla
( ). ( ) T y T 0 entonces , la cual es la condicin de transversalidad.
Disgresin: el hamiltoniano en valor presente versus el hamiltoniano en valor
corriente
En economa generalmente las funciones objetivo presentan un factor de descuento e
t
, es decir que
F t y u G t y u e
t
( , , ) ( , , ).

. De esta manera el problema de control ptimo nos queda planteado de la
siguiente manera:
34)
Max V G t y u e dt
st y f t y u
t
T

( , , ). .
. & ( , , )

0
De esta manera el hamiltoniano (en valor presente) nos queda planteado como:
35) H G t y u e f t y u
t
+

( , , ). . ( , , )

Como el trmino e
t
agrega complejidad a las derivadas conviene definir un nuevo hamiltoniano que este
libre de dicho factor de descuento. Para esto se usa el hamiltoniano en valor corriente que se define de la
siguiente manera:
36)
[ ]
H G t y u f t y u e
t
+

( , , ). . ( , , )

donde

. e
t
.