Ecuaciones

diferenciales parciales

Optimización, programación dinámica y la

ecuación de Hamilton- Jacobi- Bellman.
 ¿Qué es la optimización?

| En muchas situaciones de la vida cotidiana se busca una forma

adecuada (según nuestras necesidades, restricciones y objetivos),
de abordar un problema de forma que se alcance el objetivo
deseado, de la mejor manera posible. Un ejemplo de esto es
buscar el mejor camino para desplazarse de un punto A a un punto
B dentro de una ciudad. Aquí hay muchas formas de interpretar la
frase “mejor camino”; para algunos, el mejor camino será en el que
se recorra menos tiempo; para otras personas será el de consumo
de menos gasolina, etc.
| Un problema clásico es el problema de la princesa fenicia
Dido y la leyenda de la fundación de
Cartago :

| En este problema se requiere maximizar

el área que se pueda formar con una piel de toro.

| La solución: una circunferencia.

| La optimización es el acto de obtener el mejor resultado
bajo condiciones dadas (fijas).

| El acto de optimizar presenta frecuentemente un

problema matemático de tal forma que se intenta
maximizar o minimizar una cierta función de varias
variables con algunas restricciones impuestas en las
variables mismas; dicha función que representa el criterio
de ejecución del sistema es llamada función objetivo.

| El optimizador tiene bajo control algunas variables a las

que llamaremos variables de decisión. Su problema es el
de encontrar valores para las variables de decisión
considerando las restricciones del problema en cuestión,
y de esa forma poder maximizar o minimizar la función
objetivo

| La secuencia de decisiones que tome el optimizador la

llamaremos política óptima.
| Técnicas de Optimización.

Éstas son algunas técnicas de optimización:

| Método directo de cálculo.

| Método del cálculo diferencial clásico.
| Programación lineal y no lineal.

| El Cálculo de las variaciones.

| Teoría de Control Óptimo.
| Programación Dinámica.
El cálculo de las variaciones.

El Cálculo del as variaciones es un

método analítico clásico de
optimización en donde lo que se
desea minimizar o maximizar es una
funcional del tipo

J = ∫ F [ x, y ( x), y '( x)]dx

Dos aplicaciones del Calc. De las

Var. son: el problema de la
Braquistocrona; el teorema de
Bonnet- Myers (Geom
Riemmaniana).
Teoría de Control Óptimo.
| Muchos fenómenos naturales con una evolución
temporal son modelados con sistemas dinámicos. Las
fuerzas que actúan sobre estos sistema pueden ser
divididas en dos: aquellas que dependen del estado y
del sistema y aquellas que no.

| El proceso de modificar aquellas fuerzas que pueden

ser reguladas para obtener un objetivo deseado es
conocido como proceso de control.

| Problemas en los cuales se seleccionan controles

para optimizar la ejecución del sistema dinámico son
conocidos como problemas de control óptimo.
 | En este caso nuestro problema es el de encontrar un
u ∈U (control) tal que
J = ∫ F [ x, y ( x), u ( x)]dx
Sea máximo o mínimo.

Lo que distingue a los problemas de control óptimo de los del

cálculo de las variaciones es el hecho de que solo podemos
regular el estado del sistema por medio de los controles y no
directamente.

El cálculo de las variaciones estudia fenómenos donde la

naturaleza ya ha hecho el control y la optimización, y nos deja a
nosotros encontrar el estado óptimo.

En el control óptimo se busca manipular las variables de tal forma

que se pueda llegar al estado óptimo.
 Programación dinámica.

| El origen del término programación dinámica tiene muy

poco que ver con el de escribir un código. Richard
Bellman fue el primero en dar esta definición en la
década de 1950, cuando el uso de las computadoras era
muy escaso. En aquella época el término programación
significaba planeación, y la prog dinámica fue
desarrollada para planear óptimamente procesos multi-
etápicos.
 Veamos un ejemplo

Una persona desea desplazarse del punto A

al punto B de la mejor manera posible.

!
¿?
El Principio de Optimalidad.

Una secuencia óptima de decisiones (política óptima)

de un proceso de decisión multi-etápico, tiene la
propiedad de que cualquiera que haya sido el estado
y la decisión inicial, el resto de las decisiones deben
constituir una secuencia de decisiones óptima para
el resto del problema, es decir cualquier subsecuencia
debe ser también óptima.
| Deducción de la Ecuación de HJB.

Veremos que la ecuación de HJ se sigue de manera simple

del principio de optimalidad, en conjunto con el principio de
Hamilton de que una partícula se mueve de forma que
miniimiza el lagrangiano

∫ L(t , x, x ')dx

Sea x, un vector que describe el estado del sistema (x es un

punto en el espacio de configuración) y sea x’ la variable de
decisión que se quiere escoger de manera óptima. Lo que
se busca es transforma el estado (t , x(t )) al (T , x(T ))
de forma que minimice al lagrangiano en T.
| Consideremos la función
T
S (t , x) = min x ∫ L(t , x, x ')dt
t

con S (t , x ) el valor mínimo de la integral del punto (t , x(t ))

a (T , x (T )) .

Luego si partimos el intervalo [t , T ] en [t , t + ∆ ] y [T −∆,T]

la ecuación anterior podrá ser vista como

S (t , x) = min x '(T ) [ L(T , x, x ')∆ + S (T − ∆, x − x ' ∆ ) ]

S (t , x) = min x '(t ) [ L(t , x, x ')∆ + S (t − ∆, x − x ' ∆ ) ]
| En el tiempo t

⎡ ∂S ∂S ⎤
0 = min x ( t ) ⎢ L + x '(t ) +
⎣ ∂x ∂t ⎥⎦
∂L
implica que si definimos a como el momentum P
∂x '
∂L ∂S
=− =P
∂x ' ∂x .

En el tiempo general T,

∂S ∂S
0 = L − x '(T ) − ,
∂x ∂T
∂L ∂S
= = p
∂x ' ∂x
| Definiendo el hamiltoniano

H (T , p, X (T )) como px '(T ) − L

la ecuación anterior se convierte en la EDP de Hamilton-

Jacobi- Bellman

∂S ∂S
0 = H (T , , x(T )) +
∂x ∂T
| La ecuación de HJB es muy importante en la teoría de
control óptimo puesto que es una condición suficiente
para que un control sea óptimo.

| Si podemos resolver HJB entonces podemos encontrar

un control u que alcanza el mínimo.

| Este método también puede ser generalizado al caso

estocástico de gran importancia para las aplicaciones de
teoría de control.