Notas de Clase

Introduccin a la Programacin Dinmica

Pedro Elosegui
Abril 2004
La programacin dinmica es una metodologa para resolver problemas intertemporales, muy utilizado en problemas que incluyen incertidumbre acerca
de valores futuros. Aunque, en este caso nos concentraremos en la solucin de
un problema sin incertidumbre1 .
Supongamos un modelo de AR (agente representativo) que maximiza su
funcin de utilidad intertemporal (con los supuestos usuales) que depende del
consumo (cs ), sujeto a una restriccin presupuestaria que incluye un ingreso
(ys ) y bonos (b s).
(1) Ut =

P1

s=t

s tu(cs )

(2) bs+ 1 = (1 + r)bs + y s cs

1 T
y sujeto a la condicin de transversalidad, lim T !1 ( 1+r
) bt+ T + 1 0

La programacin dinmica supone que existe una ecuacin de valor V (::)(que

puede asumirse diferenciable ba jo ciertas condiciones) comunmente llamada
ecuacin de Bellman, que da el mximo valor de u t sujeto al valor de la riqueza
inicial del agente w t, donde esta riqueza del agente es una ecuacin dinmica
que evoluciona en el tiempo.
El problema de maximizacin intertemporal puede plantearse como un problema recursivo que involucra a la ecuacin de Bellman. Como el agente selecciona una asignacin de consumos para todo el sendero temporal, la seleccin
de ct debe maximizar Ut+1 teniendo en cuenta el efecto de ct sobre w t+1 .
El comportamiento futuro del agente debe ser compatible con la maximizacin de sus planes intertemporales, entonces Ut = u(C t )+ V (wt+1 ), donde
V (w t+1 ) es el plan ptimo dado wt+1 . Este ejercicio se repite cada perodo dentro del sendero ptimo. Entonces la ecuacin de Bellman se caracteriza como:
1 Ver

Obstfeld y Rogo (1998). Foundations of International Macroeconomics. Pag. 718.

(3) V (wt ) = maxc t fu(ct ) + V (w t+1 )g

sujeto a (4) wt+1 = F (w t ; ct )
La solucin implica una condicin de primer orden respecto de la variable
de control (Ct ), de las cules se derivan las condiciones de maximizacin intra
e intertemporalesusuales. En este caso,
(5) u0 (ct ) + V w (wt+1 ) = 0
y se utiliza el auxilio del Teorema del Envolvente, u0 (C) = V w (w), el efecto
de un cambio marginal en la riqueza genera el mismo efecto sobre la utilidad
intertemporal del agente sin importar si se trata de un cambio en el econsumo
y/o en el ahorro, esta condicin es igual a la interpretacin del multiplicador
lagrangiano en el problema de maximizacin restringida ms usual.
Note que la particin que surge a partir del planteo de la ecuacin de Bellman facilita la solucin y la intuicin en modelos que incluyen incertidumbre, ya
que en tal caso la incertidumbre estar restringida a la funcin de valor correspondiente al perodo t+ 1 (claramente no hay incertidumbre en t) y el problema
se vuelve lineal y puede llegar a simplicarse. No obstante, la solucin de un
problema utilizando ecuacin de Bellman es ms un arte que una ciencia, en muchos casos problemas simples se pueden resolver de forma recursiva empezando
desde el T nal, en otros casos la funcin de valor no puede ser determinada
unvocamente. No obstante, para nuestro objetivo, la resolucin de ejercicios
simples nos permite captar la idea intuitiva detrs del mtodo de resolucin de
programacin de Bellman.Veremos dos aplicaciones, una corresponde a la solucin del ejercicio ya planteado y otra corresponde a un problema de dinero en
la funcin de utilidad.
Para el ejemplo que planteamos al inicio, denimos la riqueza del agente
a partir del valor presente de los ingresos futuros del agente ms los bonos
acumulados hasta el perodo:

(6) wt+1 = (1 + r)bt+1 +

P1

1
s( t+1)
ys
s=t+1 ( 1+r )

Note que la serie de valor presente del ingreso se puede descomponer de la

siguiente manera:
P
1
s( t+1)
1
1
(7) 1
ys = yt+ 1 + ( 1+r
)yt+ 2 + ( 1+r
)2 yt+ 3 + :::: =
s=t+1 ( 1+r )
P1
1
1+r
1+r
1+r
st
= (1 + r) s=t+1 ( 1+ r ) ys = ( 1+r )yt+1 + ( (1+r)2 )y t+2 + ( (1+r
)y t+3 + :::::
)3
y de la restriccin presupuestaria (2) sabemos que b t+1 = (1 + r)b t + y t ct
2

reemplazando nos queda,

(8) wt+1 = (1 + r)((1 + r)b t + yt ct ) +

P1

1
s(t+1)y
s
s=t+ 1 ( 1+r )

(9) wt+1 = (1 + r)((1 + r)b t + yt ct ) + (1 + r)

Note que,

P1

1 s t
ys
s=t+1 ( 1+ r )

P1
P1
1 s t
(10) (1 + r)yt + (1 + r) s=t+1 ( 1+1 r ) st ys = (1 + r) s=t ( 1+r
) ys =
1+r
(1 + r)yt + ( 1+r )y t+1 + :::
Entonces podemos agrupar,
(11) w t+1 = (1 + r)((1 + r)b t +

P1

1
st
ys
s=t( 1+r )

ct))

Por lo tanto, la restriccin presupuestaria reeja el sendero intertemporal de

la evolucin de la riqueza del agente:
(12) w t+1 = (1 + r)(w t ct)
Nuestro ejercicio ser entonces,
(13) V (w t) = maxc t fu(ct ) + V (w t+1 )g
sujeto a (12) w t+1 = (1 + r)(w t ct )
La condicin de primer orden es,
(14) u0 (ct ) (1 + r) Vw (w t+1 ) = 0
que usando el teorema de la envolvente, (15) u 0(c) = V w (w)
se transforma en la conocida condicin de optimalidad intertemporal del
consumo o ecuacin de Euler:
(16) u 0 (ct) (1 + r)u 0 (ct+1 ) = 0

Dinero en la funcin de utilidad

Introducir el dinero en un modelo de equilibrio general con agente representativo genera ciertas dicultades. Una de las caractersticas del dinero esta
dado por el hecho de que no paga tasa de inters. Por esta razn el dinero es
dominado en trminos de retorno por otros activos (i.e. bonos) que pagan una
tasa de inters. No obstante, a pesar del costo que insume su tenencia existe una
demanda positiva de dinero. Al analizar el dinero en un modelo de equilibrio
3

general debemos tener en cuenta que la presencia de este costo de oportunidad

genera que ningn agente racional que maximiza su utilidad esperada, dependiente del consumo, quiera tener dinero en su poder, salvo que se lo obligue a
tener dinero a travs de algn mecanismo adicional.
Utilizando la restriccin presupuestaria podemos mostrar claramente el costo
de oportunidad de tener dinero. Supongamos que el agente recibe una transferencia t de dinero de parte del gobierno, adems recibe un ingreso yt , consume
ct y tiene acceso a dos tipos de activos, uno llamado bono bt que paga una tasa
de inters Rt ( que suponemos constante para simplicar), y otro llamado dinero
m t que no paga tasa de inters. Suponemos que todas las variables estn expresadas en trminos reales, con el nivel de precios esta dado por p t. La restriccin
presupuestaria del agente en el perodo t esta dada por:
(1) yt + t +

m t1
1+ t

+ b t1 (1 + R) = ct + mt + b t

La ecuacin (1) muestra los ingresos, ms las tenencias de bonos y dinero

del perodo anterior (con los respectivos intereses) y los usos, consumo del
perodo, bonos y tenencias de dinero. Note adems, que en trminos reales
Mt1
Mt1 Pt1
m t1
mt1
t
= 1+
con 1 + t = ppt1
.
Pt =
Pt Pt1 = pt
t
pt1

En t + 1 la restriccin (1) se transforma en (2),

(2)y t+1 + t+1 +

mt
1+ t+1

+ bt (1 + R) = ct+1 + m t+1 + b t+1

Despejando bt y reemplazando en (1),

t+1
(3) y t + y1+R
+ t +

t+1
+ 1+R
+

b t+1
1+R

t+1
1+R

t1
+m
+ b t1 (1 + R) = ct +
1+t

c t+1
1+R

R+t+1
mt
1+ t+1 1+R

La ecuacin (3) muestra por un lado el valor presente al perodo t de los

ingresos del agente, incluyendo su dotacin inicial de bonos y dinero, mientras
que del lado derecho muestra el valor presente del consumo del agente ms el
valor presente de las tenencias futuras de dinero y bonos. Se observa tambin un
trmino que muestra el costo de oportunidad en trminos de la tasa de inters
perdida debido a la tenencia de dinero en lugar de bonos.
Podemos seguir iterando para calcular la restriccin presupuestaria en valor
presente:
P1
P1
yt
t
(4) t=0 (1+R)
t +
t=0 (1+R)t +
P1
R+
mt
t+1
+ t=0 1+ t+1
(1+R)t 1+R

mt1
1+t

+ b t1 (1 + R) =

P1

ct
t=0 ( 1+R)t

En esta restriccin estamos haciendo dos supuestos usuales que tienen que
ver con condiciones de solvencia. cuales son?
4

Una manera razonable de justicar la demanda de dinero para realizar

transacciones radica en la idea de que tener dinero en efectivo ahorra tiempo, hay
que ir menos veces al ca jero automtico generando menores costos de transaccin, y un mayor nivel de utilidad (?). Quizs una persona puede de esta forma
ahorrar tiempo, disfrutando ms libremente del tiempo de ocio mientras hace
compras. A un economista argentino se le ocurri postular la idea de incluir el
dinero en la funcin de utilidad, desde entonces este modelo se conoce como el
Modelo de Sidrauski (ver Blanchard y Fisher, cap 4). La funcin de utilidad
estar dada por:
(5) U(ct ; mt )
con m t =
Um > 0 (?).

Mt
Pt

y los supuestos usuales,Uc > 0; Ucc < 0 , junto con el supuesto

Problema de optimizacin del agente representativo,

(6) M ax (c t;m t;b t)

P1

t= 0

t U(ct ; mt )

sujeto a la restriccin presupuestaria (1) o en su defecto (4), recuerde que

(4) es la versin en valor presente de (1). Veremos la resolucin del modelo por
el Mtodo de Optimizacin Dinmica y luego por el Mtodo de Lagrange como
ejercicio.
A. Resolucin por Ecuacin de Bellman 2 :
(7) M ax (c t;m t;b t)

P1

t=0

sujeto a (8) yt + t +
(9) wt = yt + t +

tU (ct ; m t )
m t1
1+ t

m t1
1+ t

+ bt 1 (1 + R) = ct + mt + b t

+ bt 1 (1 + R) = ct + mt + b t

(10) b t = w t mt ct
La ecuacin de Bellman est dada por:
(11) V (w t) = max(c t;m t;b t )fu(ct ; m t) + V (wt+ 1 )g
sujeto a,
mt
(12) w t+1 = yt+1 + t+ 1 + 1+
+ b t+1 (1 + R)
t+1

Podemos reemplazar wt+1 y b t = w t mt ct en la ecuacin de Bellman:

(13)
2 Esta seccin puede ampliarse viendo el cap.2 de Carl E. Walsh (2001). Monetary Theory
and Policy.

V (w t) = max(c t;m t) fu(ct ; mt ) + V (y t+1 + t+ 1 +

ct ) (1 + R))g

mt
1+ t+1

+ (wt mt

Condiciones de primer rden, respecto a ct y mt :

(14) u c (ct ; mt ) V w(wt+1 ) (1 + R) = 0
(15) u m (ct ; mt ) V w(w t+1 ) 1+1t+1 + V w(w t+1 ) (1 + R) = 0
Condiciones de solvencia intertemporal: (16) limt!1 t tx t = 0
con xt = bt ; m t
Por el Teorema de la Envolvente: (17) t = u c (ct ; m t) = V w(wt )
Reemplazando (14) en (15),
(18) u m (ct ; mt ) u c (ct+ 1 ; m t+1 ) 1+1t+1 + uc (ct+1 ; mt+ 1 ) (1 + R) = 0
Donde la utilidad marginal del dinero iguala a la utilidad marginal del consumo considernado el costo en trminos de utilidad que se paga como consecuencia del costo de oportunidad de tener dinero medido en trminos de utiles
de consumo.
Usando la condicin que surge del Teorema de la Envolvente, t+ 1 = u c (ct+1 ; m t+1 ) =
V w(w t+1 ), reemplazando en la condicin de primer orden:
(19) u c (ct ; mt ) uc (ct+1 ; mt+ 1 ) (1 + R) = 0
De aqui surge la Ecuacin de Euler o condicin de optimalidad intertemporal
(interprete..):
(20)

u c (ct ;mt )
uc (c t+1;mt+1)

= (1 + R)

De la ecuacin (18), dividiendo por uc (ct; m t ), surge la condicin de optimalidad intratemporal (por que?):
(c t;m t)
t+1 ;m t+1 )
t+1 ;mt+1 )
(21) uum
1+ 1t+1 uc (c
+ (1 + R) uc (c
=0
u c (c t;m t)
u c (ct ;mt )
c (c t; mt)
(22)

um (c t;m t)
uc (c t; mt)

1
= ( 1+1t+1 ) (1+R)
1 = 1 1+1t+1

1
(1+R)

it
1+i t

Donde i t = Rt + t+1 es la tasa de inters nominal. De esta condicin se

deriva la demanda de dinero, que depende positivamente del consumo y negativamente de la tasa de inters nominal. Podemos probar con una funcin de
utilidad aditiva y separable como u(ct; m t ) = ln ct + ln mt
B. Resolucin por Mtodo de Lagrange:
La maximizacin intertemporal sujeta a la restriccin presupuestaria expresada en trminos del valor presente:
6

(1) L =
P1
t=0

P1

P1
P1
mt1
t
yt
t
t=0 U (c t; m t )+(
t=0 (1+ R)t +
t=0 (1+ R)t + 1+t +b t1
P
1
R+ t+1
ct
mt
(1+R) t
t=0 1+ t+1 (1+R)t 1+R )

(1 + R)

Note que al utilizar la restriccin en valor presente slo requerimos un ya

que se trata de slo una restriccin.
Las condiciones de primer orden son:
1
(2) Lc = t uc (ct; m t ) (1+R)
t = 0

(3) Lm = tu m (ct ; mt ) 1+ t+11( 1+R)t

R+ t+1
1+R

=0

t+1
1
1
De (1) surge, tu c (ct ; m t) = ( 1+R)
uc (ct+1 ; mt+1 ) = (1+R)
t , entonces
t+1 ,
de donde,
t u (c ;m )

t
t
1
(4) t+1uc (cct+1
= (1+R)
t
;m t+1)

(1+R)t+1

= (1 + R)

Condicin intertemporal:
u ( c ;m )

(5) uc (cct+1t ;mtt+1) = (1 + R)

Esta es la usual condicin de Euler. Donde R es la tasa de inters real.
Evaluando (2) en t e igualando con (3),
(6) t um (ct ; mt ) =

R+t+1 t
1
1+ t+1 1+R u c (ct ; m t)

Condicin intratemporal:
(7)

u m( ct ;mt )
uc ( ct ;mt )

R+t+1
1
1+ t+1 1+ R

it
1+ it

De la condicin (7) surge que la demanda de dinero depende del nivel de

consumo (o ingreso) y de la tasa de inters nominal.
it
Por lo tanto(8) m d = u1
m ( 1+ it u c (ct ; m t))