INTRODUO

Assim como no caso da Otimizao Linear e Otimizao no Linear, a Otimizao de

Sistemas Dinmicos precisa de uma funo custo ou ndice de desempenho a ser
maximizado ou minimizado. A diferena nesse caso que, as restries que na
otimizao linear so retas e na otimizao no linear so funes no lineares, aqui
sero equaes diferenciais. Essa no apenas uma diferena, mas um enorme
complicador. Todos os mtodos sero diferentes, as formas de resolver, os tipos de
resoluo, as condies de existncia e inclusive os mtodos numricos de resoluo.
At bem pouco tempo atrs, os mtodos numricos existentes eram bem limitados e
conseguiam resolver verses muito simples de problemas reais. Mesmo o caso do pouso
na Lua foi bastante simplificado com aproximaes lineares das equaes diferenciais
para possibilitar a resoluo.
O inicio de tudo se baseia no conhecimento da dinmica que est envolvida no
problema a ser minimizado, ou seja, quais as leis de movimento que regem o problema.
Essa dinmica, representada por equao diferencial define o estado do sistema e por
isso so conhecidas como equaes de estado.

No caso de simulao de sistemas dinmicos, apenas a equao acima e as

condies iniciais seriam suficientes. Basta apenas fazer a integrao analtica ou
numrica usando Ruge-Kutta e tem-se uma certa "previso" de onde o sistema estar no
futuro. Mas para o caso de otimizao, deseja-se no somente saber onde o sistema
estar no futuro, mas sim onde estar de forma tima. A otimizao depender sobretudo,
da ao externa u(t) conhecida como controle. Essa ao que deve direcionar o sistema
e com regras e leis matemticas previamente calculadas, direcionar o sistema de forma
a maximizar a funo custo ou minimizar a funo custo, dependendo do que se deseja
resolver. Se fosse desejado apenas que no final do percurso do sistema, o custo fosse
mnimo ou mximo, a forma da funo custo tambm conhecida como ndice de
desempenho ou ndice de performance seria:

Mas a melhor forma de otimizao aquela onde um sistema inteligente minimiza

toda a trajetria do incio ao fim. Ento se deseja que no somente o valor da funo custo
seja timo no fim mas na soma de todo percurso. Essa soma em sistemas contnuos se
traduz como integral, pois os passos so infinitesimais. Logo, a funo custo ou ndice de
desempenho dever ter a forma:

Imagine o seguinte exemplo:

Um motorista deseja sair de sua casa num certo horrio (t=0 para zerar o cronmetro
do carro) e tem hora certa para chegar ao seu trabalho (T = tf, tempo final do percurso).
Sabemos da lei de Newton que fora = massa x acelerao, ou F=m.a. Do clculo
sabemos que acelerao na verdade a derivada segunda do espao a ser percorrido em
relao ao tempo. Ento a lei de Newton pode ser expressa pela frmula

onde x varia no tempo { na verdade o correto x(t) } e representa o espao a ser percorrido.
A ao F/m vai representar a acelerao ou desacelerao, ou ainda uma composio
das duas. Por exemplo, a fora F pode ser F = acelerao + freio + atrito + vento +... enfim,
pode ser cada vez mais sofisticada. Ento nosso motorista pode escolher a cada dia o que
deseja fazer conforme os compromissos de sua agenda. Por exemplo, ele pode desejar
chegar ao trabalho o mais rpido possvel (tempo mnimo), se o combustvel for pouco em
seu tanque ele pode desejar economizar combustvel (energia mnima), pode desejar um
caminho mais curto (distncia mnima), pode querer aumentar o rendimento do
combustvel (maximizar energia), enfim, dependendo de sua escolha a funo custo deve
ser alterada.
Por exemplo, se o motorista desejar mnimo tempo de percurso o problema matemtico
ter a seguinte forma padro:

sujeito a

com as condies de contorno

 Condies de contorno significam condies onde o sistema dinmico deve comear
e onde ele deve terminar. Essas condies so diferentes de sistemas apenas com a
condio inicial, pois a lei de controle timo u(t) quem vai guiar o sistema para obedecer
as condies estabelecidas. Por isso esse problema tambm conhecido como problema
de valor de contorno em dois pontos ou em ingls TPBVP(two point boundary value
problem).
Alm da modelagem dinmica ser um problema para os pesquisadores, a elaborao do
tipo de ndice a ser otimizado outro problema que deve ser formalizado antes da
resoluo.
ndice para problemas de tempo mnimo

Nesse caso esse ndice mede o tempo mnimo, pois a integrao fornece como resultado
final J=tf - t0, que exatamente o intervalo de tempo a ser percorrido pelo sistema
dinmico. Como o tempo final livre e depende da lei de controle, conforme o controle vai
sendo utilizado pelo sistema dinmico, a funo custo vai sendo medida para encontrar a
menor trajetria possvel.
Problemas de erro mnimo

Este um tipo ndice que calcula os desvios da trajetria x(t) em relao a uma trajetria
pr-definida e que deve ser seguida. Como est elevado ao quadrado, essa penalizao
obriga o sistema dinmico a buscar a maior proximidade possvel com a trajetria de
referncia. Essa trajetria de referncia pode ser constante ou variar no tempo.
Problemas de energia mnima
Essa funo custo obriga o sistema dinmico a usar o mnimo de controle, visto que est
ao quadrado e dentro da integral. Se o controle no tiver restrio alguma, a soluo nesse
caso conhecida { u(t) = 0 }. Se o controle tiver restrio, a restrio ser o menor valor e
dever ser usado no intervalo todo.
Problemas de energia mnima com referncia a ser seguida

O mesmo caso anterior, mas agora a energia utilizada pelo sistema deve seguir uma
energia de referncia. POr exemplo um estabilizador de energia que deve manter a
voltagem sempre em torno do ideal de um equipamento pode utilizar esse tipo de funo
custo.
Problemas com funo custo no linear

Muitas vezes temos um funcional prprio do sistema dinmico, no linear que pode conter
senos, cossenos, equaes polinomiais envolvendo o estado x(t) e o controle u(t). Ento
essa funo deve entrar na funo custo para ser calculada ao longo da trajetria.
Problemas com regulador linear quadrtico (LQR)

Essa funo custo muito utilizada quando se deseja regular o estado x(t), o controle u(t)
e o estado final x(tf). Quando se deseja obrigar o estado a seguir de perto a trajetria "b",
o peso Q deve ser o maior de todos. Quando se desejar fazer o controle seguir de perto a
referncia "c", ento R deve ser maior de todos. Esses valores, quando altos significam
deixar estados e controles mais "caros" ao longo da trajetria. Assim, sendo caros, o
sistema dinmico vai utilizar o estado com distncia mnima da referncia "b" e o controle
o mnimo possvel, ou o mais perto possvel de "c". Se desejar obrigar o sistema a cumprir
o estado final "a" a qualquer custo, basta aumetar o "preo" a pagar por isso, subindo o
valor de P.
Uma vez definido e escolhido o ndice de performance a ser minimizado ou maximizado
e a dinmica do sistema envolvido, deve-se abordar sob quais condies o controle deve
atuar sobre esse sistema de forma a satisfazer as condies iniciais e finais. Definir essa
lei de controle, significa criar regras sobre o conjunto de controle admssiveis exsitentes
sob a dinmica envolvida. O conjunto dos controles admissveis {normalmente
representado pela letra maiscula U}, o conjunto de todos os possveis controles u(t)
com t<=Tempo final de forma a satisfazer esses valores de contorno do sistema dinmico.
Mas qual o melhor?
O melhor controle u*(t) dentre todos os admissveis aquele que no somente
provoca o melhor valor total do ndice de performance J. O melhor controle u*(t) aquele
sob o qual a funo Hamiltoniana seja constante sob todo o intervalo. A funo
Hamiltoniana emprestada da fsica uma forma de medida de energia do sistema
dinmico. Conhecido como princpio de mximo { ou de mnimo} de Pontryaguin
estabelece que o melhor controle dentro do conjunto de todos os admissveis aquele
onde o valor da funo Hamilotniana para esses controles timos u*(t) o menor dentre
todos os u(t) e ainda, essa atuao externa de u*(t) faz com que a Hamiltoniana seja
constante.
Ou seja, em termos matemticos, queremos que a forma de atuao externa ao
sistema dinmico no introduza "nova energia" e esse valor satisfaa

onde a condio de no variabilidade da Hamiltoniana significa, em termos

matemticos, que esse controle deve manter a variabilidade nula, ou ,

essas condies provocam regras para se encontrar o controle timo, mas so

condies apenas necessrias. Ou seja, um sistema pode satisfazer as regras
necessrias, mas mesmo assim, o controle encontrado pode no ser timo. Para isso
devem-se fazer uso de condies suficientes para a garantia de que o controle
encontrado seja timo. Essas condies suficientes so mais rgidas e devem garantir que
numa regio fechada em torno dos controles admissveis, a norma {medida entre o estado
e controle dentro de todo intervalo t<=T} seja limitada, ou ainda

E quem a funo Hamiltoniana?

A funo Hamiltoniana como se fosse a funo Lagrangeana da otimizao no linear,
onde so criados os multiplicadores de Lagrange para se expandir a funo custo e
encontrar o timo dessa funo expandida. No caso em questo, a funo se torna
diferente pois os vnculos dessa nova funo no so estticos, mas baseados nas
equaes diferenciais. Ento, a funo Hamiltoniana definida como

onde "g" e "f" advm do ndice de performance e da dinmica respectivamente, ou seja,

Toda a gerao das condies necessrias ao controle timo, advm do clculo

variacional e demandam um bom tempo e precioso entendimento da gerao das
mesmas, que podem ser resumidos da seguinte forma.
CONDIES NECESSRIAS PARA OTIMIZAO DE SISTEMAS DINMICOS
Para minimizar (maximizar) o ndice de performance

sujeito a dinmica

deve-se criar a funo Hamiltoniana de forma a satisfazer

e ainda as condies conhecidas como transversalidades

Quando se pensa na otimizao de sistemas dinmicos, deve-se saber antes que existem
duas formas de control-lo. Os controladores em malha aberta (open-loop) so
controladores em que no existem medidas ao longo do percurso do sistema dinmico. O
sistema no possui sensor para corrigir possveis desvios e uma vez longe da trajetria de
referncia que seria tima, o sistema no retorna mais, desde que as condies tenha
conduzido o sistema para a parte instvel do plano de fase.
Exemplo de sistemas assim so as mquinas de lavar roupa, lavar loua, lavar carro,
foguetes com combustvel slido, rojes, hiper-inflao, etc. O esquema para esses tipos
de controladores o seguinte:

J os controladores em malha-fechada (closed-loop) possuem sensores de medida e

em sua realimentao corrigem possveis desvios da trajetria do sistema. Se
implementados em termos de controle timo, corrigem a trajetria economizando tempo,
energia, combustvel, dependendo do que se deseja para esses controladores.
Tipos de controladores em malha fechada so a geladeira, o sistema de injeo de
automvel flex, o piloto automtico de automveis e avies, a maioria dos robs, foguetes
com combustvel lquido, etc. O esquema nesse caso o seguinte:
 Qual dos dois tipos de controle so melhores? Em termos de sistemas determinsticos
(sem perturbao ou rudos) os dois tipos de sistemas so equivalentes aplicando as leis
de controle timo. No caso estocstico, ou seja, quando ocorrem perturbaes ao longo
da trajetria, o sistema em malha fechada melhor, pois corrige a trajetria para que as
variveis no entrem no parte instvel do sistema.
Um timo controlador em malha fechada pode ser quando projetado pelo regulador
LQR, onde se deseja mnimos desvios no estado e no controle. A lei obtida por esse ndice
de performance fecha a malha do sistema dinmico de modo a tornar o mesmo estvel.

Ao contrrio da otimizao linear que possui um mtodo numrico e os casos sempre se

resumem a poucas situaes diferentes, a otimizao em sistemas dinmicos propicia
muitos casos diferentes, e para cada um existe uma formulao adequada e diferente. E
mesmo assim, as vezes so problemas que no tem soluo.
Tempo final livre, estado final livre
No existe compromisso com os vinculos de contorno e busca-se apenas a otimizao do
ndice de performance.

Tempo final fixo, estado final livre

Alm da otimizao do ndice de performance J, o controle obrigado a levar o estado
final para qualquer lugar, mas no exato tempo definido.

Tempo final fixo, estado final fixo

o tipo de otimizao onde o controlador no tem nenhuma liberdade. Alm da
otimizao, o tempo limitado e o estado final deve ser conduzido ao valor desejado.
 Tempo final livre, estado final fixo
Alm da otimizao o estado final deve ser alcanado, mas o controlador tem certa
liberdade para adequar qual o tempo necessrio para a trajetria tima.

Regulador ou rastreador
Normalmente em problemas conhecidos como LQR(reglulador linear quadrtico) servem
para regular equipamentos em torno de um sinal de referncia (no caso regulador).
Servem tambm para guiar trajetrias com erro mnimo (no caso rastreador). O principal
compromisso manter a trajetria do sistema dinmico o mais perto possvel da trajetria
de referncia.
Caso 1: Mnima energia com estado final livre e tempo final fixo
Deseja-se minimizar

Sujeito a restrio dinmica

Com as condies de contorno

A funo hamiltoniana desse problema

A Equao de coestado ou varivel adjunta ser:

A equao de controle fornecida pela condio de no variabilidade da hamiltoniana, ou

seja,

o que nos leva a

Ento o problema torna-se

Min

Sujeito a

Com

x(0)=10
x(1) = livre
e lei de controle

Soluo
Partindo-se da equao diferencial da adjunta

Integrando-se essa equao obtm-se

Onde C1 ser determinado. Substituindo-se o valor de no controle u* e depois na

primeira equao diferencial, torna-se possvel nesse caso a integrao direta. A
integrao da equao diferencial do estado x(t) fornecer

Para eliminar as constantes C1 e C2 utiliza-se as condies de contorno tanto para as

variveis de estado quanto para as variveis adjuntas. Assim, para achar a primeira
constante, faz-se uso do fato que x(0) = 10 e ento

ou seja,

Para a constante C1, lembrar o fato que x(1) livre. Nesse caso pode-se fazer uso da
condio terminal para a adjunta, que pelas condies de transversalidades nos fornece

. Como se tem a soluo analtica da adjunta, ento

e ento
Ento, usando-se os valores das constantes determinadas, chega-se a soluo analtica
para a varivel de estado. A soluo para esse problema
Com a varivel de controle

Isso j era intuitivo, pois para minimizar a energia do sistema para leva-lo a
qualquer estado final no fazer nada, por isso o controle nulo em todo o tempo
percorrido pelo sistema dinmico representado pelas equaes diferenciais. Os grficos
apresentam essa soluo em comparao com a rotina numrica do Matlab. A trajetria
para o estado x(t) coincidente enquanto para o controle a diferena que o zero
numrico do Matlab 10-18, por isso a diferena nas curvas tracejadas e contnuas.

Caso 2: mnima energia com estado final fixo e tempo final fixo
Deseja-se minimizar
Sujeito a restrio dinmica

Com as condies de contorno

Para o estado final fixo, o ndice de desempenho no pode ser da forma que est. Como
se deseja minimizar o controle, j vimos que como o estado final era livre, o melhor era
no fazer nada. Mas para cumprir um valor final do estado, o funcional deve ser composto
com essa imposio, representada pelo h(x(tf),tf) fora da integral.

O termo fora da integral obrigar o controle a fazer o sistema dinmico chegar em x(tf)=5.
Esse termo fora da integral no modifica a condio terminal da adjunta

Mas essa condio pune a funo custo fazendo o controle agir durante o intervalo na
tentativa de se ter o menor valor possvel para o ndice J. Esse termo h j causa uma
diferena em relao soluo com o estado final livre. No grfico possvel notar o
desvio dessa nova soluo em relao a linha tracejada, que a soluo para estado final
livre.
Mas o valor do estado final no chega em x(1) = 5. Ento se o ndice sofrer uma punio
maior, aumentando o peso de h, a soluo se aproxima do estado final desejado. Por
exemplo, colocando um peso de 100 em h, o estado final chega muito prximo de x(1)=5.

Finalmente pode-se observar que o controle no mais nulo, mas o suficiente para
minimizar J e fazer x(1)=5.
Caso3: Mnima energia com estado final livre e tempo final livre

Neste caso, deseja-se minimizar o mesmo funcional do caso 1 e caso 2, mas agora com
o tempo final sendo livre. Deseja-se ento,

Minimizar

Sujeito a restrio dinmica

Com as condies de contorno

Onde agora o tempo final livre alm do estado final. A soluo a mesma apresentada
para o caso 1:

Como tem-se agora duas incgnitas, a soluo procurar uma relao entre o tempo final
e o estado final. Quando o valor de um for conhecido o valor do outro sai da relao. Ento,
sendo x(tf) e tf no nulos,
e ento

O que fornece

Logo, para cada valor do estado final, temos o tempo necessrio para minimizar o ndice
de performance e cumprir o valor desejado.
,
x(tf) tf
10 0
5 0,34
1 1,15
0,5 1,5
0,01 3,45

que em termos grficos ser

CASO 4: Mximo funcional com o estado final livre e o tempo final fixo

Deseja-se maximizar o funcional J considerando o estado final x(t) livre e o tempo final
fixo. Do ponto de vista matemtico, vamos considerar o funcional e a dinmica como se
segue.

Max

Sujeito

Com

Nesse caso u(t) o controle x(t)a varivel de estado. O primeiro passo a construo da
funo hamiltoniana

As condies necessrias sero:

E a lei de controle timo ser

O que nos leva ao controle timo

Como as variveis adjuntas lambas so apenas auxiliares, a idia tentar de alguma forma
elimin-las. Da equao diferencial da varivel adjunta, sabemos que a soluo terica
da forma

Onde o ponto em cima da varivel lambda da derivada no tempo. Essa uma notao
tpica de fsicos e engenheiros. Da condio necessria acima, sabe-se que

Ento substituindo na integral

O que nos leva a

Como o estado final livre, sabemos que a varivel adjunta no tempo final TF=1 zero,
ou seja,

Ento, com isso descobrimos a condio inicial para lambda, ou seja, substituindo t=1 na
equao de lambda,

E isso nos leva a

Logo, a soluo para a varivel adjunta encontrada e ser

Interessante agora, que pode-se retirar essa varivel tanto da equao de estado quanto
da lei de controle timo pela sua substituio. Substituindo lambda na equao de controle
u*(t)

Essa ser a lei que vai reger todo o movimento do estado ao longo da trajetria
determinando suas aes para atingir o estado final desejado no tempo final desejado. E
o melhor: maximizando o funcional J. Ento, de posse da lei de controle timo em funo
apenas do tempo, podemos encontrar a equao completa do estado x(t) que ficar
dependente apenas do tempo t.

Como o estado

Ento

E agora somente fazer uma integrao em funo do tempo t.

Ento, como a soluo terica(lembre-se que o ponto em cima de x na integral significa
derivada em relao ao tempo)
Substituindo a condio inicial (por isso elas existem e so importantes) x(0)=1

E substituindo a dinmica completa para o estado j com a lei de controle timo

Onde integrando no tempo teremos:

O que fornece como trajetria tima no sentido de maximizar o funcional J

Essa uma soluo terica e pode-se observar que quando o tempo tendo ao tempo final
igual a 1 a trajetria tende ao infinito o que leva o controle ao infinito positivo para continuar
tentando maximizar o funcional. A figura ao lado mostra a solua do problema para o
estado x(t), o controle timo u(t) e o funcional J. Perceb-se que sempre o funcional est
aumentando no sentido de aumentar os "ganhos".
Caso5: Minimizar tempo final com estado final fixo

Deseja-se minimizar o tempo final e colocando no funcional J como um objetivo a ser

atingido,

ou na forma de integral, como

ento

Supondo que a dinmica de movimento seja dada pelas equaes a seguir

a idia encontrar qual a lei de controle timo que leve o sistema no menor tempo possvel
ao seu destino. Vamos adotar que o sistema partir da posio

e dever chegar em local pr-determinado e fixo

A hamiltoniana construda da seguinte forma:

As equaes adjuntas sero

ou melhor representadas

E o controle nesse caso ser

o que nos fornece

com o a lei de controle timo

A SOLUO

Partindo da equao da adjunta nula

e na segunda equao

Logo, o controle dever ser variante no tempo segunda a lei

Substituindo-se essa lei de controle nas equaes diferenciais de x e y e usando as

condies iniciais, chega-se a soluo do sistema
onde a lei de controle timo ficar em funo do tempo final

O tempo final mnimo poder ser obtido apenas escolhendo qual a ao de controle inicial
ser usada no tempo t=0. Ento para t=0,

o que nos leva para a equao do tempo final timo

Os grficos a seguir mostram a proximidade da resoluo do problema usando o mtodo

numrico da colocao e a soluo analtica encontrada para x(t), y(t) e u(t) para
deslocamento em tempo mnimo. A linha contnua a soluo numrica do problema e a
linha tracejada a soluo analtica.

Caso5: Minimizar tempo final com estado final fixo

Deseja-se minimizar o tempo final e colocando no funcional J como um objetivo a ser atingido,

ou na forma de integral, como

ento
Supondo que a dinmica de movimento seja dada pelas equaes a seguir

a idia encontrar qual a lei de controle timo que leve o sistema no menor tempo possvel ao seu
destino. Vamos adotar que o sistema partir da posio

e dever chegar em local pr-determinado e fixo

A hamiltoniana construda da seguinte forma:

As equaes adjuntas sero

ou melhor representadas
E o controle nesse caso ser

o que nos fornece

com o a lei de controle timo

A SOLUO

Partindo da equao da adjunta nula

e na segunda equao

Logo, o controle dever ser variante no tempo segunda a lei

Substituindo-se essa lei de controle nas equaes diferenciais de x e y e usando as condies iniciais,
chega-se a soluo do sistema
onde a lei de controle timo ficar em funo do tempo final

O tempo final mnimo poder ser obtido apenas escolhendo qual a ao de controle inicial ser usada
no tempo t=0. Ento para t=0,

o que nos leva para a equao do tempo final timo

Os grficos a seguir mostram a proximidade da resoluo do problema usando o mtodo numrico

da colocao e a soluo analtica encontrada para x(t), y(t) e u(t) para deslocamento em tempo
mnimo. A linha contnua a soluo numrica do problema e a linha tracejada a soluo analtica.
Caso6: Minimizar travessia de um rio - Problema de Zermelo (1931)

O problema da travessia de um rio com correnteza como mostrado na figura anterior

conhecido como problema de Zermelo. um problema clssico de otimizao dinmica
onde se considera um rio com correnteza de direo paralela s margens (no caso paralela
ao eixo x). Adota-se a velocidade do barco constante V tocado por um motor. A ao do
controle u(t) ser exercida sobre o ngulo que o barco faz com a direo da correnteza.

O que se deseja minimizar o tempo da travessia, o qual ser o ndice de desempenho do

problema. Ento deseja-se

sujeito dinmica do barco para se deslocar

onde as condies de contorno do problema sero:

O primeiro passo montar a funo hamiltoniana H:

As adjuntas sero

A lei de controle timo ser

o que nos leva a

ou

A soluo para as equaes adjuntas fcil de se obter usando integrao simples com
as constantes de integrao:

Como o tempo final livre e fixo,

e ento
por outro lado, usando a lei de controle timo,

onde juntando os termos

Assim, chega-se ao sistema para determinao das constantes

O que nos leva as solues para as constantes

Agora sim, de posse dessas duas constantes, as solues para as adjuntas sero:

Solues das equaes de estado:

Da equao da constante possvel encontrar a soluo para a varivel de estado y(t),
ou seja,

ento

ou

Substituindo y(t) na equao diferencial de x(t) chega-se numa equao que depender
apenas da constante de integrao que pode ser descoberta pelas condies iniciais e
pela lei de controle u(t). Como a lei de controle u(t) depende das adjuntas e as adjuntas
dependem da lei de controle, a soluo analtica precisa de algumas manipulaes para
transformar a variao no tempo para a variao de uma varivel em relao a outra. Se
continuarmos com o uso da soluo anterior de y(t) encontraremos a equao diferencial
para x(t) na forma:

A soluo analtica dada por Bryson & Ho em "Applied optimal control: optimization,
estimation, and control" utilizou de uma mudana de varivel para mudar a equao
diferencial anterior em termos do controle u na forma:
Ento usando-se do clculo variacional a soluo analtica apresentada foi

Soluo mais simples nos dias de hoje utilizando rotinas computacionais tanto para
integrao numrica quanto para a resoluo de problemas de contorno numrica. Por
exemplo mtodos como mltiplos tiros ou mtodo da colocao j so implementados
como toolbox do Matlab, no caso com nome de bvp4c.m.
O resultado nas figuras a seguir representam a otimizao do sistema que representa um
barco com as equaes diferenciais com o controle no ngulo u(t). O exemplo o mesmo
do livro de Bryson & Ho com as mesmas condies iniciais. Na figuras 1 e 2 so
apresentadas as solues para o deslocamento no eixo x(t) e y(t). Uma melhor
representao espacial percebe-se na figura 3 onde mostra de onde o barco saiu e onde
ele chegou (condio de contorno no ponto espacial (0,0)). As setas indicam a posio do
barco conforme o controle timo encontrado e apresentado na figura 4. possvel notar
que o barco comea com um ngulo de 90 graus deixando-se levar pela correnteza e
lentamente o motor acionado virando e impulsionando o barco at ele passar um pouco
do ponto (0,0) esquerda. Ento aciona-se potncia suficiente para frear o barco e chegar
no destino.
Caso7: Minimizar energia com restrio de estado e controle
Problema
Este o problema de controle timo mais prximo da realidade do dia-a-dia pois se
prope a solucionar um caso de otimizao onde controles e estados possuem
restries. O que se deseja minimizar a energia gasta do sistema sujeito uma srie
de restries. A tcnica de controle timo para se resolver esse problema se chama
tcnica de Dreyfus, onde so geradas condies de entrada e sada nas restries.
Essas condies consistem na derivada da restrio (q) vezes at o aparecimento da
varivel de controle.
Em termos matemticos, o que se deseja

sujeito

vnculo dinmico:

onde o (.) representa a derivada temporal d(.)/dt.

vnculo de contorno:

vnculo do estado:

(primeiro caso)

(segundo caso)

Soluo

Utiliza-se o funcional na forma de Mayer que consiste em transformar a

integral em derivada e inclu-lo como varivel de estado

com

Logo, o problema se torna um problema de valor de contorno em dois pontos,

cujo sistema dinmico completo ser:

com as condies de contorno

Hamiltoniana
A expresso S(q) encontrada pela derivada de q-vezes da restrio de estado at o
aparecimento da varivel de controle ( tcnica de Dreyfus). No caso em questo,

Logo o valor de q dois pois so necessrias duas derivadas em cima da restrio de

estado para o aparecimento da varivel de estado. Voltando a expresso da
hamiltoniana

Equaes Adjuntas (co-estado)

Mas pela condio final para a adjunta

Ento, como a derivada da adjunta 3 nula e seu valor final 1, conclui-se que a
adjunta do estado 3 (ndice de performance) constante e poder ser substituda por
1 na equao da Hamiltoniana. Logo,
Lei de controle timo

Ou seja,

A atuao do controle dever ser analisada sob dois aspectos. Primeiro o caso onde o
estado no est dentro das restries, ou seja, o estado est livre. A segunda condio
do controle timo dever ser analisada quando o estado viola a restrio e ento o
controle dever atuar para mant-lo dentro dos parmetros estabelecidos no projeto.

INTERVALOS LIVRES

Nesse caso, a ponderao (ou peso) da restrio do estado no est ativo e ento

O sistema dinmico completo para o problema de valor de contorno fica

INTERVALOS COM RESTRIO

Para intervalos onde o estado ultrapassa as restries o controle sofre um penalidade
ponderada pelo peso . Ento, primeiro sabe-se que para os pontos de contato com a
restrio, a variao da equao do vnculo deve ser nula, para mant-lo sobre a linha
de contato, ou seja,

e ainda o controle deve ser timo, ou

Ento as duas equaes so utilizadas para encontrar o controle timo com o fator de
peso de sua correo. Resolvendo as duas equaes

encontra-se a lei de controle timo para o estado

e o fator

O sistema dinmico nesse caso ser

Caso8: Regulador Linear Quadrtico (LQR)

Problema

Esse um caso de controle onde se deseja que o sistema dinmico fique o mais prximo
possvel de maneira econmica de um valor de referncia. Quando esse valor de
referncia constante o problema se diz de regulagem. Quando o valor de referncia
mvel o problema se diz de guiagem. Exemplos de guiagem so avies, msseis,
automveis, submarinos,
etc.
No caso do regulador, matematicamente o que se deseja

Todos os termos desse funcional J possuem uma propriedade diretamente relacionada

com o sistema dinmico. O primeiro termo fora da integral se relaciona com o sistema
dinmico no sentido de conduzir o mesmo para um ponto final determinado.

No caso do regulador esse ponto final dado pelo valor de referncia , ou seja, o
sistema ter que no instante final de tempo atingir o valor de referncia. Nesse caso o
valor final a condio final do sistema dinmico. A varivel S o peso que se deseja
para atingir o valor final do sistema dinmico. Valores de S muito alto fazem o sistema
atingir o ponto final mas encarecem o funcional J e valores muito baixo de S tornam o
funcional barato mas no atingem o valor final, sempre fica um erro.
O primeiro termo da integral relaciona-se ao erro do sistema em se manter prximo do
sinal de referncia durante o desempenho da trajetria.

Assim como S, o valor de P fornece o quanto se deseja que o sistema dinmico fique
prximo do valor de referncia. Valores altos de P fazem o erro se tornar mnimo, mas no
decorrer da trajetria, ao serem somados iro encarecer o valor acumulado do funcional
J. Da mesma forma P baixo torna o funcional barato mas o sistema no acompanha o
sinal de referncia ao longo da trajetria.
Por fim, o ltimo termo da integral se refere ao controle u(t) que dever se estabilizar em
torno de um valor de referncia.

Assim como S e P, a interpretao do peso Q a mesma em termos de custo para a

integrao do funcional ao longo da trajetria.
No caso particular em que o valor de referncia para o estado x(t) e controlador u(t) so
nulos, transforma o funcional em

Pode-se observar nesse funcional que o estado final no aparece no funcional, um

indicativo que ele livre. Isso leva condio final para a adjunta
Onde

Ento para o regulador linear quadrtico,

E se o estado de referncia for nulo,

Para o caso do funcional J anterior tem-se

Recuperando-se o critrio de Mnimo de Pontryaguin.

Exemplo:

Com
Hamiltoniana

Vamos adotar apenas como simplicidade de notao que as variveis x(t)=x e u(t)=u para
no carregar o parntesis nas notaes das derivadas. Ento,

Adjunta

Controle timo

Logo, o sistema dinmico a ser resolvido para o problema de valor de contorno ser:

Onde o operador ponto representa da derivada no tempo (.)=d()/dt.

Sabe-se que a condio terminal para a adjunta quando se tem o valor final livre para o
estado

A estratgia tentar descobrir qual equao resultante para a adjunta e eliminar sua
equao diferencial do sistema. Adotando e supondo que a relao anterior valida para
todo o tempo t ao longo da trajetria,
Assim, temos duas relaes para a adjunta,

Derivando-se a segunda equao no tempo, tem-se

Pode-se igualar as duas equaes diferenciais das adjuntas

Agora substitui-se a relao suposta anteriormente onde na varivel adjunta

da equao acima,

Substituindo-se

E chega-se a

Agora substitui-se a lei de controle timo para u(t) obtida anteriormente,

Ento

E chega-se

Como x(t) o estado e sabe-se que ser diferente de zero pois a condio inicial do
sistema diferente da condio nula, termina-se por chegar na conhecida equao de
Riccati,

Soluo

Como resolver essa equao? Numericamente ela deve ser integrada de trs para frente
pois sua condio inicial est relacionada exatamente relao da adjunta no tempo final.
Analiticamente uma tcnica sofisticada consiste em adotar que

e derivar essa relao no tempo. A derivada deve ser substituda na equao de Riccati.
Assim,
E ento

Dividindo por y e somando as parcelas chega-se a equao diferencial de segunda ordem

na varivel auxiliar y

Nesse caso, a tcnica para resolver essa equao chamar por exemplo a varivel y de
exponencial do tempo, ou seja,

Ao substituir na equao auxiliar da derivada segunda de y, tem-se

Como o exponencial nunca ser nulo, para a equao anterior ser vlida, tem-se que a
equao do segundo grau deve ser nula. Isso nos leva a dois valores de m,

A soluo para y ser a composio das duas solues

Ou seja,
Derivando a soluo y

Ento a soluo para a equao de Riccati ser obtida substituindo y e dy/dt na relao
inicial

Que poder ser adotada como mdulo dessa relao pois S(t) apenas uma medida de
proporcionalidade da adjunta em relao ao estado. Ento transformando a relao
anterior em

Tem-se que a soluo de Riccati nesse exemplo ser

Equao do Regulador

Como a lei de controle timo

Ento substituindo S
E a equao de estado se transforma em:

Aproximao

O objetivo do regulador estabilizar o sistema e traz-lo para o estado de referncia

minimizando o custo J. Assim, apenas como ilustrao, para um tempo longo espera-se
que o sistema esteja em torno do valor de referncia. Para isso, adotando-se que o tempo
tende a ser muito longo,

Ento a equao de estado ser:

Cuja soluo super simples e da forma

E como a condio inicial x(0)=1 ento a soluo deste exemplo ser a exponencial
que convergir de forma a minimizar o funcional J
Programao - Soluo Numrica

A soluo possvel para os casos do regulador linear quadrtico (LQR) nos dias atuais
podem ser resolvidas numericamente. Um bom software para a resoluo de problemas
de valor de contorno em dois pontos o bvp4c.m ("colocation method") do Matlab. A
programao para seu uso pode ser encontrada abertamente na internet, inclusive no site
da Mathworks com exemplos. Para nosso exemplo, as figuras a seguir comparam ambos
os resultados obtidos da forma analtica e numrica com o Matlab. A linha tracejada o
resultado analtico que difere apenas no caso do controle, mas que coincide absolutmente
com a numrica a ponto de no se nota as duas curvas.
Caso9: Regulador Linear Quadrtico (LQR) com referncia no nula

Problema

O problema desse caso o mesmo do caso 8, mas agora ao invs de P=1 ( o que significa
peso para atingir o estado de referncia igual ao peso do controle) e xref=0, deseja-se
direcionar o estado para um valor diferente de zero e de forma rpida. A frmula geral da
funo custo a mesma, ou seja,

No caso particular em que o valor de referncia para o estado x(t) no nulo, vamos adotar
o peso como P=100 e xref=5. Deseja-se ento que o estado x(t) atinja o mais rpido
possvel o valor 5. Isso encarece o processo, e por encarecer o processo o estado "busca"
atingir o valor x(t)=5 no menor tempo possvel. Tambm outra modificao em relao ao
caso 8 que agora o tempo no livre. Ele limitado em t=20. Na nomenclatura
matemtica, o problema se torna

Com
Soluo
A soluo analtica deve repetir todos os passos explicados no caso 8, substituindo os
valores tf=20, P=100 e xref =5 para se obter a soluo final. um exerccio interessante
para se compreender o problema do regulador que fica ao leitor para sua verificao.

Programao - Soluo Numrica

A soluo numrica pode ser resolvida via Matlab novamente, usando o mesmo recurso
de toolbox e cdigo conhecido como bvp4c.m. O programa uma mera repetio do caso
8, mas agora substituindo os valores do tempo final, peso do custo P e valor de referncia
xref=5. Obviamente que a funo hamiltoniana vai ser alterada bem como a equao
adjunta, visto que agora o valor de referncia no nulo e far parte dessa equao.
Hamiltoniana

Vamos adotar apenas como simplicidade de notao que as variveis x(t)=x e u(t)=u para
no carregar o parntesis nas notaes das derivadas. Ento,

Adjunta

Controle timo

Ao inserir na programao essa alterao, o resultado obtido mostrado na figura a seguir:

Observa-se que nesse caso o estado se torna mais "caro" para atingir 5, e por isso procura
ir o mais rpido possvel para o valor 5. O segundo grfico o resultado do controle sendo
acionado para tal caso e da varivel adjunta lambda.

Caso10: Rastreador (Tracking)

Problema

Assim como nos casos 8 e caso 9, deseja-se aqui que o sinal siga alguma trajetria de
referncia. Mas nesse tipo de problema conhecido como rastreador ou tracking, o valor
do sinal x(t) obrigado a seguir qualquer tipo de trajetria de referncia diferente de um
valor constante. Essa trajetria de referncia pode ser uma reta, uma curva, um
polinmio, enfim qualquer tipo de trajetria contnua. Uma aplicao em economia seria
o Banco Central seguindo uma curva meta para a inflao, ou juros, ou venda de ttulos.
Em engenharia, diversas aplicaes so encontradas para motores e controladores
automticos de fbircas. Mesmo em eventos do dia a dia possvel encontrar reguladores
tais como nos refrigeradores domsticos.
O problema principal de otimizao dinmica continua o mesmo, ou seja, do ponto de
vista matemtico deseja-se

onde agora troca-se o sinal constante xref por um sinal varivel chamado de rast(t)

Quem rast(t)? Por exemplo pode ser uma reta que obrigar o sinal x(t) a segui-lo o mais
perto e rpido possvel. A noo de velocidade de aproximao no alvo rast(t) nesse caso
dado em termos do parmetro P. Ele o peso que vai encarecer ou baretear a funo
custo. Quanto maior o valor do peso P, mais rpido o controlador far o sinal x(t) se
aproximar do sinal de referncia rast(t) para tentar no deixar o custo to alto.
Vamos supor como exemplo mais fcil que a funo rast(t) seja uma reta do tipo:

Ento o controlador dever fazer o sinal x(t) seguir essa reta o mais prximo possvel.
Qualquer desvio mais forte de x(t) para longe do sinal de referncia encarece a funo
custo e ser "punida" pelo controlador u(t) trazendo-a de volta. Vamos supor que
desejamos que um sistema dinmico simples tenha que acompanhar a reta rast(t)=-
0.1t+1 durante um tempo t = 10. Antes de atingir esse tempo final t = 10 o sinal de x(t)
que tem sua prpria dinmica dever estar praticamente colado na reta para obter o
menor custo possvel.
Do ponto de vista formal de otimizao, deseja-se
Com

Soluo
A soluo analtica deve repetir todos os passos explicados no caso 8, substituindo os
valores tf=10, P=10 e com o sinal de referncia varivel xref(t) =-0.1t+1 para se obter a
soluo final. um exerccio interessante para se compreender o problema do regulador
que fica ao leitor para sua verificao.

Programao - Soluo Numrica

A soluo numrica pode ser resolvida via Matlab novamente, usando o mesmo recurso
de toolbox e cdigo conhecido como bvp4c.m. O programa uma mera repetio do caso
8 e do caso 9, mas agora substituindo os valores do tempo final, peso do custo P e valor
de referncia. Obviamente que a funo hamiltoniana vai ser alterada bem como a
equao adjunta, visto que agora o valor de referncia no nulo e far parte dessa
equao.
Hamiltoniana

Vamos adotar apenas como simplicidade de notao que as variveis x(t)=x e u(t)=u para
no carregar o parntesis nas notaes das derivadas. Ento,

Adjunta
Controle timo

Ao inserir na programao essa alterao, o resultado obtido mostrado na figura a

seguir:

SINAL x(t) CONTROLADOR u(t)

ADJUNTA DA DINMICA(lambda)

Observa-se que nesse caso o controle (grfico direita) atuando forte para trazer o sinal
x(t) na reta de referncia (pontilhado em vermelho no primeiro grfico esquerda). O
controle faz isso no sentido de "baratear" o custo final. Uma vez atingindo a reta de
referncia, o controle torna-se nulo fazendo apenas a dinmica agir para manter o sinal
x(t) na referncia. O sinal ento rastreado o tempo todo e feita uma somatria das
diferenas (a integral de custo significa isso) para ver se a trajetria no est saindo do
controle. Caso algo faa a trajetria se desviar da referncia, o controlador atua trazendo
x(t) de volta.