Controle de Sistema CVIU Tempo Discreto

Introdução O problema de controle ótimo CVIU Horizonte infinito Existência e unicidade Análise de estabilidade Experimentos Referências
Modelagem & Controle de Sistemas CVIU a Tempo Discreto
Candidato: Filipe de Carvalho Pedrosa

Supervisor: Prof. Dr. João Bosco Ribeiro do Val
Departamento de Telemática
Universidade Estadual de Campinas
Faculdade de Engenharia Elétrica e Computação
Campinas, SP - Brasil
Defesa de Mestrado
Maio 24, 2018
Filipe C. Pedrosa FEEC / UNICAMP Sistemas CVIU a Tempo Discreto Defesa de Mestrado - Maio 24, 2018 1 / 36
Agenda
1 Introdução
Motivação
Construção do modelo CVIU
2 O problema de controle ótimo CVIU

Convexidade da Função Valor
−
As regiões R0i , R+
i e Ri
3 Horizonte infinito com custo quadrático descontado

Solução dentro da inação global R0
Soluções assintóticas
4 Existência, unicidade e estabilizabilidade das soluções

Equação de Lyapunov linearmente perturbada
Equação algébrica racional de Riccati
5 Análise de estabilidade
6 Experimentos numéricos
Políticas CVIU vs LQG
O caso CVIU bidimensional no controle
Motivação
Introdução
O estudo da tomada de decisão (controle) sob incerteza é de grande interesse em

vários ramos da ciência.
Motivação
Medicina: Evolução de tumores e resposta à administração de drogas
quimioterápicas e inibidores de angiogênese [Hinow et al., 2009]
Ecologia: Exploração ótima de estoques de peixes [Ladino et al., 2016]
Biologia: Controle sobre a regulação da expressão gênica em procariontes,
ex.: β-galactosidase e permease para bactérias Escherichia coli
[Julius et al., 2008]
Economia: Composição de carteira ótima de investimentos e políticas de
consumo [Hanson, 2007]
Considere um sistema estocástico autônomo a tempo discreto dado por
zk+1 = G(zk , vk , wk ) (1)
zk ∈ Rn é a variável de estado, vk ∈ Rm é a entrada de controle e ωk ∈ Rr é uma

entrada exógena de distúrbio i.i.d. independente de z0 .
Dinâmicas subdeterminadas!
Que direção seguir quando G(·, ·) é pouco conhecida e sua determinação via técnicas
de identificação de sistemas é proibitiva?
1 Suponha (1) operando na vizinhança de um ponto fixo (ze , ve ).

2 Admita um modelo “grosseiro”, G̃(·, ·)
3 Mudança de variáveis xk := zk − ze , uk := vk − ve
Com isso, obtem-se a seguinte representação linear em espaço de estados
xk+1 = Axk + buk + σωk (2)
Um modelo que reproduz o princípio CVIU é obtido ao substituir (2) por
xk+1 = Axk + Buk + σ̂(xk , uk )Wk

σ̂(xk , uk ) = σ σx + σ̄x diag(|xk |) σu + σ̄u diag(|uk |) (3)
| | | |
Wk = ωk εx εu

k k
no qual,
σ ∈ Rn×r , σx , σ̄x ∈ Rn×n , σu , σ̄u ∈ Rn×m são parâmetros adequados de desvio
para as sequências de ruídos {ωk }, {εx u
k } e {εk }. Estas são sequências de vetores
aleatórios Gaussianos, mutualmente descorrelacionados, média zero, independentes
e igualmente distribuídos com matriz de covariância unitária.
O problema de controle ótimo CVIU
Dado o funcional de custo (4) que avalia a performance do sistema em cada estágio
de tempo 0 ≤ k ≤ N
( "N −1 #)
X
J0∗ (x, π ∗ ) = inf Exπ c(xk , uk ) + f (xN ) , x0 = x ∈ X (4)
π∈Π
k=0
s.a xk+1 = Axk + Buk + σ̂(xk , uk )Wk
O problema de controle ótimo formulado nestas condições é o de minimizar

π → J0 (x, π) sobre a classe Π de todas políticas admissíveis.
Isto é,
Jk∗ (x) = inf Jk (x, π), ∀x ∈ X (5)

π∈Π
é o custo de ótimo de partida do k-ésimo estágio em diante, ou função valor no

estágio de tempo k. A política de controle ótima π ∗ é tal que incorre o custo mínimo
J0∗ (x) = J0∗ (x, π ∗ ), ∀x ∈ X (6)
Caracterização da convexidade para o valor do problema de controle CVIU
Convexidade da Função Valor
O Teorema a seguir caracteriza, sob algumas condições, a Função Valor quanto a sua
convexidade. Esta é uma questão de suma importância na construção da solução1 do
problema de controle CVIU.
Teorema
Sejam c : Rn × Rm → R+ e f : Rn → R+ funções (estritamente) convexas e

mensuráveis em (4). Então, observadas as condições de positividade (7), o custo de
partida (x, u) → Jk (x, u) assim como a Função Valor do problema x → Jk∗ (x) em (5)
são aplicações contínuas e (estritamente) convexas em seus argumentos para cada
estágio 0 ≤ k ≤ N do horizonte de controle.
σx σ̄x| + σ̄x σx| 0 |

σu σ̄u |
+ σ̄u σu 0 (7)
1
Este resultado também permite conclusões importantes quando da análise de estabilidade da técnica CVIU.
Condições de sinais do controle ótimo u∗ (x)
−
Regiões R0i , R+
i e Ri
Para cada k ∈ [0, N ), o controle ótimo satisfaz as seguintes condições de sinais:
Lema
Sejam c(·, ·) e f (·) funções de custo não negativas e convexas. Então, o controle
ótimo satisfaz, em cada estágio k ∈ [0, N ), as seguintes condições de sinais para
cada componente i = 1, . . . , m:

 ∗ R+i := x ∈ Rn : lim ∂ui J(x, u) < 0
+ ui ↓0
 ui > 0, se x ∈ Ri

∗ −
ui < 0, se x ∈ Ri R−i := x ∈ Rn : lim ∂ui J(x, u) > 0 (8)

 ∗ ui ↑0
ui = 0, se x ∈ R0i n c o
−
R0i := x ∈ Rn : R+ i ∪ Ri
Assim, cada região R0i , i = 1, 2, . . . , m pode ser expressa por:

R0i := x ∈ Rn : lim ∂ui J(x, u) ≤ 0 ≤ lim ∂ui J(x, u) (9)
ui ↑0 ui ↓0
Síntese do controlador CVIU

Seja a função custo por estágio c(x, u) uma função quadrática para algum Q 0,
N ∈ Rn×m e R 0. Desse modo, define-se
( " N #)
k |
X
∗ ∗ π
J0 (x, π ) := lim inf Ex α zk Ozk , 0 ≤ α < 1, x0 = x (10)
N →∞ π∈Π
k=0
em que,
xk Q N
zk := , O := com Q − N R−1 N | 0 (11)
uk N| R
Equação de Bellman
A função valor ` estágios anteriores ao final do horizonte (` < N ) é dada por
h i
∗
JN −` (xk ) = inf E αN −` c(xk , uk ) + JN ∗
−`+1 xk+1 (12)
u∈U (x)
e, através da mudança notacional V`∗ (x) = αN −` JN

∗
−` (x),
h i
V`∗ (xk ) = inf ∗
E c(xk , uk ) + αV`−1 xk+1 (13)
u∈U (x)
Síntese do controlador CVIU

Definições preliminares
Para uma matriz Y 0, definem-se os operadores:
∆x (Y ) = Diag (σx| Y σ̄x + σ̄x| Y σx ) |

∆u (Y ) = Diag (σu |
Y σ̄u + σ̄u Y σu )
Λx (Y ) = Diag (σ̄x| Y σ̄x ) |
Λu (Y ) = Diag (σ̄u Y σ̄u )
Q̃(Y ) = Q + αΛx (Y ) R̃(Y ) = R + αΛu (Y )
Σ(Y ) = αB | Y A + N | Ω(Y ) = αB | Y B + R̃(Y )
|
Γ(Y ) = tr (Y (σσ + σx σx| + |
σu σu ))
Em caráter complementar, recordam-se algumas propriedades de grande valia que

envolvem o operador traço. Sejam M ∈ R`×` e v ∈ R` . Então,
tr(M diag (|v|)2 ) = v | Diag(M )v

tr(M diag(|v|)) = S(v)| Diag(M )v
v | M v = tr (M vv | )
Lema (Inação Global R0 )
Considere o problema de controle ótimo em horizonte infinito e com custo descontado

como apresentado em (10), bem como a equação a tempo discreto tipo Lyapunov
αA| Y A − Y + αDiag (σ̄x| Y σ̄x ) + Q = 0 (14)
Se existir uma solução única e semidefinida positiva Y 0 para (14), a Função Valor
para cada x ∈ R0 = ∩m 0
i=1 Ri será dada por
V ∗ (x) = x| Y x + γ0| x + c0 (15a)
em que γ0| e c0 satisfazem
γ0| = αS(x)| ∆x (Y ) (I − αA)−1 (15b)

α
c0 = Γ(Y ) (15c)
1−α
Outrossim, a inação global R0 é a região contida entre os hiperplanos paralelos e

simétricos em relação à origem, descritos por
n α o
x ∈ Rn : Bi , (αY A + N | ) x + B | γ0 = 0

(16)
2
Observações
Solução na inação global R0
Sobre a solução de controle em R0 , destacam-se:

1 Associação de V ∗ (x), para todo x ∈ R0 à solução de uma equação algébrica de
Lyapunov linearmente perturbada;
2 Existência da inversa (I − αA)−1 ;
3 Simetria dos limites de R0 ;
Λx (Y ) = Diag σ̄x| Y σ̄x reflete a incerteza sobre a matriz da dinâmica A;

4
5 R0i é não degenerada.
Sobre as fronteiras de R0i

Para algum par Y 0, γ, as fronteiras de cada inação referente à u∗i , e válida para
regiões exteriores à R0 , são dadas por

D α | E
x ∈ Rn \ {R0 } : Ω(Y )−1 i , Σ(Y )x + B γ + ∆u (Y )S(u) = 0 (17)
2
Considerações iniciais
−
Consideram-se regiões R+ 0
i e Ri suficientemente afastadas de cada inação Ri . Para
algum x ∈ R seja a distância di : Rn → R+ dada por
n
(
infkx − yk : y ∈ R0i
di (x) := (18)
kxk, se R0i = ∅
Daí, para i = 1, . . . , m e algum ` ≥ 0, definem-se os conjuntos

n o
s =+1
Ti+ (`) = Ti i := x ∈ R+ i : min dj (x) ≥ ` (19a)
1≤j≤m
n o
si =−1
Ti− (`) = Ti := x ∈ R−
i : min dj (x) ≥ ` (19b)
1≤j≤m
s
T s̄ (`) := ∩m i
i=1 Ti (`) (19c)
]|
em que s̄ = [s1 s2 · · · sm e cada si toma valores sobre os singletons {−1, +1}.
Ainda, S é é o conjunto de permutações distintas de si tal que
S(u) : Rm → S
u 7→ s̄
Lema (Soluções assintóticas)
Seja o problema de controle em horizonte infinito com custo quadrático descontado

(10) e a equação algébrica racional de Riccati
αA| Y A − Y − Σ(Y )| Ω(Y )−1 Σ(Y ) + αDiag(σ̄x| Y σ̄x ) + Q = 0 (20)
Caso exista uma solução única Y 0 para (20), em regiões do espaço Euclidiano Rn
onde S(u) = s̄ corresponde ao vetor de sinais do controle ótimo, então a função valor
V ∗ (x) tende assintoticamente para Vas̄ (x) para todo x ponto interior de T s̄ (`) quando
`→∞
Vas̄ (x) = x| Y x + hγ∞ (s̄), xi + c∞ (s̄) (21)
em que γ∞ e c∞ satisfazem
|
(s̄) I − αA + αBΩ(Y )−1 Σ(Y ) =

γ∞
α S(x)| ∆x (Y ) − s̄| ∆u (Y )Ω(Y )−1 Σ(Y )

(22a)
α α
c∞ (s̄) = Γ(Y ) − g(s̄)| Ω(Y )−1 g(s̄) (22b)
1−α 4
g(s̄) := B | γ∞ (s̄) + ∆|u (Y )s̄ (22c)
Lema (Soluções assintóticas)
..
.
Ademais, no interior de T s̄ (`), a política de controle ótima u∗ tende de maneira
assintótica, quando ` → ∞, para a forma afim de realimentação de estados
!
α
u∗ (x) = −Ω(Y )−1 Σ(Y )x + g(s̄) (23)
2
Observações
Soluções nas regiões assintóticas T s̄ (` → ∞)
Sobre às soluções de controle assintóticas, destacam-se:

1 Associação de V ∗ (x), para todo x ∈ T s̄ (`) quando ` → ∞, à solução de uma
equação algébrica racional de Riccati;
−1
2 Existência da inversa I − αA + αBΩ(Y )−1 Σ(Y ) via ganho estabilizante de
−1
Riccati K = Ω(Y ) Σ(Y ) e inspeção direta de (I − α[A − BK]);
Λx (Y ) = Diag σ̄x| Y σ̄x e Λu (Y ) = Diag σ̄u |

3 Y σ̄u refletem a incerteza sobre
as matrizes A e B do sistema;
4 Dependência entre u∗i e o sinal das demais entradas do controle ótimo s̄
Ainda sobre R0i

Caso monoentrada: fronteiras podem ser precisamente determinadas
Caso multidimensional: fronteiras não podem ser precisamente determinadas
Método das Aproximações Estocásticas [Nereu, 2018]
Equação de Lyapunov linearmente perturbada
Existência, unicidade e estabilizabilidade das soluções
Operador Lyapunov LĀ : S n+ → S n+ , Y 7→ Ā| Y Ā.
Y = Ā| Y Ā + αΛx (Y ) + Q, Ā := α1/2 A (24)
Teorema (Freiling and Hochhaus [2003])
As afirmações a seguir são equivalentes:

i) Todos autovalores de Ā encontram-se no interior do disco unitário e
r (I − LĀ )−1 αΛx (Y ) < 1

ii) I − LĀ − αΛx (Y ) é um operador inverso-positivo.

iii) Existe algum Y 0 tal que (I − LĀ − αΛx )(Y ) 0.
iv) Se Q 0, então (24) tem solução única Y 0.
v) LĀ + αΛx (Y ) é d-estável.
Se qualquer uma dessas condições for satisfeita, então diz-se que Ā é d-estável
relativo a αΛx (Y ).
Define-se o operador linear positivo Π : S n+ → S (n+m)+ , dado por

αΛx (Y ) 0
Π(Y ) :=
0 αΛu (Y )
Definição (d-estabilizabilidade)
Um par (Ā, B) de matrizes Ā ∈ Rn×n , B ∈ Rn×m é dito d-estabilizável relativo a Π

se existe uma matriz F ∈ Rn×m tal que Ā + BF é d-estável relativo a
|
I I
Π(Y )
F F
De acordo com o Teorema anterior (item iii), (Ā, B) é d-estabilizável relativo a Π se, e
somente se, a desigualdade
|
I I
Y − (Ā + BF )| Y (Ā + BF ) − Π(Y ) >0
F F
é satisfeita para algum par (F, Y ), com Y 0.
Definição (d-detetabilidade)
Um par (C, Ā) de matrizes Ā ∈ Rn×n , C ∈ Rm×n é dito d-detetável relativo a

αΛx (Y ) se existe uma matriz L ∈ Rn×m tal que Ā + LC é d-estável relativo a
αΛx (Y ). Ou seja, se houver uma matriz L e uma solução Y 0 tal que
Y − (Ā + LQ)| Y (Ā + LQ) − αΛx (Y ) 0 (25)
Consequência:
Lema (Freiling and Hochhaus [2003])
Suponha que Q 0 e que a equação modificada de Lyapunov (24) tenha uma

solução Y 0.
i) Se Q 0, então Ā é d-estável relativo a αΛx (Y ) e tem-se que Y 0.
ii) Se (Q, Ā) é d-detetável relativo a αΛx (Y ), então Ā é d-estável relativo a αΛx (Y ).

Método iterativo tipo Newton-Kantorovich
Seja o par (Ā, B) d-estabilizável relativo a Π. Então, existe uma matriz F0 tal que
Ā0 := (Ā + BF0 ) é d-estável com respeito a
|
I I
Π
F0 F0
Para a inicialização do algoritmo, seja Y1 a única solução da equação de Lyapunov

linearmente perturbada
|
I I
Ā|0 Y1 Ā0 − Y1 +

O + Π(Y1 ) +I =0 (26)
F0 F0

De posse de Ā0 , F0 , Y1 e das iterações abaixo, constroem-se três sequências

{Āi }∞ ∞ ∞
i=0 , {Fi }i=0 e {Yi }i=0 , com
Āi = (Ā + BFi ) (27a)

| −1
αB | Yi Ā + N |

Fi = − [αB Yi B + R + αΛu (Y1 )] (27b)
|
I I 1
Ā|i Yi+1 Āi − Yi+1 +

O + Π(Yi+1 ) + I=0 (27c)
Fi Fi i+1
De modo que, no limite, obtem-se uma sequência {Yk }k∈N , tal que
Y+ := lim Yk
k→∞
existe e é uma matriz simétrica, semidefinida positiva com Y+ ∈ D(R). Tomando o

limite em (27c) quando i → ∞ e denotando F+ := F (Y+ ), tem-se que
|
I I
Ā|+ Y+ Ā+ − Y+ +

O + Π(Y+ ) =0
F+ F+

Teorema (Freiling and Hochhaus [2003])
Assuma que as seguintes hipóteses sejam válidas:

h i
i) R 0, NQ| N
R
0,
ii) (Ā, B) é d-estabilizável relativo a Π,
Q − N R−1 N | , Ā − BR−1 N | é d-detetável relativo a

iii)
|
I I
Π
−R−1 N −R−1 N
então, lim Yk = Y+ para qualquer solução {Yk } de Yk+1 = R(Yk ), com Y0 0.

k→∞
Estabilidade estocástica das soluções
Tome Q − N R−1 N | 0, o par (Ā, B) d-estabilizável relativo a Π e caso exista uma

solução estabilizante Y+ 0 de R(Y ) = Y , V ∗ é estritamente convexa e, para cada
s̄ ∈ S, dada qualquer sequência k > k+1 ↓ 0, ∃ `k < `k+1 < · · · tal que
sup V ∗ (x) − Vas̄ (x) < k

x∈T s̄ (`k )
Lema (Freiling and Hochhaus [2003])

Assuma que R 0 e Q N R−1 N | , então se Y+ é uma solução de R(Y ) = Y ,
segue que Y+ é solução estabilizante e positiva definida.
Lema
Para cada x ∈ Rn vale a desigualdade2 ,
αE V ∗ (x∗+1 ) − V ∗ (x) ≤ −x| (Q − N R−1 N | )x

(28)
em que x∗+1 indica o estado em uma transição de estágio, sob a ação do controle
ótimo u∗ (x) em x. Outrossim, se Q − N R−1 N | 0, então a função valor é coerciva.
2
Note a semelhança entre a desigualdade (28) e o critério de estabilidade de Foster-Lyapunov.
Sejam as mudanças de variáveis
xα
k := α
k/2
xk uα
k := α
k/2
uk
Então, a dinâmica do sistema CVIU nestas novas variáveis é dada por
xα α α α α α α
k+1 = A xk + B uk + σ̆(xk , uk )Wk , Aα := α1/2 A, B α := α1/2 B (29)
Assim como no lema anterior, é possível mostrar3

∗
E V ∗ xα − V ∗ (xα ) ≤ −xα| Q − N R−1 N | xα

+1 (30)
Em particular, pode-se expressar4

∗ ∗
E V ∗ xα Fk ≤ V ∗ (xα

k+1 k ) para quase todo k ∈ N, P − q.c. (31)
3
A desigualdade (30) estabelece o decaimento do critério de estabilidade de Foster-Lyapunov.
4
A desigualdade (31) indica que V ∗ xα

k , Fk k≥0 é um supermartingale positivo.
Uma vez que k → V ∗ xα ∗ permite a construção de um supermartingale positivo,

+1
logo existe uma variável aleatória m∞ = 0, P − q.c. tal que
∗
lim sup V ∗ (xα
k )→∞
k→∞
Portanto, da coercitividade de V ∗ ,
Teorema
Suponha que Q − N R−1 N | 0. Considerando-se a solução ótima do problema de

controle posto em (10), então é verdade que αk/2 x∗k → 0 P-q.c quando k → ∞.
Políticas CVIU versus LQG
Considere o seguinte sistema estocástico nominal
xk+1 = A0 xk + b0 uk + σwk (32)
com
√
0.5950 −0.1080 1.2 0.4 √0
A0 = b0 = σ=
−0.3655 0.4000 0.15 0 0.4
Contam-se apenas com as matrizes incertas Ā = A0 + ∆A e b̄ = b0 + ∆b, isto é
0.167A012

−δ −0.2
∆A = 0 ∆b =
0.2A21 −δ −0.15
e as escolhas
σ̄x = 0.2I2×2 σx = 0.15I2×2 σ̄u = 1.25 σu

0.75 0 0
α = 0.9 Q= N = R=2
0 0.75 0

Superfície de controle
0.6
0.4
0.2
0
u⋆ (x)
−0.2
−0.4
−0.6
−0.8
−5
x2 5
0 5
−5
x1
Figura : Mapa do controle CVIU ótimo e região R0 destacada em azul

Ganho relativo de performance
Tabela : Ganho de performance relativo para distintos casos de descasamento de parâmetros
δ 0.12 0.24 0.36 0.48 0.60

Gmax (%) 0.92% 2.97% 6.59% 12.54% 21.62%
14
12
10
8
Gain(%)
−2
4
2 −4
−3
−2
−1
1 0
1
2
0 3
4
σ̄u1 σ̄u2
Figura : Ganho de performance relativo CVIU vs LQG para δ = 0.37

Um exemplo bidimensional no controle
Especial interesse em
n α o
x ∈ Rn \{R0 } : Ω(Y )−1 | |
(B | γ + ∆u (Y )S(u)) = 0

i , (αB Y A + N ) x +
2
Seja o sistema CVIU bidimensional no controle com matrizes do sistema e custo

dadas por

0.50 −0.15 0.0 0.4
A= B= α = 0.99
0.20 0.67 0.4 0.0

0.35 0.00 0.2319 0.0643 3.7105 1.1635
Q= N = R=
0.00 0.35 0.0643 0.2319 1.1635 4.3760
e parâmetros de ajuste CVIU dados por

0.12 0.04 0.15 0.04
σx = σ̄x =
0.04 0.16 0.09 0.18

0.27 0.00 0.4500 0.1703 0.1 0
σu = σ̄u = σ=
0.00 0.27 0.2793 0.4144 0 0.1

Controle ótimo - 1ª entrada
u∗
1 (x) x2
x1
(a) Disposição no espaço de estados (b) Constraste entre regiões R0 e R01
Figura : Mapa do controle ótimo - entrada u∗

1 (x)
α
u∗ (x) = −Ω(Y )−1 Σ(Y )x + g(s̄)
2
Filipe C. Pedrosa FEEC / UNICAMP1 Sistemas CVIU a Tempo Discreto Defesa de Mestrado - Maio 24, 2018 30 / 36

Controle ótimo - 2ª entrada
u∗
2 (x)
x2
x1
(a) Disposição no espaço de estados (b) Constraste entre regiões R0 e R02
Figura : Mapa do controle ótimo - entrada u∗

2 (x)
α
u∗ (x) = −Ω(Y )−1 Σ(Y )x + g(s̄)
2

Superfícies de controle - u∗ ∗
1 (x) e u2 (x)
(a) Entrada u∗
1 (x) (b) Entrada u∗
2 (x)
Figura : Mapas das entradas do vetor controles ótimo CVIU u∗ ∈ U (x) ⊂ R2

Custo ótimo
V ∗ (x)
x1
x2
Figura : Custo ótimo V ∗ (x)
Publicações resultantes do trabalho
As publicações que resultaram do desenvolvimento deste trabalho incluem um artigo

apresentado em congresso internacional e um segundo trabalho para um periódico
internacional:
1 Pedrosa, F. C.; Nereu, J. C. S.; do Val, J. B. R. Stochastic Optimal Control of

Systems for which Control Variation Increases Uncertainty: A Contribution to the
Discrete Time Case. IEEE International Conference on Systems, Man, and
Cybernetics (SMC). Banff, Alberta, Canada, 2017, pp. 2279-2284.
2 Pedrosa, F. C.; Nereu, J. C. S.; do Val, J. B. R. Modeling & Control of Stochastic
Discrete Time CVIU Systems. Periódico internacional, (em preparação).
Agradecimentos
Projeto no. 2016/13508-0.
Referências
Peter Hinow, Philip Gerlee, Lisa J McCawley, Vito Quaranta, Madalina Ciobanu,
Shizhen Wang, Jason M Graham, Bruce P Ayati, Jonathan Claridge, Kristin R
Swanson, et al. A spatial model of tumor-host interaction: application of
chemotherapy. Mathematical biosciences and engineering: MBE, 6(3):521, 2009.
Lilia M Ladino, Cristiana Mammana, Elisabetta Michetti, and Jose C Valverde. Discrete
time population dynamics of a two-stage species with recruitment and capture.
Chaos, Solitons & Fractals, 85:143–150, 2016.
A. A. Julius, Á. Halasz, M. S. Sakar, H. Rubin, V. Kumar, and G. J. Pappas. Stochastic
modeling and control of biological systems: The lactose regulation system of
escherichia coli. IEEE Transactions on Automatic Control, 53(Special Issue):
51–65, Jan 2008. ISSN 0018-9286. doi: 10.1109/TAC.2007.911346.
Floyd B Hanson. Applied stochastic processes and control for Jump-diffusions:
modeling, analysis, and computation, volume 13. SIAM, 2007.
J. C. Nereu. Métodos de aproximaçãao do controle ótimo para sistemas CVIU a tempo
discreto. Master’s thesis, FEEC - UNICAMP, Campinas, SP, Março 2018.
G Freiling and A Hochhaus. Properties of the solutions of rational matrix difference
equations. Computers & Mathematics with Applications, 45(6-9):1137–1154,
2003.

Controle de Sistema CVIU Tempo Discreto

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Controle de Sistema CVIU Tempo Discreto

Enviado por

Direitos autorais:

Formatos disponíveis

Introdução O problema de controle ótimo CVIU Horizonte infinito Existência e unicidade Análise de estabilidade Experimentos Referências

Modelagem & Controle de Sistemas CVIU a Tempo Discreto

Candidato: Filipe de Carvalho Pedrosa

Maio 24, 2018

2 O problema de controle ótimo CVIU

3 Horizonte infinito com custo quadrático descontado

4 Existência, unicidade e estabilizabilidade das soluções

O estudo da tomada de decisão (controle) sob incerteza é de grande interesse em

Construção do modelo CVIU

Construção do modelo CVIU

Considere um sistema estocástico autônomo a tempo discreto dado por

zk+1 = G(zk , vk , wk ) (1)

zk ∈ Rn é a variável de estado, vk ∈ Rm é a entrada de controle e ωk ∈ Rr é uma

1 Suponha (1) operando na vizinhança de um ponto fixo (ze , ve ).

Construção do modelo CVIU

Construção do modelo CVIU

Com isso, obtem-se a seguinte representação linear em espaço de estados

xk+1 = Axk + buk + σωk (2)

Um modelo que reproduz o princípio CVIU é obtido ao substituir (2) por

xk+1 = Axk + Buk + σ̂(xk , uk )Wk

O problema de controle ótimo CVIU

O problema de controle ótimo formulado nestas condições é o de minimizar

Jk∗ (x) = inf Jk (x, π), ∀x ∈ X (5)

é o custo de ótimo de partida do k-ésimo estágio em diante, ou função valor no

J0∗ (x) = J0∗ (x, π ∗ ), ∀x ∈ X (6)

Caracterização da convexidade para o valor do problema de controle CVIU

Convexidade da Função Valor

Sejam c : Rn × Rm → R+ e f : Rn → R+ funções (estritamente) convexas e

σx σ̄x| + σ̄x σx|  0 |

Condições de sinais do controle ótimo u∗ (x)

Para cada k ∈ [0, N ), o controle ótimo satisfaz as seguintes condições de sinais:

Assim, cada região R0i , i = 1, 2, . . . , m pode ser expressa por:

Síntese do controlador CVIU

e, através da mudança notacional V`∗ (x) = αN −` JN

Síntese do controlador CVIU

Para uma matriz Y  0, definem-se os operadores:

∆x (Y ) = Diag (σx| Y σ̄x + σ̄x| Y σx ) |

Em caráter complementar, recordam-se algumas propriedades de grande valia que

tr(M diag (|v|)2 ) = v | Diag(M )v

Solução dentro da inação global R0

Lema (Inação Global R0 )

Considere o problema de controle ótimo em horizonte infinito e com custo descontado

αA| Y A − Y + αDiag (σ̄x| Y σ̄x ) + Q = 0 (14)

V ∗ (x) = x| Y x + γ0| x + c0 (15a)

em que γ0| e c0 satisfazem

γ0| = αS(x)| ∆x (Y ) (I − αA)−1 (15b)

Outrossim, a inação global R0 é a região contida entre os hiperplanos paralelos e

Solução dentro da inação global R0

Sobre a solução de controle em R0 , destacam-se:

5 R0i é não degenerada.

Sobre as fronteiras de R0i

Daí, para i = 1, . . . , m e algum ` ≥ 0, definem-se os conjuntos

Lema (Soluções assintóticas)

Seja o problema de controle em horizonte infinito com custo quadrático descontado

αA| Y A − Y − Σ(Y )| Ω(Y )−1 Σ(Y ) + αDiag(σ̄x| Y σ̄x ) + Q = 0 (20)

Lema (Soluções assintóticas)

Sobre às soluções de controle assintóticas, destacam-se:

Ainda sobre R0i

Método das Aproximações Estocásticas [Nereu, 2018]

Equação de Lyapunov linearmente perturbada

Existência, unicidade e estabilizabilidade das soluções

Operador Lyapunov LĀ : S n+ → S n+ , Y 7→ Ā| Y Ā.

Y = Ā| Y Ā + αΛx (Y ) + Q, Ā := α1/2 A (24)

σx σ̄x| + σ̄x σx| 0 |

Para uma matriz Y 0, definem-se os operadores:

é satisfeita para algum par (F, Y ), com Y 0.

Y − (Ā + LQ)| Y (Ā + LQ) − αΛx (Y ) 0 (25)

Suponha que Q 0 e que a equação modificada de Lyapunov (24) tenha uma

então, lim Yk = Y+ para qualquer solução {Yk } de Yk+1 = R(Yk ), com Y0 0.

Tome Q − N R−1 N | 0, o par (Ā, B) d-estabilizável relativo a Π e caso exista uma

sup V ∗ (x) − Vas̄ (x) < k

Suponha que Q − N R−1 N | 0. Considerando-se a solução ótima do problema de