Estabilidade Estocastica de Sistemas Lineares com Saltos

Markovianos a tempo contnuo associados com um n umero

nito de saltos
Cristiane Nespoli
Depto de Matem atica, Estatstica e Computac ao, FCT, UNESP,
19061-360, Presidente Prudente, SP
E-mail: cnespoli@fct.unesp.br
Resumo: Este trabalho aborda a estabilidade estocastica de Sistemas Lineares com Saltos
Markovianos (SLSM) a tempo contnuo. Os SLSM sao denidos como uma famlia de sistemas
lineares com parametros de saltos aleatorios governados por um processo de Markov com saltos,
geralmente usados para descrever sistemas sujeitos a falhas ou reparos em sua estrutura. No
modelo estudado o horizonte do problema e denido por um tempo de parada do processo que
representa a ocorrencia de um n umero N de falhas ou reparos no perodo (T
N
). O conceito de
-estabilidade e empregado uma vez que os conceitos de estabilidade usuais relacionados a pro-
blemas com horizonte puramente innito nao sao adequados neste caso. Condic oes necess arias
e sucientes para garantir a estabilidade estocastica sao obtidas.
Palavras-chave: Sistemas lineares com saltos Markovianos, Estabilidade estocastica, Tempos
de parada
1 Introdu cao
Considere um sistema linear a tempo contnuo sujeito a mudan cas abruptas em seus par ametros
que podem ser modeladas por uma cadeia de Markov a tempo contnuo. Esta classe de sistemas
e conhecida na literatura como Sistemas Lineares com Saltos Markovianos (SLSM) a tempo
contnuo, vide (1) e (2).
Os SLSM tem sido extensivamente estudados desde a contribui c ao pioneira de Krasovskii
e Lidskii [6], vide por exemplo [3] e as referencias a contidas. Com respeito a condi c oes de
estabilidade, problemas de controle otimo e aplica c oes, vide por exemplo [1, 5, 2].
Uma situa c ao de interesse a ser considerada consiste em se estudar esta classe de sistemas ate
a ocorrencia de um evento aleat orio , mais especicamente, um tempo de parada do processo
conjunto {x
k
,
k
; k 0} descrito por (1) e (2). O tempo de parada pode representar situa c oes
interessantes do ponto de vista das aplica c oes. Por exemplo, pode ser a n-esima falha ou reparo
acumulado do sistema. Ou ainda, pode representar a ocorrencia de uma falha grave, que
pode ocorrer ap os um n umero aleat orio de falhas. Em ambas as situa c oes o sistema e paralisado
para manuten c ao.
Neste contexto, os conceitos usuais de estabilidade estoc astica encontrados na literatura n ao
s ao adequados, uma vez que s ao indicados para problemas com horizonte puramente innito,
e n ao para problemas cujo horizonte seja denido por um tempo de parada. Por este motivo,
adaptaremos o conceito de -estabilidade introduzido em [4] para SLSM a tempo discreto, cf. (1).
O artigo e organizado da seguinte forma. Na se c ao 2 apresentamos as deni c oes b asicas e
na Se c ao 3 as condi c oes necess arias e sucientes para a -estabilidade s ao obtidas.
260
Anais do CNMAC v.2 ISSN 1984-820X
2 Nota cao e Formula cao do Problema
Ao longo deste artigo, a seguinte nota c ao ser a utilizada. Denota-se o espa co real n-dimensional
por R
n
e M
rm
(M
r
) o espa co linear normado formado por todas as matrizes reais rm (rr).
A transposta da matriz U e denotada por U

e escrevemos U 0 (U > 0) para indicar que a

matriz U M
r
e semidenida (denida) positiva. Assim, o cone convexo fechado (aberto) de
todas as matrizes semidenidas (denidas) positivas em M
r
e denotado por M
r0
= {U M
r
:
U = U

0} (M
r+
). O espa co linear formado pelas sequencias de s matrizes reais em M
rm
(M
r
) e representado por M
rm
= {U = (U
1
, , U
s
) : U
i
M
rm
, i {1, . . . , s}} (M
r
).
Por simplicidade, escreve-se M
r0
quando U
i
M
r0
, para todo i {1, . . . , s} e M
r+
quando
U
i
M
r+
, para todo i {1, . . . , s}. A norma da matriz U e indicada por U e 11
{.}
representa
a medida de Dirac. Por sua vez, (U) indica um autovalor e r

(U) o raio espectral de U M

r
,
respectivamente. O operador E[] indica o valor esperado.
Dado o espa co de probabilidade fundamental (, F, {F
t
}, P), considere o SLSM aut onomo S
descrito pela seguinte equa c ao estoc astica
S :
_
x
t
= A(
t
)x
t
, x
0
R
n
,
0

y
t
= C(
t
)x
t
, t 0,
(1)
onde {x
t
,
t
; t 0} s ao os estados do processo tomando valores em R
n
X, {
t
; t 0} e
uma cadeia de Markov a tempo contnuo, com espa co de estados X = {1, . . . , s}, distribui c ao
inicial = (
1
, . . . ,
s
) onde
i
= P(
0
= i), i X e matriz de probabilidade de transi c ao
P = [p
ij
], i, j X, denida como
p
ij
= P(
t+
= j |
t
= i) =
_

ij
+o(), i = j
1 +
ii
+o(), i = j,
(2)
com > 0. A taxa de transi c ao de i para j ( i = j) e indicada por
ij
0 e
i
:=
ii
=

j=i

ij
< . As matrizes A(
t
) e C(
t
) s ao fun c oes do processo aleat orio de saltos {
t
; t 0}.
O conjunto X contem os modos de opera c ao do sistema (1) sendo que, para cada
t
= i X,
a matriz A

t
M
r
(associada ao i-esimo modo), ser a indicada por A

t
:= A
i
. O processo
acima denido satisfaz a propriedade forte de Markov.
O modelo estoc astico denido por (1) e (2) pertence a categoria dos sistemas hbridos
1
.
Estes sistemas apresentam diferentes congura c oes ou modos de opera c oes. A mudan ca entre
um modo de opera c ao e outro e associada a um par ametro de saltos aleat orios discretos cuja
evolu c ao no tempo e determinada pela probabilidade de transi c ao acima denida. Esta ca-
racterstica tem sido usada para modelar uma variedade de sistemas din amicos. Por exemplo,
sistemas sujeitos a mundan cas abruptas em seus par ametros como consequencia de falhas em
seus componentes. Neste artigo estamos interessados em estudar a estabilidade de tais sistemas
ate a ocorrencia de de um n umero xo N de falhas ou reparos. Neste sentido, consideramos a
sequencia de {F
t
}-tempos de parada contendo os sucessivos instantes de ocorrencia de falhas
(ou reparos) e ent ao estudamos a estabilidade do sitemas (1) e (2) de acordo com estes tempos
de parada .
3 Estabilidade Estocastica
Nesta se c ao apresentamos as condi c oes necess arias e sucientes para a estabilidade dos SLSM
acima descritos associada com uma classe de {F
t
}-tempos de parada. Inicialmente, denimos a
sequencia T
N
= {T
n
; n = 0, 1, . . . , N} de tempos de parada associada aos instantes de salto:
T
0
= 0, T
n
= min{t > T
n1
:
t
=
T
n1
}, n = 1, . . . , N. (3)
1
Uma vez que parte do processo assume valores contnuos (x
t
R
n
, a saber, os estados lineares), e outra parte
assume valores discretos (
t
X, a saber, os instantes de salto).
261
Note que, eventualmente T
n
= + para algum n = 1, . . . , N, com probabilidade n ao-nula.
Deni cao 1. Seja T
N
um tempo de parada com respeito ` a {F
t
}. Ent ao, o sistema S e
-Estocasticamente Est avel (-EE) se
E
_
_

t=0
x
t

2
11
{t}
dt
_
< ,
para qualquer condi c ao inicial x
0
e distribui c ao inicial .
O Teorema a seguir apresenta as condi c oes para a -estabilidade estoc astica.
Teorema 1. As seguintes arma c oes s ao equivalentes:
i) O sistema S e -EE;
ii) Para qualquer conjunto de matrizes Q em M
n
, existe um unico conjunto de matrizes
P M
n
satisfazendo as equa c oes de Lyapunov
(A
i

i
I/2)

P
i
+P
i
(A
i

i
I/2) +Q
i
= 0, i X; (4)
iii) r

{(A
i

i
I/2)} < 0, i X.
Demonstracao. (ii) (iii) Esta equivalencia e bem conhecida da teoria de estabilidade de Lya-
punov, vide [8].
(ii) (i) Para a prova utilizamos um argumento de indu c ao sobre T
N
. Inicialmente, dena
o funcional
V
t
(x
t
,
t
) = x

t
(L(
t
)11
{t<T}
+S(
t
)11
{t=T}
)x
t
onde L(
t
) M
n+
e a solu c ao de
A

i
L
i
+L
i
A
i

i
L
i
+

j=i

ij
S
i
+Q
i
= 0, i X, (5)
com S(
t
) M
n+
.
A existencia de L M
n+
acima deriva da condi c ao (ii). Considere o operador innitesimal
A do processo conjunto {x
t
,
t
; t 0}
AV
t
(x
t
,
t
) = lim
0
1

{E
t
[V
t+
(x
t+
,
t+
)] V
t
(x
t
,
t
)}.
De acordo com [7], temos que
AV
t
(x
t
,
t
) = x

t
_
_
A(
t
)

L(
t
) +L(
t
)A(
t
)

t
L(
t
) +
_
_

j=
t

t
j
S
j
_
_
_
_
x
t
11
{Tt}
.
Entretanto, se existe P M
n+
solu c ao de (4), ent ao existe L M
n+
solu c ao de (5), e a rela c ao
acima pode ser escrita como
AV
t
(x
t
,
t
) = x

t
Q(
t
)x
t
11
{Tt}
. (6)
Agora, observe que
_

t=0
E
0
[AV
t
(x
t
,
t
)]dt = E
0
[V

(x

)] V
0
(x
0
,
0
).
262
Aplicando (6) e considerando que Q, S M
n+
, temos

_

t=0
E
0
[x

t
Q(
t
)x
t
11
{T>t}
]dt = E
0
[V

(x

)] V
0
(x
0
,
0
).
Tomando o limite quando e denindo

Q(i) = S(i)11
{T=t}
+ Q(i)11
{T>t}
, i X segue
que
lim

_

t=0
E
0
[x

t
Q(
t
)x
t
11
{Tt}
]dt x

0
L(
0
)x
0
,
uma vez que E[V

(x

)] > 0, 0. Para algum > 0, da inequa c ao acima obtemos

lim

_

t=0
E
0
[x
t

2
11
{Tt}
]dt
1

0
L(
0
)x
0
< .
Portanto, o sistema S e -EE.
Assuma agora que, para = T
n
a inequa c ao
lim

_

t=0
E
0
[x

t
Q(
t
)x
t
11
{T
n
t}
]dt < (7)
seja v alida. Assim, xando Q = I, segue que E
0
[x
T
n

2
] < .
Para = T
n+1
,
lim

_

t=0
E
0
[x

t
Q(
t
)x
t
11
{T
n+1
t}
]dt =
lim

E
0
[
_

t=0
x

t
Q(
t
)x
t
11
{T
n
>t}
dt +
_

t=T
n
x

t
Q(
t
)x
t
11
{T
n
tT
n+1
}
dt]. (8)
Note que, usando as propriedades de homogeneidade e a propriedade forte de Markov, o segundo
termo, condicionado ao conhecimento de {x
T
n
,
T
n
}, pode ser reescrito como
lim

E
T
n
[
_

t=T
n
x

t
Q(
t
)x
t
11
{T
n
tT
n+1
}
dt] =
lim

E[
_
T
n
t=0
x

t
Q(
t
)x
t
11
{tT
1
}
dt | x
0
= x
T
n
,
0
=
T
n
] < x

T
n
L(
T
n
)x
T
n
. (9)
Logo, conclumos de (8) e (9) que
lim

_

t=0
E
0
[x

t
Q(
t
)x
t
11
{T
n+1
t}
]dt lim

E
0
[
_

t=0
x

t
Q(
t
)x
t
11
{T
n
>t}
dt +x

T
n
L(
T
n
)x
T
n
]
lim

E
0
[
_

t=0
x

t
Q(
t
)x
t
11
{T
n
t}
dt +x

T
n
(L(
T
n
) Q(
T
n
))x
T
n
] < .
Portanto, de (7) temos que o sistema e -EE.
(i) (ii) Assuma que = T e dena o funcional
x

s
L(
s
)x
s
:= E
s
__

t=s
x

t
Q(
t
)x
t
11
{T>t}
dt +x

T
S

T
x
T
_
, (x
0
,
0
) R
n
X. (10)
O lado direito de (10) pode ser expresso como
x

s
L

s
x
s
= E
s
__
s+
t=s
x

t
Q(
t
)x
t
11
{T>t}
dt+
E
s+
___

t=s+
x

t
Q(
t
)x
t
11
{T>t}
dt +x

T
S

T
x
T
_
11
{Ts+}
__
. (11)
263
Adicionalmente,
E
s+
___

t=s+
x

t
Q(
t
)x
t
11
{T>t}
+x

T
S(
T
)x
T
_
11
{Ts+}
_
=
E
s+
___

t=s+
x

t
Q(
t
)x
t
11
{T>t}
+x

T
S

T
x
T
_
11
{T>s+}
+x

T
S

T
x
T
11
{T=s+}
_
. (12)
Desta forma, de acordo com a propriedade de Markov, aplicando homogeneidade em (12) e
introduzindo-a em (11), temos que
x

s
L(
s
)x
s
= E
s
__
s+
t=s
x

t
Q(
t
)x
t
11
{T>t}
dt +x

s+
L(
s+
)x
s+
11
{T>s+}
+
x

T
S

T
x
T
11
{T=s+}

. (13)
Dividindo ambos os lados de (13) por , e tomando o limite quando 0, obtemos
A

i
L
i
+L
i
A
i

i
L
i
+

j=i

ij
S
i
+Q
i
= 0, i X, (14)
uma vez que x
s
e arbitr ario. Logo, da teoria de estabilidade de Lyapunov, a existencia do
conjunto P M
n+
satisfazendo (4) est a assegurada.
Para o caso geral ( = T
N
) temos
E
__

t=0
x

t
Q(
t
)x
t
11
{T
N
>t}
+x

T
N
S(
T
N
)x
T
N
_
<
o que implica, da propriedade forte de Markov, em
E
T
n
__

t=T
n
x

t
Q(
t
)x
t
11
{T
m+1
>t}
+x

T
n
S(
T
n
)x
T
n
_
< , n = 0, 1, . . . , N 1. (15)
Aplicando novamente a propriedade de homogeneidade, segue que (15) e equivalente ` a (10) com
x
0
= x
T
n
e
0
=
T
n
e a existencia de um conjunto de matrizes P M
n+
satisfazendo (4) est a
garantida.
Nota 1. Se o sistema S tem um unico modo de opera c ao (s = 1), e deterministico e as condi c oes
(ii) e (iii) se reduzem ` a condi c ao usual de estabilidade de sistemas lineares.
Nota 2. Mesmo que o sistema S possua modos de opera c ao inst aveis no sentido determinstico,
ele pode ser -EE se a taxa de transi c ao destes modos de opera c ao e sucientemente grande
para garantir que a condi c ao (iii) no Teorema 1 seja verdadeira.
4 Conclusao
Neste trabalho estudamos a estabilidade estoc astica de sistemas lineares com saltos Marko-
vianos a tempo contnuo limitada ` a ocorrencia de um evento aleat orio . Este evento representa
a ocorrencia de um n umero xo de falhas ou reparos ap os as quais o sistema e paralisado para
manuten c ao. O conceito de -estabilidade e empregado, tendo em vista que os conceitos usuais
de estabilidade estoc astica encontrados na literaruta referem-se a problemas com horizonte pura-
mente innito e n ao s ao adequados ao modelo proposto. S ao apresentadas condi c oes necess arias
e sucientes para a -estabilidade estoc astica do sistema.
264
Referencias
[1] W. P. Blair e D. D. Sworder, Feedback control of a class of linear discrete systems with
jump parameters and quadratic cost criteria, International Journal of Control, vol. 21, no.
5, pp. 833841, 1975.
[2] O.L.V. Costa, J.B.R. do Val, e J.C. Geromel, A convex programming approach to H
2
-
control of discrete-time Markovian jump linear systems, International Journal of Control,
vol. 66, no. 4, pp. 557579, 1997.
[3] O.L.V. Costa, M.D. Fragoso e R.P. Marques, Discrete-Time Markov Jump Linear Sys-
tems, Probability and its Applications, Springer, New York, 2005.
[4] J.B.R. do Val, C. Nespoli e Y.R.C. Z u niga, Stochastic stability for Markovian jump linear
systems associated with a nite number of jump times, Journal of Mathematical Analysis
and Applications, 285, pp. 553565, 2003.
[5] Y. Ji, e H. J. Chizeck, Controllability, Stability, and Continuous-Time Markovian Jump
Linear Quadratic Control, IEEE Transactions on Automatic Control, vol. 35, no. 7, pp.
777788, 1990.
[6] N. N. Krasovskii e E. A. Lidiskii, Analytical design of controllers in systems with random
atributes I,II, III,, Automation Remote Contr., 22, pp. 10211025, 11411146, 12891294,
1961.
[7] W. H. Wonham, Random dierential equations in control theory, Probabilistic Methods in
Applied Mathematics, A.T. Bharucha-Reid (Ed.), vol. 2, pp. 131212, Academic Press, New
York, 1970.
[8] K. Zhou, J. C. Doyle e K. Glover, Robust and Optimal Control, Prentice Hall, 1996.
265